Re: [xen-br] Performance ISCSI

[Gustavo Soares [SLot]]

N�o apareceu porque o grupo � moderado, j� liberei a sua mesg, as
pr�ximas ser�o postadas automaticamente, sem precisar passar por modera��o.


Em 13-05-2013 11:52, Marcelo Busana escreveu:
> Pessoal,
>
> Qual solu��o vcs usam para aumentar o limite f�sico de 1Gbps de
> comunica��o ethernet entre XenServer Host e Storage?
>
> Tentei sem sucesso bonding.
>
> Ps: postei pela p�gina do grupo mas n�o apareceu minha msg.
>
> att,
> Marcelo
> --
> --
> Voc� recebeu esta mensagem porque est� inscrito em Grupo "xen-br" do
> Grupos Google.
> Para enviar mensagens para este grupo, envie um email para
> xen...@googlegroups.com
> Para anular a inscri��o neste grupo, envie um email para
> xen-br-un...@googlegroups.com
> Para mais op��es, visite este grupo em
> http://groups.google.com/group/xen-br?hl=pt-BR
> Site do GU Xen-BR: http://www.xen-br.org
> Antes de enviar sua primeira mensagem leia atentamente as regras para
> participa��o no site
> http://groups.google.com/group/xen-br/web/regras?hl=pt-BR
>
> ---
> Voc� est� recebendo esta mensagem porque se inscreveu no grupo
> "xen-br" dos Grupos do Google.
> Para cancelar a inscri��o neste grupo e parar de receber seus e-mails,
> envie um e-mail para xen-br+un...@googlegroups.com.
> Para obter mais op��es, acesse https://groups.google.com/groups/opt_out.
>
>


--
-------------------
SLot
Linux User: 124842
XMPP: slo...@gmail.com

[Leonardo Rodrigues de Mello]

Eu uso uma das duas ou um conjunto das duas soluções abaixo. 

1 - multipath io. com path_grouping_policy multibus e path_selector "round-robin 0" ou "service-time 0" . 
2 - bonding tem q usar modo 4 (802.3ad) e configurar o link aggregatin no switch tb. 

Abraços

Leo

Em 13 de maio de 2013 15:51, Gustavo Soares [SLot] <slo...@gmail.com> escreveu:

Não apareceu porque o grupo é moderado, já liberei a sua mesg, as próximas serão postadas automaticamente, sem precisar passar por moderação.

Em 13-05-2013 11:52, Marcelo Busana escreveu:

Pessoal,

Qual solução vcs usam para aumentar o limite físico de 1Gbps de comunicação ethernet entre XenServer Host e Storage?

Tentei sem sucesso bonding.

Ps: postei pela página do grupo mas não apareceu minha msg.

att,
Marcelo
--
--
Você recebeu esta mensagem porque está inscrito em Grupo "xen-br" do Grupos Google.

Para enviar mensagens para este grupo, envie um email para xen...@googlegroups.com

Para anular a inscrição neste grupo, envie um email para xen-br-unsubscribe@googlegroups.com
Para mais opções, visite este grupo em http://groups.google.com/group/xen-br?hl=pt-BR

Site do GU Xen-BR: http://www.xen-br.org

Antes de enviar sua primeira mensagem leia atentamente as regras para participação no site http://groups.google.com/group/xen-br/web/regras?hl=pt-BR

---
Você está recebendo esta mensagem porque se inscreveu no grupo "xen-br" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para xen-br+unsubscribe@googlegroups.com.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.

--
-------------------
SLot
Linux User: 124842
XMPP: slo...@gmail.com

--
--
Você recebeu esta mensagem porque está inscrito em Grupo "xen-br" do Grupos Google.

Para enviar mensagens para este grupo, envie um email para xen...@googlegroups.com

Para anular a inscrição neste grupo, envie um email para xen-br-unsubscribe@googlegroups.com
Para mais opções, visite este grupo em http://groups.google.com/group/xen-br?hl=pt-BR

Site do GU Xen-BR: http://www.xen-br.org

Antes de enviar sua primeira mensagem leia atentamente as regras para participação no site http://groups.google.com/group/xen-br/web/regras?hl=pt-BR

--- Você está recebendo esta mensagem porque se inscreveu no grupo "xen-br" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para xen-br+unsubscribe@googlegroups.com.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.

--
Leonardo Rodrigues de Mello
jabber: l...@lmello.eu.org

[Marcelo Busana]

Certo Leonardo,

Gostei do item número 1 - multipath, vou procurar material para tentar fazer um teste.

Ref a bonding tentei muito com a opção modo 4, mesmo fazendo configurações no Switch Dell que possuimos, criando manualmente por ele um Link Agrregation nas portas fisicas no linux (centos 6.4) o link fica somente com 1 porta ativa, nunca chegou a ter duas, tentei com Layer 2, Layer 2+3, sem sucesso.

Att,

Para anular a inscrição neste grupo, envie um email para xen-br-un...@googlegroups.com

Para mais opções, visite este grupo em http://groups.google.com/group/xen-br?hl=pt-BR
Site do GU Xen-BR: http://www.xen-br.org
Antes de enviar sua primeira mensagem leia atentamente as regras para participação no site http://groups.google.com/group/xen-br/web/regras?hl=pt-BR
 
---
Você está recebendo esta mensagem porque se inscreveu no grupo "xen-br" dos Grupos do Google.

Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para xen-br+un...@googlegroups.com.

[Gabriel Nunes]

Com SLB bonding as portas do switch podem ser no modo access.

Gabriel Nunes
Analista de Suporte

[Marcelo Busana]

Tentei esta opção Gabriel, no Xenserver consegui ativar corretamente. O que não consegui foi fazer esta opção no Storage que é CentOS 6. 

No CentOS não tem a opcao balance-slb somente outras como balance-tlb e balance-alb.

Sendo assim tento somente o Xenserver com teoricamente 2 Gbps não consegui confirmar se funciona, visto que não tenho nenhuma outra servidor a mais de 1 Gbps.

[Gabriel Nunes]

Marcelo, você fez a configuração na sua solução de storage ou no Linux?

Acho que esse tópico pode ajudar. http://www.howtoforge.com/network_card_bonding_centos

Gabriel Nunes
Analista de Suporte

[Marcelo Busana]

Gabriel, fiz no linux. Estou usando um servidor com CentOS 6 para Storage.

Segui diversos tutoriais buscando o modo 4 (802.3) (no final do e-mail colo a situação dele), realmente nao testei modo balance-tbl ou alb, a questão é que li ref. a balance via MAC, presumi que sendo uma unica via de comunicação, Xensever <-> Storage o MAC seria um somente e eu não teria o aumento de performance.

Estou errado nesta colocação?

Anteriormente estava usando o Openfiler, mas neste ambiente de teste devido a falta de compatibilidade do openfiler com o placa controladora optei pelo CentOs 6.4 limpo.

MODO 802.3

[root@sto1 etc]# cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation

Transmit Hash Policy: layer2 (0)

MII Status: up

MII Polling Interval (ms): 0

Up Delay (ms): 0

Down Delay (ms): 0

802.3ad info

LACP rate: slow

Aggregator selection policy (ad_select): stable

Active Aggregator Info:

        Aggregator ID: 1

        Number of ports: 1 - Somente uma porta ativa

        Actor Key: 17

        Partner Key: 1

        Partner Mac Address: 00:00:00:00:00:00

Slave Interface: eth2

MII Status: up 

Speed: 1000 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 00:02:a5:4f:1d:8f

Aggregator ID: 1

Slave queue ID: 0

Slave Interface: eth3

MII Status: up

Speed: 1000 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 00:02:a5:4f:1d:8e

Aggregator ID: 2

Slave queue ID: 0

[Marcelo Busana]

Leonardo,

Consegui conectar o storage com multipath, coloquei 3 placas gigabit ligados diretamente (XEN <--> Storage), no xen aparece 3 sessions.

A questão é que apesar de aparentemente ter uma melhora não chegou a uma melhora considerável.

Pelo que entendi o multipath com robin faz os pacotes serem enviados sequencialmente entre cada uma das 3 placas, a cada 1000 IO's, teoricamente não terei mais de 1gbps, pois ele nunca manda pacotes em mais de 1 placa simultaneamente (visto pelo iptraf no storage)

Ou seja por mais que eu tenha 3 placas, somente é usado uma por vez, estou certo nisso?

Não consegui testar no modo service time ou queue time, pois mesmo confirgurando corretamente o path_selector para no multipath.conf ao executar o multipath -ll ele lista como round-robin, se eu executo o multipath -v 3 ele mostra que esta setado para service-time

IPTRAF mostra que usa uma eth por vez.

│ eth1          135075         135075             0              0            0        41988.40 kbytes/sec        │

│ eth2          154208         154208             0              0            0        27264.40 kbytes/sec        │

│ eth3          124443         124443             0              0            0        19754.40 kbytes/sec  

Testado o HD de duas VMs simultamente não consegui passar de 1gpbs, nem separadamente.

Em 13 de maio de 2013 16:14, Leonardo Rodrigues de Mello <l...@lmello.eu.org> escreveu:

Para anular a inscrição neste grupo, envie um email para xen-br-un...@googlegroups.com

Para mais opções, visite este grupo em http://groups.google.com/group/xen-br?hl=pt-BR
Site do GU Xen-BR: http://www.xen-br.org
Antes de enviar sua primeira mensagem leia atentamente as regras para participação no site http://groups.google.com/group/xen-br/web/regras?hl=pt-BR
 
---
Você está recebendo esta mensagem porque se inscreveu no grupo "xen-br" dos Grupos do Google.

Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para xen-br+un...@googlegroups.com.

[Alexandre Trevizoli]

Marcelo faz um teste ai.

Utilize o Crystal Disk Mark 3.0.2.

 

O maximo que consegui de throughput foi 34MB/s de Leitura por 22MB/s de gravação.

Esta maquina esta armazenada em um ISCSI do FREENAS 8.3.1.

O FreeNas está conectado ao Switch Giga e o Servidor também, somente os dois para efeito de testes.

Já tentei de tudo e não consigo melhorar isso.

O estranho é que se dentro do Windows 2008R2 crio uma conexão ISCSI (diferente)  utilizando o ISCSI Initiator, conectando com o FreeNAS, consigo 90MB Leitura e 90MB de Gravação (teoricamente o máximo suportado por uma interface giga).

O problema me parece estar no ISCSI do XEN (testei tanto no Xenserver quanto no XCP), os dois apresentam o mesmo problema.

 

Se alguém tiver algo que possa nos ajudar, agradeço! Pois neste caso não importa quantas placas agregamos, a performance está limitada em outro lugar.

 

 

 

Para anular a inscrição neste grupo, envie um email para xen-br-un...@googlegroups.com
Para mais opções, visite este grupo em http://groups.google.com/group/xen-br?hl=pt-BR
Site do GU Xen-BR: http://www.xen-br.org
Antes de enviar sua primeira mensagem leia atentamente as regras para participação no site http://groups.google.com/group/xen-br/web/regras?hl=pt-BR

---
Você está recebendo esta mensagem porque se inscreveu no grupo "xen-br" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para xen-br+un...@googlegroups.com.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.

 

--

-------------------
SLot
Linux User: 124842
XMPP: slo...@gmail.com

--
--
Você recebeu esta mensagem porque está inscrito em Grupo "xen-br" do Grupos Google.
Para enviar mensagens para este grupo, envie um email para xen...@googlegroups.com

[Marcelo Busana]

Alexandre,

Fiz o teste com o mesmo programa que vc usou, segue resultados:

CentOS 6.4 + ISCSI + Multipath 3 sessions gigabit + Raid 1 SAS = 82.00 Mb/s read, 74.00 Mb/s write​

Openfiler 2.9 + ISCSI + Sem multipath, rede giga + Raid 1 SAS*= 76 Mb/s read, 38 Mb/s write.

Xenserver com HDs Raid 1 SAS diretamente interno = 218 Mb/s read, 215 Mb/s write 

* Em produção, ou seja, a performance pode ser afetada por uso de disco de outras VMs, mesmo assim atingiu velocidade próxima de leitura a conexão Multipath 3 sessions em ambiente de testes.

Uso o Openfiler pois é compativel com DRDB, agora estou querendo trocar para CentOS puro, visando ter o kernel atualizado e compativel com a controladora.

Alguem consegue uma maior performance de disco somente usando Multipath com Multibus?

Eu poderia afirmar que o limitar realmente é a rede gigabit, no seu caso o fato de usar o Freenas pode ser alguma incompatibilidade de configuração do freenas com xen. No openfiler existe algumas configurações de performance:

MaxRecvDataSegmentLength
MaxXmitDataSegmentLength
MaxBurstLength
FirstBurstLength
DefaultTime2Wait
DefaultTime2Retain
MaxOutstandingR2T
DataPDUInOrder	Yes                                         No
DataSequenceInOrder	Yes                                         No
ErrorRecoveryLevel
Wthreads
QueuedCommands

[Leonardo Rodrigues de Mello]

Eu consegui saturar a performance do link, utilizando 2 placas gigabit e storage iscsi IBM, as maquinas e storage estao interligados em um switch especial para iscsi.

Normalmente em todos os testes que ja fiz com iscsi a performance eh limitada pelo meio utiilizado ethernet.

Existem algumas resalvas para isso, usar iscsi target via software possui um custo de processamento muito alto e uma performance muito ruim.

A unica forma de melhorar a performance de um servidor linux target de iscsi eh utilizar placas de rede proprias para iscsi, que realizam o processamento do protocolo iscsi via hardware.

um grande abraco

Leo

ps=Note novo, ainda nao configurado teclado como US international. :-/

[Leonardo Rodrigues de Mello]

Marcelo,

Uma questao importante sobre o multipath, eh importante lembrar que apesar de ter uma area para configuracao default e de devices, quando vc configura um multipath pelo WWID ele nao herda as configuracoes default, ele sobrescreve as configuracoes default pelas q vc colocou.

Isso eh um problema, pois as vezes se configura apenas o alias do device e se acha q herdou as configuracoes de path_selector e grouping_path, o que nao acontece.

Esse comportamento esta descrito na manpage do multipath.

Tenta isso com o service time e vee se ele funciona. Detalhe ele so funciona em rhel/centos 6.3 para cima.

abracos.

Leo

[Marcelo Busana]

Leonardo, 

Eu configurei tanto com WWID, qnto com defaults, dentro do multipath.conf, o problema é que quando coloco o path_selector "service-time 0" o XenServer da erro de conexão com ISCSI, somente volta a conectar qndo eu retorno o path_selector para round-robin 0.

Algo da errado no modo service-time e estou usando centos 6.4.

Ref. ao custo alto de iscsi via software eu acredito não ser, pois hoje o storage tem um Xeon 2.3 Ghz exclusivo para isso + 6 gb de Ram

Pelo que compreendi, o ISCSI TARGET via software do CentOS não aceita o modo SERVICE-TIME ou QUEUE. Acredito que Storages próprios (IBM) tenham esta função, pois para poder usar o service-time existe algum algoritmo que o xen executa em paralelo com o Storage para determinar qual é o PATH com menor tempo de servico. 

Por um acaso alguem consegui fazer rodar o modo service-time com storage ISCSI via software do CentOS?

[Gustavo Freitas]

estou usando freenas e agora mudei para nas4free e não tenho que reclamar..

Gustavo Freitas

[Gustavo Freitas]

ainda vc testar. mas até agora não observei problemas. uso iSCSI tanto como disco para VMs como

tambem para disco de armazemento numa maquina física windows 2008.

até o final da semana posso fazer o teste.. 

Em 16 de maio de 2013 09:32, Marcelo Busana <celob...@gmail.com> escreveu:

Gustavo, 

Que performance vc consegue nas VMs com discos via Freenas/Nas4free + ISCSI?

--
Gustavo Freitas

[Marcelo Busana]

Pessoa achei uma discussão atualizada ref. a multipath 
http://forums.freenas.org/showthread.php?11928-ISCSI-Multipath-speed-is-the-same-with-one-or-two-paths-active/page4

Este post fortalece as seguintes afirmações:

Multipath não é link aggreation, é um uso compartilhado de vários NICs, independente do modo.

Mas o seu uso pode ser maximizado quando as conexões estão saturados, pois ele irá usar varias NICs.

Penso então em fazer funcionar o Link aggregation com 802.3. Minha pergunta é:

Alguém já conseguiu fazer funcionar 802.3 ligando diretamente o Storage com o Xen? Se sim quais foram as configs?

Fazendo isto eu eliminaria a necessidade de um switch compativel.

MPIO will start the transfer on one link, and after 1,000 IOs, it will switch to the next link, and so on.

But this is still not link aggregation.
This is simply link redundancy.
MPIO is not bandwidth aggregation.
It works well for what it was designed for, and on busy configurations with lots of connections, the bandwidth of all links is maximized.

Em 16 de maio de 2013 09:32, Marcelo Busana <celob...@gmail.com> escreveu:

Gustavo, 

Que performance vc consegue nas VMs com discos via Freenas/Nas4free + ISCSI?

Em 16 de maio de 2013 09:20, Gustavo Freitas <gst.f...@gmail.com> escreveu:

[Marcelo Busana]

Gustavo, 

Que performance vc consegue nas VMs com discos via Freenas/Nas4free + ISCSI?

Em 16 de maio de 2013 09:20, Gustavo Freitas <gst.f...@gmail.com> escreveu:

[Marcelo Busana]

Até consegui ligar diretamente o Xen no modo Active-Active com o CentOS modo 0 (round-robin) mas a performance não passa de 1gpbs tbm. O que notei é que as 3 placas de rede neste modo são usadas de forma direta e igual. Usando multipath ele usa uma placa por vez a cada X IOPS.ceth

1        98183     98183         0         0        0   35725.00 kbytes/se│

│ceth2        98183     98183         0         0        0   36317.20 kbytes/se│

│ceth3        98187     98187         0         0        0   36638.80 kbytes/se│

│cbond0      726949    726949         0         0        0   109825.00 kbytes/s

Testei todos as possibilidades, xen+centos (LACP MAC + 802.3, balance-tbl, active-active + 802.3...) e nenhuma supera 1gbps.

Apesar de tudo consegui um leve aumento com bonding ao inves de multipath:

CentOS 6.4 + ISCSI + Multipath 3 sessions gigabit + Raid 1 SAS = 82.00 Mb/s read, 74.00 Mb/s write

CentOS 6.4 + ISCSI + Bonding robin-round 3 Nics + Raid 1 SAS = 106.4 Mb/s read, 71.00 Mb/s write

[Leonardo Rodrigues de Mello]

So uma duvida, isso eh no initiator ou no target ?

Se for no initiator, no target tem bonding tb ou 10 Gb ethernet ?

Para voce usar mais de 1gbps eh necessario tanto o target quanto o initiator possuirem a banda disponivel.

Exemplo:

Fiz uma implementacao recente de iscsi com multipath acessando storage ibm via iscsi.

O storage iscsi (target) possui 2 placas de rede 10 GB e o initiator (cliente) possui 8 interfaces de rede giga configuradas como multipath ativo/ativo , cada canal com um bonding de 4 interfaces de rede.

A performance que consegui foi excelente.

Abracos

Leo

[Marcelo Busana]

Leonardo,

Em ambos tenho 3 NICs de 1gbps. Aproveitando o assunto alguem tem ref. de placas de rede 10G acessíveis?

att,