Desempenho
Edson Marquezani Filho
retorno de vocês, a respeito de quem já tem experiênca com estruturas
semelhantes.
Eu, recentemente, migrei algumas aplicações pra uma plataforma
virtualizada, baseada em Xen e SAN.
Tenho um HP MSA 2012sa, de interface SAS, como já mencionei aqui.
Minha controladoras são do modelo sc08ge, chipset LSI Logics SAS1068E.
Atualmente estou rodando 3 servidores: um firewall e proxy/cache, um
servidor de arquivos Samba e PDC, e um servidor Windows com só uma
aplicaçãozinha bem leve e com pouco acesso. Tudo isso está armazenado
no storage, discos virtuais das máquinas e partições de dados.
Estou tendo problemas com a velocidade de acesso aos arquivos, e é aí
que surgem meus problemas.
Eu fiz testes de I/O com o aplicativo IOZone na fase de laboratório, e
posso ver boas taxas, embora eu não tenho muito referencial disso. As
taxas dentro do guest PVM Linux não mostram muita perda em relação às
do host. (Tudo em cima de LVM.)
Rodei bastante testes na fase de laboratório, que mostravam o que é
norma: as taxas mostram quedas drásticas para acesso aleatório, em
especial quando o bloco de leitura/gravação é pequeno
(128k,64k,32k,...), e meu tipo de acesso deve ser principalmente
aleatório, uma vez que são várias VMs, cada um fazendo uma coisa em
lugares diferentes.
Em anexo, mando um arquivo gerando pelo IOZone mostrando as taxas e
vocês podem ver. Ele mostra as velocidades em kbytes/s, para um total
de N Mb , lidos/escritos em blocos de tamanho "reclen", para escrita e
leitura sequencial e aleatória. Se vocẽs virem, podem observar que a
menor taxa que eu tenho, pra operações em blocos de 64k ainda mostram
taxas superiores à máximo alcançada por uma rede 10/100, que é a
velocidade do meu switch mais fraco. Isso me faz pensar que o gargalo
não é o disco. (Não fiz testes para leiturar com blocos menores, mas
com certeza deve derrubar o desempenho mais ainda.)
Porém, eu não consigo saber na prática, qual está sendo a natureza dos
meus acessos. Pensei se o cache do squid não derrubando o desempenho,
uma vez que ele faz muito acesso aleatório, e em pedaços muito
pequenos.
O volume de acesso aos arquivos não é grande, não chego a ter muitas
dezenas de arquivos abertos simultaneamente, mas usuários estão
reclamando de muito lentidão. (O que não acontecia com o servidor
anterior, que não era grande coisa, mas só rodava um banco de dados
pequeno e Samba, com um disco SCSI básico.)
Anida não fiz testes mais a fundo ainda, mas alguém tem experiência
com ambientes parecidos? Sabem dizer se isso pode realmente
comprometer?
Minha situação de rede também não é a ideal, o servidores estão
separados das estações por alguns switches cascateados, e pelo menos
um enlace de fibra, com conversores. Mas também não sei até que ponto
isso pode ser a causa ou não.
Gostaria de ouvir principalmente a experiência de vocês. Alguém tem
algo parecido ao meu caso, rodando bem? Podem me dar alguma ajuda pra
investigar isso?
Obrigado.
Reinaldo de Carvalho
>
> Estou tendo problemas com a velocidade de acesso aos arquivos, e é aí
> que surgem meus problemas.
>
- Como você mediu a essa 'velocidade'?
- Velocidade de acesso a partir de onde? do próprio servidor?
time cat /storage-mnt-point/arquivo.iso > /dev/null
>
> Porém, eu não consigo saber na prática, qual está sendo a natureza dos
> meus acessos. Pensei se o cache do squid não derrubando o desempenho,
> uma vez que ele faz muito acesso aleatório, e em pedaços muito
> pequenos.
Use 'iostat -x 1' tanto no dom0 quanto nos guests. O último campo
(%util) informa se o número de I/O's esta próximo do limite.
> O volume de acesso aos arquivos não é grande, não chego a ter muitas
> dezenas de arquivos abertos simultaneamente, mas usuários estão
> reclamando de muito lentidão. (O que não acontecia com o servidor
> anterior, que não era grande coisa, mas só rodava um banco de dados
> pequeno e Samba, com um disco SCSI básico.)
>
>
> Minha situação de rede também não é a ideal, o servidores estão
> separados das estações por alguns switches cascateados, e pelo menos
> um enlace de fibra, com conversores. Mas também não sei até que ponto
> isso pode ser a causa ou não.
>
O storage esta ligado via ethernet? iSCSI?
--
Reinaldo de Carvalho
http://korreio.sf.net
http://python-cyrus.sf.net
"Don't try to adapt the software to the way you work, but rather
yourself to the way the software works" (myself)
Edson Marquezani Filho
>
> - Como você mediu a essa 'velocidade'?
Não medi. Estou me baseando na reclamação dos usuários. Ainda não vi
bem de perto o que está acontecendo. Vou fazer alguns testes a partir
de estação a partir de amanhã.
> - Velocidade de acesso a partir de onde? do próprio servidor?
Não, como eu disse, velocidade pros usuários nas estações. Estão
reclamando de bastante lentidão para abrir os arquivos em geral, desde
que migrei o sistema.
> time cat /storage-mnt-point/arquivo.iso > /dev/null
>
>
> Use 'iostat -x 1' tanto no dom0 quanto nos guests. O último campo
> (%util) informa se o número de I/O's esta próximo do limite.
Vou ver em produção como fica amanhã.
>
> O storage esta ligado via ethernet? iSCSI?
>
Via cabo SAS direto na HBA.
Edson Marquezani Filho
Só pra encerrar o assunto (por enquanto).
Nesse momento meu problema não é com acesso a disco, nem com o Xen, é
rede física mesmo. Eu rodei alguns teste muito elementares a partir de
pontos diferentes da rede (um colado no servidor, outro distante, no
lugar de onde vêm as reclamações de lentidão), e constatei que tenho
simplesmente uma perda de 9 vezes na velocidade!!! O pessoal de lá tá
tendo um throughput de mais ou menos 1MB/s. Sem condições, né?
Rodei apenas alguns testes de velocidade de leitura para arquivos de
tamanhos variados sobre SMBFS/CIFS e já pude notar essa diferença
brutal.
Pude ver que o volume de I/O de disco é bem suave, como eu esperava.
De acordo com o previsto e o constatado, tenho sobra de recursos de
hardware. O que tá matando é a rede mesmo.
Obrigado pela ajuda.
