Ajuda com LTO em VM

[Mauricio Pereira]

Ola a todos,

Tenho um servidor DELL com drive LTO3, usando XCP 1.6

Procurando na internet achei um modo de fazer a placa ficar visivel para as VM ( Ubuntu Server 12.04.2)  do seguinte modo:

No servidor:

# lspci | grep MPT
02:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)

Passando os dados para a VM
# xe vm-param-set other-config:pci=0/0000:02:00.

0 uuid=62dc2875-d68d-1545-a57e-dbe440a934fe

Reiniciei o servidor e a VM

Apos isso, loguei na VM  e rodei o comando lspci
# lspci
00:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)

a VM ja consegue enxergar a controladora porem recebo essa msg de erro.
[   34.164151] mpt2sas0: _base_event_notification: timeout
[   34.164175] mpt2sas0: fault_state(0x1500)!
[   35.468901] mpt2sas0: failure at /build/buildd/linux-lts-

quantal-3.5.0/drivers/scsi/mpt2sas/mpt2sas_scsih.c:8099/_scsih_probe()!

q no dmesg aparece esse erro:
...
[    3.492597] scsi0 : Fusion MPT SAS Host
[    3.496830] mpt2sas 0000:00:00.0: enabling device (0000 -> 0002)
[    3.496923] mpt2sas 0000:00:00.0: Xen PCI mapped GSI18 to IRQ28
[    3.497078] mpt2sas0: 32 BIT PCI BUS DMA ADDRESSING SUPPORTED, total mem (1014932 kB)
[    3.498232] mpt2sas0-msix0: PCI-MSI-X enabled: IRQ 29
[    3.498235] mpt2sas0: iomem(0x00000000da7f0000), mapped(0xffffc900001a0000), size(65536)
[    3.498238] mpt2sas0: ioport(0x000000000000fc00), size(256)
[    3.933611] mpt2sas0: Allocated physical memory: size(4112 kB)
[    3.933616] mpt2sas0: Current Controller Queue Depth(2748), Max Controller Queue Depth(2879)
[    3.933618] mpt2sas0: Scatter Gather Elements per IO(128)
[    5.088240] init: failsafe main process (540) killed by TERM signal
[    5.214518] type=1400 audit(1367259899.830:5): apparmor="STATUS" operation="profile_replace" name="/sbin/dhclient" pid=667 comm="apparmor_parser"
[    5.215005] type=1400 audit(1367259899.830:6): apparmor="STATUS" operation="profile_replace" name="/usr/lib/NetworkManager/

nm-dhcp-client.action" pid=667 comm="apparmor_parser"
[    5.215257] type=1400 audit(1367259899.830:7): apparmor="STATUS" operation="profile_replace" name="/usr/lib/connman/scripts/dhclient-script" pid=667 comm="apparmor_parser"
[    5.390009] type=1400 audit(1367259900.010:8): apparmor="STATUS" operation="profile_load" name="/usr/lib/libvirt/virt-aa-helper" pid=668 comm="apparmor_parser"
[    5.466047] type=1400 audit(1367259900.082:9): apparmor="STATUS" operation="profile_load" name="/usr/sbin/libvirtd" pid=670 comm="apparmor_parser"
[    5.540049] type=1400 audit(1367259900.158:10): apparmor="STATUS" operation="profile_load" name="/usr/sbin/tcpdump" pid=672 comm="apparmor_parser"
[    6.653032] init: plymouth-upstart-bridge main process (557) killed by TERM signal
[    6.715770] Bridge firewalling registered
[    6.755449] ip_tables: (C) 2000-2006 Netfilter Core Team
[    6.964229] nf_conntrack version 0.5.0 (7929 buckets, 31716 max)
[    7.056955] IPv6: ADDRCONF(NETDEV_UP): virbr0: link is not ready
[    7.345258] Ebtables v2.0 registered
[    7.393189] ip6_tables: (C) 2000-2006 Netfilter Core Team
[   34.164151] mpt2sas0: _base_event_notification: timeout
[   34.164175] mpt2sas0: fault_state(0x1500)!
[   34.164181] mpt2sas0: sending diag reset !!
[   35.404134] mpt2sas0: diag reset: SUCCESS
[   35.468901] mpt2sas0: failure at /build/buildd/linux-lts-quantal-3.5.0/drivers/scsi/mpt2sas/mpt2sas_scsih.c:8099/_scsih_probe()!
[   35.499896] init: udev-fallback-graphics main process (1141) terminated with status 1
[   35.535161] init: plymouth-splash main process (1147) terminated with status 1

Alguem sabe como resolver esse problema ?

--
Mauricio P. Santos
msn: mps...@gmail.com
skype: mpsfox

[Gustavo Freitas]

se vc souber eu vou adorar.. já que estou com esse mesmo caso de usar
uma unidade de fita LTO em uma maquina virtual com bacula..

2013/4/29 Mauricio Pereira <mps...@gmail.com>:

> --
> --
> Você recebeu esta mensagem porque está inscrito em Grupo "xen-br" do Grupos
> Google.
> Para enviar mensagens para este grupo, envie um email para
> xen...@googlegroups.com
> Para anular a inscrição neste grupo, envie um email para
> xen-br-un...@googlegroups.com
> Para mais opções, visite este grupo em
> http://groups.google.com/group/xen-br?hl=pt-BR
> Site do GU Xen-BR: http://www.xen-br.org
> Antes de enviar sua primeira mensagem leia atentamente as regras para
> participação no site
> http://groups.google.com/group/xen-br/web/regras?hl=pt-BR
>
> ---
> Você está recebendo esta mensagem porque se inscreveu no grupo "xen-br" dos
> Grupos do Google.
> Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie
> um e-mail para xen-br+un...@googlegroups.com.
> Para obter mais opções, acesse https://groups.google.com/groups/opt_out.
>
>



--
Gustavo Freitas

[Gunther Boeckmann]

Cara nunca fiz isso, mas na teoria está faltando você fazer o PCI Passthrough, que diz para o Hypervisor ignorar um endereço PCI durante o Boot do Host. Outra coisa, nem todos os dispositivos PCI conseguem ser "redirecionados", dê uma lida nos requisitos.

Gunther

[Mauricio Pereira]

Gunther, vlw pela lembranca, a solucao era justamente faz o Servidor ignorar o endereco.

Abaixo passo a passo, para ativaca do LTO na VM, lembrando servidor XCP 1.6 e VM Ubuntu Server 12.04.2

1 - Ache o endereco da placa no Servidor

# lspci | grep MPT
02:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)

2 - Altere a linha de comando do boot para ignorar o endereco adicionando o comando pciback.hide=(02:00.0)

#  vi /boot/extlinux.conf
label xe
  # XCP
  kernel mboot.c32
  append /boot/xen.gz pciback.hide=(02:00.0) mem=1024G dom0_mem=752M,max:752M watchdog_timeout=300 cpuid_mask_xsave_eax=0 lowmem_emergency_pool=1M crashkernel=64M@32M console=vga vga=mode-0x0311 dom0_max_vcpus=1-4 --- /boot/vmlinuz-2.6-xen root=LABEL=root-iseckijg ro xencons=hvc console=hvc0 console=tty0 quiet vga=785 splash --- /boot/initrd-2.6-xen.img

3 - Registre a alteracao

# extlinux -i /boot

4 - Adicione o endereco da placa na VM

# xe vm-param-set other-config:pci=0/0000:02:00.0 uuid=62dc2875-d68d-1545-a57e-dbe440a934fe

5 - Na VM adicione os comandos iommu=soft e swiotlb=force no boot.
Se estiver usandor CentOS 6.0 devera fazer download dos fontes do Kernel, pois ele vem sem suporte a PCI frontend, durante a configuracao do Kernel, ative a opcao Processor type and features -> Paravirtualized guest support -> Xen guest support and Bus options -> Xen PCI Fronted are enabled. Compile e instale o kernel e modulos , nao vou entrar em detalhes sobre a compilação do kernel, existe muito material sobre isso na internet.

6 - Edite o grub e adicione as opcoes iommu=soft e swiotlb=force no boot da VM

# vi /boot/grub/grub.cfg
 linux   /boot/vmlinuz-3.5.0-23-generic root=UUID=b17631a3-b162-4708-9272-b4153045c3aa ro console=hvc0  splash quiet $vt_handoff iommu=soft swiotlb=force

7 - Desligue a VM e reinicie o servidor.

8 - Inicie a VM e verifique se acha a placa, que possivelmente estara como 00:00.0

 #lspci

00:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)

9 - Verifique se ativou a placa e unidade

#dmesg | grep scsi

[    4.856562] scsi0 : Fusion MPT SAS Host
[   13.231400] scsi 0:0:0:0: Sequential-Access IBM      ULTRIUM-HH3      C7R3 PQ: 0 ANSI: 6
[   13.231412] scsi 0:0:0:0: SSP: handle(0x0009), sas_addr(0x50050763124cda6b), phy(7), device_name(0x630705506bda0c12)
[   13.231416] scsi 0:0:0:0: SSP: enclosure_logical_id(0x590b11c0250b4600), slot(0)
[   13.231421] scsi 0:0:0:0: qdepth(254), tagged(1), simple(0), ordered(0), scs_level(7), cmd_que(1)
[   13.233948] scsi 0:0:0:0: TLR Enabled
[   13.235954] scsi 0:0:0:0: Attached scsi generic sg0 type 1
[   13.270963] st 0:0:0:0: Attached scsi tape st0

Pronto, placa tiva e unidade de LTO em st0

10 - Instale o programa de controle da fita mt-st. Caso seja multivolume instale tambem mtx

#apt-get install mt-st mtx

Colume uma fita no drive e verifique o estado

#mt -f /dev/st0 status

Lembre que o LTO nao sera compartilhado, entao caso adicione o endereco em mais de 1 VM, uma delas ira erro.

Eu nao pude fazer o teste pratico de backup, pois o servidor eh novo e minhas fitas ainda nao chegaram, quando puder teste e poste se teve algum problema durante a grava e qual o desempenho.

[Gustavo Freitas]

vc vai usar o bacula ?

[Mauricio Pereira]

Nao, vo usar o script de backup q ja usava no servidor de arqivos, so vou adaptar pra usar LTO.

[Mauricio Pereira]

So pra constar, hoje chegou minhas fitas.

Teste OK

Fitas LTO funcionando no Ubuntu Server rodando dentro da VM.

[Gunther Boeckmann]

Para quem interessar possa,

coincidentemente esta semana precisei fazer a mesma solução, inclusive com o mesmo dispositivo de Fita e funcionou beleza!!

E mais alguns detalhes:

1. Testei com o Oracle 6, mas só funciona com o kernel-uek. Pois as únicas distros com o suporte ao PCIFRONT que conheço é o Ubuntu server 12.04 e o Oracle 6 UEK. O Debian e o CentOS não tem suporte devido a versão do kernel que utilizam, tem que ser 2.6.37 ou superior, a não ser é claro que você baixe o kernel e compile por sua conta e risco.

2. Não precisei utilizar os parâmetros no kernel da VM: iommu=soft swiotlb=force , não sei qual é a consequência disso, mas se houver eu posto aqui.

3. Eu fiz estes testes utilizando como Host o Xenserver 6.0.2, e descobri que o Xenserver 6.1 (Xen4.2) tem suporte dinâmico a esta funcionalidade, ou seja, não precisa reiniciar o servidor, mas por garantia deve-se usar o parâmetro iommu=1. Acredito que isso se aplique ao XCP 1.6 (não tenho certeza).

4. Como meu servidor era um DELL T620 e tinha suporte a VT-d, consegui também fazer com que uma Máquina Virtual assistida por Hardware (HVM) - Windows 2003 - reconhecesse o mesmo dispositivo de Fita, porém só não consegui testar pois não tinha os CD de instalação (Drivers) do dispositivo de Fita. Mas esse nesse teste, tive que desligar a VM Oracle, visto que essa solução NÃO COMPARTILHA o hardware com outras VM simultaneamente.

5. Vale lembrar ainda que enquanto esse recurso estiver funiconando na VM, ela não poderá migrar sem que seja desligada.

Boa sorte!

Gunther

[Gustavo Freitas]

Pessoal,

Para a fita funcionar.. a minha maquina VM tem que ser um ubuntu server 12.04 ?
estou pensando em usar o bacula.. será que vai funcionar ?? com o
Mauricio menciona
tem que setar estes parâmetros ?


Em 17 de maio de 2013 09:27, Gunther Boeckmann
<guntherb...@gmail.com> escreveu:

[Gunther Boeckmann]

Respondendo...

Att.
Gunther

Em 17 de maio de 2013 09:32, Gustavo Freitas <gst.f...@gmail.com> escreveu:

Pessoal,

Para a fita funcionar.. a minha maquina VM tem que ser um ubuntu server 12.04 ?

R- Não , veja meu email anterior.
 

estou pensando em usar o bacula.. será que vai funcionar ??

R- Sim, pode ser qualquer software de Backup que acesse o dispositivo st0, pois isso independe do soft.
 

com o
Mauricio menciona
tem que setar estes parâmetros ?

R- Em sua grande maioria sim, veja meu email anterior.
 

[Gustavo Freitas]

Vou tentar.. tenho uma unidade de fita que esta instalada
em um servidor dell T410, vou solicitar a mudança para
o servidor que esta o xenserver 6.1..

Em 17 de maio de 2013 09:40, Gunther Boeckmann
<guntherb...@gmail.com> escreveu:

[Gunther Boeckmann]

Debian 7 também funciona!!