Dúvidas pools, volume e retenção

[Gabriel Santana]

Pessoal,

Ando estudando o Bacula mas tenho muitas dúvidas sobre o conceito de pools, volume, retenção e o processo de reciclagem. Então sempre que posso

tento ler sobre o assunto. Por favor, se possível vejam se minha leitura sobre o assunto está correta.

Em um pool eu posso ter um conjunto de volumes onde serão herdados alguns atributos definidos na pool.

Como por exemplo os atributos abaixo

AutoPrune = yes

Volume Retention     = 6 Days       

Volume Use Duration  = 23 hours 

Pergunta.. e quando é que essas 23h começará a ser contada? Quando o volume é montado? Ou a partir do momento que o volume foi utilizado pela primeira vez?

Após as 23h o volume mudaria o status para Used, e assim começaria a contar os dias configurado em Volume Retention?

Quando esses 6 dias + 23h forem vencidas o volume estára disponível

novamente para ser utilizado. Sendo assim podemos fazer uma anologia

que uma Pool seria uma "caixa" onde guardariamos a cada Fitas(Volumes)(Cada fita da semana)

para serem utilizadas nesse caso semanalmente? Resumindo isso seria a retenção de um volume?

O Autoprune=yes é apenas para podar os resgistros dos files and jobs gravado nesse volume, sendo assim

elimando os registros da base de dados e mantendo "uma boa saúde da base de dados do catálogo"?

O prune seria executado automaticamente antes de realizar um novo backup se o prazo estabelecido

estiver vencido? Se não definirmos o Autoprune os prazos(Volume Retention e Volume Use Duration) definidos terão algum efeito?

No Cliente as opções File Retention e Job retention seria mas para manter "uma boa saúde da base do catalogo"?

Tipo, se não definidas, os jobs e os indices dos arquivos permancerão até que o volume expirem apagando do catalogo os jobs e os registros dos arquivos

que utilizaram esse volume?

AutoPrune = yes

File Retention = 30 days

Job Retention = 6 months

Pessoal, descupa escrever tanto assim, mas tem dúvidas que quanto mais eu leio mais confuso eu fico.

Estou usando como referência o livro do Heitor e site bacula.com.br, sem falar do google tammbém :P

Agradeço atenção de todos!

Abraço,

[Ana Emília]

Oi Gabriel!

Vou tentar responder algumas das suas dúvidas...

El domingo, 7 de abril de 2013 23:41:40 UTC-3, Gabriel Santana escribió:

Pessoal,

Ando estudando o Bacula mas tenho muitas dúvidas sobre o conceito de pools, volume, retenção e o processo de reciclagem. Então sempre que posso

tento ler sobre o assunto. Por favor, se possível vejam se minha leitura sobre o assunto está correta.

Em um pool eu posso ter um conjunto de volumes onde serão herdados alguns atributos definidos na pool.

Como por exemplo os atributos abaixo

AutoPrune = yes

Volume Retention     = 6 Days       

Volume Use Duration  = 23 hours 

Pergunta.. e quando é que essas 23h começará a ser contada? Quando o volume é montado? Ou a partir do momento que o volume foi utilizado pela primeira vez?

Quando o bacula precisar de um volume para backup desse pool e nenhum volume estiver disponível (status append), ele vai usar o algoritmo de "recycle", ou seja, vai tentar achar um volume para reciclar e poder usar nesse backup. Nesse momento, ele vai verificar o volume mais antigo do pool. Se já se passaram 23 h desde que "o primeiro job começou a escrever nesse volume mais antigo", ele marca esse volume como used. Ou seja, depois de passdas as 23 horas o volume não é marcado como used, apenas quando um job precisar de um volume desse pool e não houver nenhum disponível (append ou purged). Aí o bacula vai verificar o período de retenção. Mas só vai fazer o prune dos arquivos e jobs desse volume no catálogo se já se passou o "volume retention period". Se ele fizer o prune, então ele vai poder usar o volume para esse backup q disparou a busca por um volume disponível. O bacula começa a busca pelo volume mais antigo (tem vários outros detalhes descritos no manual do bacula, onde fala sobre "Automatic Volume Recycling". O algoritmo é descrito em detalhes).

 

Após as 23h o volume mudaria o status para Used, e assim começaria a contar os dias configurado em Volume Retention?

Não, somente quando um job precisar de um volume desse pool e não houver nenhum disponível para uso, o bacula irá pegar o mais antigo, se o "volume use duration" tiver passado marca ele como used e aí vai verificar o "volume retention period". O Volume retention é contado a partir da última gravação no volume e não passadas as 23 horas. A data de última gravação no volume é que conta para começar o volume retention period.

 

Quando esses 6 dias + 23h forem vencidas o volume estára disponível

novamente para ser utilizado. Sendo assim podemos fazer uma anologia

que uma Pool seria uma "caixa" onde guardariamos a cada Fitas(Volumes)(Cada fita da semana)

para serem utilizadas nesse caso semanalmente? Resumindo isso seria a retenção de um volume?

O Autoprune=yes é apenas para podar os resgistros dos files and jobs gravado nesse volume, sendo assim

elimando os registros da base de dados e mantendo "uma boa saúde da base de dados do catálogo"?

Isso, mas o autoprune também serve para o bacula poder reutilizar esse volume. Precisa ser feito o "prune" para ele poder ser reciclado.

 

O prune seria executado automaticamente antes de realizar um novo backup se o prazo estabelecido

estiver vencido? Se não definirmos o Autoprune os prazos(Volume Retention e Volume Use Duration) definidos terão algum efeito?

O autoprune do pool sim, é realizado quando um novo backup é iniciado e o bacula precisa de um volume desse pool e não encontra nenhum disponível. Os prazos de volume retention e volume use duration sim, servem. Porque se vc tentar fazer um prune manual com volume retention definido, só vai conseguir se tiver passado a retenção. E o "volume use duration" também é válido para evitar que um job fique indefinidamente rodando, escrevendo no volume, além de outras coisas.

Tem o autoprune também na definição do cliente, que faz o prune de arquivos e jobs depois da realização de um job desse cliente.

 

No Cliente as opções File Retention e Job retention seria mas para manter "uma boa saúde da base do catalogo"?

Tipo, se não definidas, os jobs e os indices dos arquivos permancerão até que o volume expirem apagando do catalogo os jobs e os registros dos arquivos

que utilizaram esse volume?

Isso.

 

AutoPrune = yes

File Retention = 30 days

Job Retention = 6 months

Pessoal, descupa escrever tanto assim, mas tem dúvidas que quanto mais eu leio mais confuso eu fico.

Estou usando como referência o livro do Heitor e site bacula.com.br, sem falar do google tammbém :P

Agradeço atenção de todos!

Abraço,

[]s

Ana

[Gabriel Santana]

Ana,

Em primeiro lugar muito obrigado por sua atenção! :)

Em Segundo lugar,  a sua explicação me ajudou bastante a esclarecer as minhas dúvidas. Assim, depois ler suas respostas e ler o manual do Bacula eu acho consegui compreender alguns conceitos e por em prática hoje.

Criei um pool default com 

AutoPrune = yes

Volume Retention     = 6 Days       

Volume Use Duration  = 30 minutes

Solicitei ao Bacula para realizar um backup e através do comando list volume visualizei as informações do volume e verifiquei que a verificação do campo só feita quando um novo job é executado conforme abaixo:

+---------------------+
| MediaId | VolumeName | VolStatus | Enabled | VolBytes | VolFiles | VolRetention | Recycle | Slot | InChanger | MediaType | LastWritten |
+---------+------------+-----------+---------+-----------+----------+--------------+---------+------+-----------+-----------+---------------------+
| 5 | Test | Append | 1 | 7,236,472 | 0 | 518,400 | 1 | 0 | 0 | File | 2013-04-08 16:57:23 |
+---------+------------+-----------+---------+-----------+----------+--------------+---------+------+-----------+-----------+---------------------+

Quando foi por volta de 17:27 eu tentei executar outro backup e recebi a mensagem abaixo:

08-Abr 17:31 fulano-dir JobId 30: Start Backup JobId 30, Job=FulanoJob.2013-04-08_17.31.18_11
08-Abr 17:31 fulano-dir JobId 30: Max configured use duration=1,800 sec. exceeded. Marking Volume "Test" as Used.
08-Abr 17:31 fulano-dir JobId 30: Using Device "FileStorage2"
08-Abr 17:31 fulano-fd JobId 30: shell command: run ClientRunBeforeJob "/opt/bacula/etc/FulanoRunBeforeJob.sh"
*
You have messages.
*
08-Abr 17:31 fulano-sd JobId 30: Job FulanoJob.2013-04-08_17.31.18_11 is waiting. Cannot find any appendable volumes.
Please use the "label" command to create a new Volume for:
Storage: "FileStorage2" (/home/test-backups)

Ana, 

Mais uma vez obrigado!!!! Vou continuar meus estudos para aprimorar os meus conhecimentos sobre a ferramenta e qualquer dúvida eu volto a postar aqui e quando tiver os sucessos também!

Abraço,

[Ana Emília]

Isso mesmo Gabriel!

Boa sorte com o Bacula!

[]s

Ana

[Gabriel Santana]

Muito obrigado!

Abraço,

2013/4/9 Ana Emília <emilia...@gmail.com>

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Bacula Backup-Pt-Br" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para bacula-backup-p...@googlegroups.com.
Para postar neste grupo, envie um e-mail para bacula-ba...@googlegroups.com.
Visite este grupo em http://groups.google.com/group/bacula-backup-pt-br?hl=pt-BR.
Para ver esta discussão na web, acesse https://groups.google.com/d/msg/bacula-backup-pt-br/-/YqOmjH8Q-e4J.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.
 
 

[Gustavo Moreira]

Tenho algumas dúvida sobre o funcionamento dos volumes, pelo que já li no manual, neste e em outros fórums não pude sanar essas dúvidas:

1. No volume pool setei para 5Gb o tamanho máximo de volume, meu backup atual está em 4.3 Gb. Caso o backup suba para 5.5Gb o que acontecerá com o backup no volume? Todos os arquivos serão alocados no volume ou haverá perda de dados?
2. Teria como eu colocar o tamanho do volume como dinâmico?
3. Caso eu necessite excluir algum volume, como fazer isso no BD, não necessariamente nele, mas algum comando para dar um purge no volume no catálogo e no BD simultaneamente?

Agradeço a atenção.

Gustavo Moreira

[Wanderlei]

Boa tarde Gustavo

Um exemplo de pool

Pool{

  Name = "Diaria"

  Pool Type = Backup

  Recycle = yes

  Recycle Oldest Volume = yes

  Volume Use Duration = 23 hours

  Autoprune = yes

  LabelFormat = "Volume-Diario-${NumVols}"

  Maximum Volume Bytes = 4Gb      # Tamanho máximo de um volume

  Maximum Volumes = 15  # Quantidade máxima de volumes

  Storage = StorageLocal1

}

Em terça-feira, 19 de janeiro de 2016 13:21:16 UTC-2, Gustavo Moreira escreveu:

Tenho algumas dúvida sobre o funcionamento dos volumes, pelo que já li no manual, neste e em outros fórums não pude sanar essas dúvidas:

1. No volume pool setei para 5Gb o tamanho máximo de volume, meu backup atual está em 4.3 Gb. Caso o backup suba para 5.5Gb o que acontecerá com o backup no volume? Todos os arquivos serão alocados no volume ou haverá perda de dados?

R:  Se você configurar sua Pool para ter mais de 1 volume, quando o primeiro volume encher, o bacula vai requisitar um novo volume

1. Teria como eu colocar o tamanho do volume como dinâmico?

R: Comente a configuração "Maximum Volume Bytes"

1. Caso eu necessite excluir algum volume, como fazer isso no BD, não necessariamente nele, mas algum comando para dar um purge no volume no catálogo e no BD simultaneamente?

R: Você pode usar o bconsole para deletar o volume com o comando delete ou purge ( isso apaga do banco (catálogo) mas não o volume físico. O volume físico precisa ser apagado manualmente.

Agradeço a atenção.

Att Wanderlei

 

Gustavo Moreira

[Gustavo Moreira]

Muito obrigado Wanderlei, foi de grande ajuda!

[Wanderlei]

De nada!

Um detalhe que esqueci de comentar!

Na pool faltou o "Volume Retention" que é a retenção do volume.

Então quando o bacula encher um volume ele vai primeiro buscar um volume para reciclar, caso não encontre nenhum, ele cria um novo, e assim sucessivamente.

Quando tiver o bacula funcionando e você alterar dados da Pool é preciso usar o comando update no bconsole:

1: Volume parameters ->  13: All Volumes from Pool ou 14: All Volumes from all Pools

2: - Pool from resource

Pool{

  Name = "Diaria"

  Pool Type = Backup

  Recycle = yes

  Recycle Oldest Volume = yes

  Volume Retention = 6 days

  Volume Use Duration = 23 hours

  Autoprune = yes

  LabelFormat = "Volume-Diario-${NumVols}"

  Maximum Volume Bytes = 4Gb      # Tamanho máximo de um volume

  Maximum Volumes = 15  # Quantidade máxima de volumes

  Storage = StorageLocal1

}

Att Wanderlei

[Welbster Oliveira]

Bom dia.

È possível apontar na pool um storage com um determinado disco?

Por exemplo:

Tenho um storage com dois discos de 2T, total 4T,

/dev/sda3 montado em /backup/full 2T
/dev/sda4 montado em /backup/diario 2T

È possível eu apontar na pool do bacjuo full esse storage com o device X =/dev/sda3, e na pool dos backup diário apontar o mesmo storage, porém para o outro device Y =/dev/sda4
?