Seleção de jobs - Migrate e Delete

330 views
Skip to first unread message

"Fábio R. Medeiros"

unread,
Jun 3, 2015, 8:27:20 AM6/3/15
to bacula-ba...@googlegroups.com
Bom dia a todos,

Tentei configurar um job migrate para liberar espaço em um storage, o problema é que ele não acha nenhum job através da regex. Através do comando estimate, aparece como OK.

Em Selection Pattern no job, já coloquei ".*[Rr]adius.*", "log-radius", "log-.*". Também tentei definir o client como parametro, mas nada...

Outra dúvida é quanto ao comando "delete". Ele apaga os dados do disco ou somente do catálogo?

Seguem as configurações e o resultado do comando:

Comando Estimate:

*estimate job=migrate-job
Using Catalog "Catalogo"
Connecting to Client log-radius at XXX.XXX.XXX.XXX:9102
2000 OK estimate files=620 bytes=110,691,595

Resultado do Job:

03-Jun 12:05 bacula-dir JobId 2718: Regex pattern matched no Jobs to migrate.
03-Jun 12:05 bacula-dir JobId 2718: No JobIds found to migrate.
*m
03-Jun 12:05 bacula-dir JobId 2718: Bacula bacula-dir 7.0.5 (28Jul14):
  Build OS:               amd64-portbld-freebsd10.1 freebsd 10.1-RELEASE-p9
  Prev Backup JobId:      0
  Prev Backup Job:       
  New Backup JobId:       0
  Current JobId:          2718
  Current Job:            migrate-job.2015-06-03_12.05.42_03
  Backup Level:           Full
  Client:                 log-radius
  FileSet:                "BaculaFileSet" 2014-08-30 00:30:00
  Read Pool:              "PoolSemanal" (From Job resource)
  Read Storage:           "bacula-sd" (From Job resource)
  Write Pool:             "PoolTemp" (From Pool's NextPool resource)
  Write Storage:          "temp-sd" (From Pool's NextPool resource)
  Catalog:                "Catalogo" (From Client resource)
  Start time:             03-Jun-2015 12:05:44
  End time:               03-Jun-2015 12:05:44
  Elapsed time:           0 secs
  Priority:               10
  SD Files Written:       0
  SD Bytes Written:       0 (0 B)
  Rate:                   0.0 KB/s
  Volume name(s):        
  Volume Session Id:      0
  Volume Session Time:    0
  Last Volume Bytes:      0 (0 B)
  SD Errors:              0
  SD termination status: 
  Termination:            Migration -- no files to migrate

03-Jun 12:05 bacula-dir JobId 2718: Begin pruning Jobs older than 6 months .
03-Jun 12:05 bacula-dir JobId 2718: No Jobs found to prune.
03-Jun 12:05 bacula-dir JobId 2718: Begin pruning Files.
03-Jun 12:05 bacula-dir JobId 2718: No Files found to prune.
03-Jun 12:05 bacula-dir JobId 2718: End auto prune.


Confs do Job, Pools, etc:

job {
  Name = "migrate-job"
  Type = Migrate
  Level = Full
  Client = log-radius
  FileSet = BaculaFileSet
  Messages = Standard
  Pool = PoolSemanal
  Maximum Concurrent Jobs = 10
  Selection Type = Client
  Selection Pattern = ".*[Rr]adius.*"
  Storage = bacula-sd
}

Pool {
  Name = PoolTemp
  Pool Type = Backup
  Recycle = yes
  AutoPrune = yes
  Storage = "temp-sd"
}

Pool {
  Name = PoolSemanal
  Pool Type = Backup
  Recycle = yes
  AutoPrune = yes
  Volume Use Duration = 5 days
  File Retention = 5 weeks
  Job Retention = 5 weeks
  Volume Retention = 3 months
  Maximum Volumes = 1000
  Maximum Volume Bytes = 2gb
  LabelFormat = "Semanal-${Year}${Month}${Day}-${NumVols}"
  Next Pool = PoolTemp
}


Fábio

Ana Emília M. Arruda

unread,
Jun 3, 2015, 12:20:23 PM6/3/15
to bacula-ba...@googlegroups.com
Oi Fábio,

On Wed, Jun 3, 2015 at 9:27 AM, "Fábio R. Medeiros" <fab...@unicamp.br> wrote:
Bom dia a todos,

Tentei configurar um job migrate para liberar espaço em um storage, o problema é que ele não acha nenhum job através da regex. Através do comando estimate, aparece como OK.

Em Selection Pattern no job, já coloquei ".*[Rr]adius.*", "log-radius", "log-.*". Também tentei definir o client como parametro, mas nada...

​Pelo que vi, o nome do seu client é "log-radius". Isso deveria funcionar, para migrar todos os jobs desse client:

  Selection Type = Client
  Selection Pattern = "log-radius"

Quer mandar um list jobs e list media pra ver o que pode ser?
 

Outra dúvida é quanto ao comando "delete". Ele apaga os dados do disco ou somente do catálogo?

​Somente do catálogo.​

 

--
Você recebeu essa mensagem porque está inscrito no grupo "Bacula Backup-Pt-Br" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para bacula-backup-p...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para bacula-ba...@googlegroups.com.
Acesse esse grupo em http://groups.google.com/group/bacula-backup-pt-br.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/bacula-backup-pt-br/556EF2A4.4050009%40unicamp.br.
Para mais opções, acesse https://groups.google.com/d/optout.

fab...@unicamp.br

unread,
Jun 5, 2015, 1:24:20 PM6/5/15
to bacula-ba...@googlegroups.com
Oi Ana,

Mudei o pool e o fileset do job migrate para corresponder aos
configurados no client 'log-radius', ele achou o padrão, achou os
jobs, mas não migrou nada...

Pelo log, creio que o problema seja no número máximo de conexões no
Postgres setado para 300. No job setei para 150. Alguma sugestão?

# tail -n40 /var/log/bacula/bacula.log
05-Jun 16:28 bacula-dir JobId 3332: Bootstrap records written to
/var/db/bacula//bacula-dir.restore.142.bsr
05-Jun 16:28 bacula-dir JobId 3334: Migration using JobId=2544
Job=LogRadiusBackup.2015-06-01_00.30.00_42
05-Jun 16:28 bacula-dir JobId 3334: Bootstrap records written to
/var/db/bacula//bacula-dir.restore.143.bsr
05-Jun 16:28 bacula-dir JobId 3336: Migration using JobId=2560
Job=LogRadiusBackup.2015-06-02_00.30.00_58
05-Jun 16:28 bacula-dir JobId 3336: Bootstrap records written to
/var/db/bacula//bacula-dir.restore.144.bsr
05-Jun 16:28 bacula-dir JobId 3338: Migration using JobId=2720
Job=LogRadiusBackup.2015-06-04_00.30.00_06
05-Jun 16:28 bacula-dir JobId 3338: Bootstrap records written to
/var/db/bacula//bacula-dir.restore.145.bsr
05-Jun 17:00 bacula-dir JobId 3341: The following 146 JobIds were
chosen to be migrated:
610,618,635,648,668,680,687,690,698,710,722,735,747,759,796,808,845,860,869,872,881,894,906,919,934,942,945,953,966,980,993,1006,1014,1017,1025,1040,1054,1068,1082,1091,1094,1102,1116,1130,1147,1164,1176,1179,1187,1204,1221,1238,1255,1267,1270,1278,1295,1316,1332,1348,1358,1361,1370,1386,1403,1420,1438,1449,1452,1461,1479,1497,1516,1536,1549,1552,1561,1579,1597,1610,1628,1647,1650,1653,1671,1689,1707,1768,1786,1804,1822,1841,1844,1847,1885,1935,1955,1970,1985,2001,2004,2007,2022,2038,2053,2069,2086,2089,2092,2108,2124,2140,2156,2173,2176,2179,2195,2211,2227,2243,2260,2263,2268,2284,2300,2316,2333,2350,2353,2359,2375,2391,2407,2423,2440,2443,2446,2462,2478,2494,2511,2528,2544,2560,2720,2735
05-Jun 17:00 bacula-dir JobId 3341: Job queued. JobId=3342
05-Jun 17:00 bacula-dir JobId 3341: Migration JobId 3342 started.
05-Jun 17:00 bacula-dir JobId 3341: Job queued. JobId=3344
05-Jun 17:00 bacula-dir JobId 3341: Migration JobId 3344 started.
05-Jun 17:00 bacula-dir JobId 3342: Migration using JobId=610
Job=LogRadiusBackup.2014-12-08_00.30.00_38
05-Jun 17:00 bacula-dir JobId 3342: Bootstrap records written to
/var/db/bacula//bacula-dir.restore.147.bsr
05-Jun 17:00 bacula-dir JobId 3342: Start Migration JobId 3342,
Job=migrate-job.2015-06-05_17.00.02_00
05-Jun 17:00 bacula-dir JobId 3344: Migration using JobId=618
Job=LogRadiusBackup.2014-12-09_00.30.00_46
05-Jun 17:00 bacula-dir JobId 3344: Bootstrap records written to
/var/db/bacula//bacula-dir.restore.148.bsr
05-Jun 17:00 bacula-dir JobId 3346: Migration using JobId=635
Job=LogRadiusBackup.2014-12-10_00.30.01_11
05-Jun 17:00 bacula-dir JobId 3346: Bootstrap records written to
/var/db/bacula//bacula-dir.restore.149.bsr
05-Jun 17:00 bacula-dir JobId 3346: Fatal error: setup job failed.
05-Jun 17:00 bacula-dir JobId 0: Fatal error: Could not open database
"bacula".
05-Jun 17:00 bacula-dir JobId 0: Fatal error: postgresql.c:236 Unable
to connect to PostgreSQL server. Database=bacula User=bacula
Possible causes: SQL server not running; password incorrect;
max_connections exceeded.
05-Jun 17:00 bacula-dir: Fatal Error at sql_update.c:177 because:
rwl_writelock failure. stat=22: ERR=Invalid argument
05-Jun 17:10 bacula-dir: ERROR TERMINATION at bsys.c:556
bacula-dir is already running. pid=95200
Check file /var/run/bacula-dir.9101.pid

Fábio


Citando "Ana Emília M. Arruda" <emilia...@gmail.com>:

> Oi Fábio,
>
> On Wed, Jun 3, 2015 at 9:27 AM, "Fábio R. Medeiros" <fab...@unicamp.br>
> wrote:
>
>> Bom dia a todos,
>>
>> Tentei configurar um job migrate para liberar espaço em um storage, o
>> problema é que ele não acha nenhum job através da regex. Através do comando
>> estimate, aparece como OK.
>>
>> Em Selection Pattern no job, já coloquei ".*[Rr]adius.*", "log-radius",
>> "log-.*". Também tentei definir o client como parametro, mas nada...
>>
>
> ​Pelo que vi, o nome do seu client é "log-radius". Isso deveria funcionar,
> para migrar todos os jobs desse client:
>
> Selection Type = Client
> Selection Pattern = "log-radius"​
>
> Quer mandar um list jobs e list media pra ver o que pode ser?
>
>
>>
>> Outra dúvida é quanto ao comando "delete". Ele apaga os dados do disco ou
>> somente do catálogo?
>>
>
> ​Somente do catálogo.​
>
>
>
>>
>> Seguem as configurações e o resultado do comando:
>>
>>
>>
>> *Comando Estimate: **estimate job=migrate-job
>> Using Catalog "Catalogo"
>> Connecting to Client log-radius at XXX.XXX.XXX.XXX:9102
>> 2000 OK estimate files=620 bytes=110,691,595
>>
>> *Resultado do Job:*
>>
>> 03-Jun 12:05 bacula-dir JobId 2718:* Regex pattern matched no Jobs to
>> migrate.*
>> *Confs do Job, Pools, etc:*
>> <https://groups.google.com/d/msgid/bacula-backup-pt-br/556EF2A4.4050009%40unicamp.br?utm_medium=email&utm_source=footer>
>> .
>> Para mais opções, acesse https://groups.google.com/d/optout.
>>
>
> --
> Você está recebendo esta mensagem porque se inscreveu no grupo
> "Bacula Backup-Pt-Br" dos Grupos do Google.
> Para cancelar inscrição nesse grupo e parar de receber e-mails dele,
> envie um e-mail para bacula-backup-p...@googlegroups.com.
> Para postar neste grupo, envie um e-mail para
> bacula-ba...@googlegroups.com.
> Visite este grupo em http://groups.google.com/group/bacula-backup-pt-br.
> Para ver esta discussão na web, acesse
> https://groups.google.com/d/msgid/bacula-backup-pt-br/CAAh-UZbcT6DyzOQbxpjhpeH9P4v38q4QRUaM8wyPvtiF3aWf%2Bg%40mail.gmail.com.
> Para obter mais opções, acesse https://groups.google.com/d/optout.



Ana Emília M. Arruda

unread,
Jun 8, 2015, 11:14:22 AM6/8/15
to bacula-ba...@googlegroups.com
Oi Fábio,

Essa config funciona para execução de seus jobs? Já vinha funcionando?
Além de setar no job, lembra também que o director, SD e client devem estar com esse valor para maximum concurrent jobs ok?

[]s
Ana

"Fábio R. Medeiros"

unread,
Jun 15, 2015, 9:46:23 AM6/15/15
to bacula-ba...@googlegroups.com
Oi Ana,

Faltou setar no arquivo do client, o "bacula-fd.conf", obrigado pela ajuda!!!

Att.

Fábio

Ana Emília M. Arruda

unread,
Jun 16, 2015, 9:50:49 AM6/16/15
to bacula-ba...@googlegroups.com
Por nada Fábio!!!

"Fábio R. Medeiros"

unread,
Jun 19, 2015, 4:44:33 PM6/19/15
to bacula-ba...@googlegroups.com
Boa tarde Ana,

Realizei o migrate, porém os arquivos antigos de volume continuaram no disco, é assim mesmo? Tem algo faltando?

Att.

Fábio

Ana Emília M. Arruda

unread,
Jun 20, 2015, 10:18:29 PM6/20/15
to bacula-ba...@googlegroups.com
Oi Fabio!

É isso mesmo. O que ocorre no job do tipo migration, é que os dados no catálogo do job/files originais são apagados (purge), passando a valer somente os novos. Inclusive, não será mais permitido fazer restore utilizando o job original. Depois de realizado um migrate, os restores funcionarão apenas com o novo jobid do job migrate.

O que você pode fazer é incluir um "run after job" no job migrate pra apagar o arquivo do(s) volume(s) migrado(s) do filesystem.

[]s
Ana

Wanderlei

unread,
Jun 21, 2015, 8:02:10 PM6/21/15
to bacula-ba...@googlegroups.com
Boa Noite Fábio

É possivel colocar a opção "Purge Migration Job = yes" no Job de Migração que o Job que foi migrado é apagado.

Att Wanderlei
Reply all
Reply to author
Forward
0 new messages