Низкая скорость бэкапа

199 views
Skip to first unread message

Сергей

unread,
Apr 13, 2010, 1:16:31 AM4/13/10
to ru-bacula
Доброго времени суток.

У меня такой вопрос к уважаемому сообществу: какую скорость бэкапа
считать нормальной? У меня сейчас на некоторых серверах скорость
вполне приличная, например, файловый сервер (Win2k3):

Bacula sargass-dir 3.0.2 (18Jul09): 11-Апр-2010 12:43:25
Build OS: i486-pc-linux-gnu debian squeeze/sid
JobId: 1234
Job: Irbis.2010-04-11_08.37.03_44
Backup Level: Full
Client: "Irbis" 3.0.2 (18Jul09) Linux,Cross-
compile,Win32
FileSet: "Irbis" 2009-10-14 11:26:39
Pool: "pool.disk.6m" (From Job FullPool override)
Catalog: "MyCatalog" (From Client resource)
Storage: "storage.file" (From Pool resource)
Scheduled time: 11-Апр-2010 08:37:00
Start time: 11-Апр-2010 08:37:08
End time: 11-Апр-2010 12:43:25
Elapsed time: 4 hours 6 mins 17 secs
Priority: 10
FD Files Written: 117,593
SD Files Written: 117,593
FD Bytes Written: 19,776,539,907 (19.77 GB)
SD Bytes Written: 19,798,368,974 (19.79 GB)
Rate: 1338.3 KB/s
Software Compression: 32.1 %
VSS: yes
Encryption: no
Accurate: no
Volume name(s): disk.6m.0218
Volume Session Id: 4
Volume Session Time: 1270805119
Last Volume Bytes: 19,818,723,142 (19.81 GB)
Non-fatal FD errors: 1
SD Errors: 0
FD termination status: OK
SD termination status: OK
Termination: Backup OK -- with warnings

в то же время бэкап почтовика (Debian lenny, 2.6.18-6-686)

Bacula sargass-dir 3.0.2 (18Jul09): 10-Апр-2010 18:46:43
Build OS: i486-pc-linux-gnu debian squeeze/sid
JobId: 1233
Job: Cyrus.2010-04-09_16.47.55_41
Backup Level: Full
Client: "Panther" 3.0.2 (18Jul09) i486-pc-linux-
gnu,debian,5.0.3
FileSet: "Cyrus" 2010-01-12 14:37:56
Pool: "pool.disk.2m" (From Job FullPool override)
Catalog: "MyCatalog" (From Client resource)
Storage: "storage.file" (From Pool resource)
Scheduled time: 09-Апр-2010 16:48:00
Start time: 09-Апр-2010 16:48:34
End time: 10-Апр-2010 18:46:43
Elapsed time: 1 day 1 hour 58 mins 9 secs
Priority: 10
FD Files Written: 804,850
SD Files Written: 804,850
FD Bytes Written: 24,672,051,072 (24.67 GB)
SD Bytes Written: 24,780,479,823 (24.78 GB)
Rate: 263.9 KB/s
Software Compression: 46.3 %
VSS: no
Encryption: no
Accurate: no
Volume name(s): disk.2m.0164
Volume Session Id: 3
Volume Session Time: 1270805119
Last Volume Bytes: 24,829,399,347 (24.82 GB)
Non-fatal FD errors: 0
SD Errors: 0
FD termination status: OK
SD termination status: OK
Termination: Backup OK


Можно ли считать такую ситуацию нормой?

metallic

unread,
Apr 13, 2010, 4:56:44 AM4/13/10
to ru-b...@googlegroups.com
Сжатие данных используешь? Проц на сервере, где стоит директор какой? Скорость сети какая?
Вообще это не нормально, я считаю.

13 апреля 2010 г. 9:16 пользователь Сергей <uso...@gmail.com> написал:

--
Вы получили это сообщение, поскольку подписаны на группу ru-bacula.

Чтобы добавлять сообщения в эту группу, отправьте письмо по адресу ru-b...@googlegroups.com.
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу ru-bacula+...@googlegroups.com.
О дополнительных функциях можно узнать в группе по адресу http://groups.google.com/group/ru-bacula?hl=ru.


Сергей

unread,
Apr 13, 2010, 5:35:47 AM4/13/10
to ru-bacula
> Сжатие данных используешь?
Да

> Проц на сервере, где стоит директор какой?

Директор стоит в виртуалке в xen'е

----- /proc/cpuinfo -----
processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 15
model name : Intel(R) Core(TM)2 CPU 6300 @ 1.86GHz
stepping : 6
cpu MHz : 1861.999
cache size : 2048 KB
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 10
wp : yes
flags : fpu de tsc msr pae cx8 apic cmov pat clflush acpi
mmx fxsr sse sse2 ss ht nx constant_tsc up pni ssse3
bogomips : 3741.56
clflush size : 64
power management:

----- /proc/cpuinfo end -----

Вообще, хоть какой-то заметной нагрузки при бэкапе я не наблюдаю, ни
на клиенте, ни на сервере

> Скорость сети какая?

Гигабит

Andrey Rogozhnikov

unread,
Apr 13, 2010, 7:53:19 AM4/13/10
to ru-b...@googlegroups.com
У меня при записи Full'а почты постфикса
03-Апр 23:39 vamp-sd JobId 781: Job write elapsed time = 01:14:25, Transfer rate = 1.766 M bytes/second
  Elapsed time:           1 hour 17 mins 18 secs
  Priority:               10
  FD Files Written:       181,422
  SD Files Written:       181,422
  FD Bytes Written:       7,856,615,189 (7.856 GB)
  SD Bytes Written:       7,887,807,102 (7.887 GB)
  Rate:                   1694.0 KB/s
  Software Compression:   43.8 %
Inc'ов
05-Апр 22:02 vamp-sd JobId 789: Job write elapsed time = 00:01:03, Transfer rate = 645.8 K bytes/second
  Elapsed time:           1 min 27 secs
  Priority:               10
  FD Files Written:       897
  SD Files Written:       897
  FD Bytes Written:       40,562,741 (40.56 MB)
  SD Bytes Written:       40,689,696 (40.68 MB)
  Rate:                   466.2 KB/s
  Software Compression:   47.6 %
04-Апр 22:02 vamp-sd JobId 785: Job write elapsed time = 00:00:55, Transfer rate = 81.11 K bytes/second
  Elapsed time:           1 min 19 secs
  Priority:               10
  FD Files Written:       453
  SD Files Written:       453
  FD Bytes Written:       4,398,426 (4.398 MB)
  SD Bytes Written:       4,461,483 (4.461 MB)
  Rate:                   55.7 KB/s
  Software Compression:   75.9 %

То есть фулл относительно быстрый, для инкрементов более типична скорость 400-500 килобайт/с. Заметную часть времени занимает обработка информации Accurate Backup.

Директор и FD Centos 5.3, 2 ядра  Intel(R) Xeon(R) CPU 5120  @ 1.86GHz
Каталог и SD Centos 5.3 под Citrix Xen Server, 1 ядро Intel(R) Xeon(R) CPU E5430  @ 2.66GHz
Сеть 100 мегабит.

Обратите внимание на пары (Transfer rate, Job write elapsed time) и (Rate, Elapsed Time). Какие они у вас?

--
С уважением,
Андрей Рогожников                    mailto:rogozhnik...@gmail.com

Andrey Rogozhnikov

unread,
Apr 13, 2010, 7:54:38 AM4/13/10
to ru-b...@googlegroups.com
К предыдущему: везде Bacula 3.0.2.

Сергей

unread,
Apr 13, 2010, 8:23:48 AM4/13/10
to ru-bacula
Сегодняшний инк почты (отдельный сервер, Xeon1266MHz):

Job write elapsed time = 00:36:07, Transfer rate = 209.2 K bytes/
second

Elapsed time: 37 mins 19 secs
Priority: 10
FD Files Written: 17,779
SD Files Written: 17,779
FD Bytes Written: 451,047,484 (451.0 MB)
SD Bytes Written: 453,396,021 (453.3 MB)
Rate: 201.5 KB/s
Software Compression: 70.9 %

а это - сегодняшний же инк файловой свалки (win2k3, виртуалка в xen'е)

Job write elapsed time = 00:33:28, Transfer rate = 2.388 M bytes/
second
Elapsed time: 33 mins 32 secs
Priority: 10
FD Files Written: 7
SD Files Written: 7
FD Bytes Written: 4,796,216,268 (4.796 GB)
SD Bytes Written: 4,796,217,233 (4.796 GB)
Rate: 2383.8 KB/s
Software Compression: 78.6 %

Yuri Timofeev

unread,
Apr 14, 2010, 1:24:20 AM4/14/10
to ru-bacula
Имхо, в 1-ом случае всё более-менее ок, учитывая объем и сжатие.
Во 2-ом , имхо, роль играет кол-во файлов, т.е. крутить файловую
систему.
Если это виртуалка, то не проще бэкапить образ?

metallic

unread,
Apr 14, 2010, 2:57:25 AM4/14/10
to ru-b...@googlegroups.com
Попробуй для теста без сжатия.
 У меня по гигабиту бекапится со скоросью 30Мб/сек на стример.

Сергей

unread,
Apr 14, 2010, 4:02:17 AM4/14/10
to ru-bacula
По первому случаю претензий нет, скорость меня устраивает.
По второму - что крутить? как оценить нагрузку на диски?

PS: в виртуалке директор крутится. Почта - отдельный сервер. Правда,
диск там попилен LVM-ом, и бэкапится именно снапшот раздела с почтой

Сергей

unread,
Apr 14, 2010, 4:03:24 AM4/14/10
to ru-bacula
Попробую.

Сейчас нашел возможную проблему - слишком длинный маршрут от почтовика
до бэкап-сервера. Поправил, проверяю...

Сергей

unread,
Apr 15, 2010, 9:31:59 AM4/15/10
to ru-bacula
Изменение маршрута ничего не дало, скорость не изменилась.
Попробовал отключить сжатие, скорость выросла примерно в два раза
(Bytes/sec=444,854).
Сейчас запустил сбор статистики по дискам и диф бэкап, утром отпишусь
о результатах
Reply all
Reply to author
Forward
0 new messages