Google Groups no longer supports new Usenet posts or subscriptions. Historical content remains viewable.
Dismiss
Отзывы о практическом опыте использования ZFS на Linux
60 views
Skip to first unread message
Bogdan
May 11, 2015, 5:00:04 AM5/11/15
to
Привет.
Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает. Если кто-то использовал линуксовый порт в продакшене, под нагрузкой либо просто продолжительное время - расскажите плс., какие проблемы возникали, насколько надёжным получилось решение.
Спасибо.
--
WBR, Bogdan B. Rudas
Andrey Tataranovich
May 11, 2015, 6:20:03 AM5/11/15
to
Приветствую,
On Mon, 11 May 2015 11:56:25 +0300
Bogdan <bog...@gmail.com> wrote:
> Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает.
> Если кто-то использовал линуксовый порт в продакшене, под нагрузкой
> либо просто продолжительное время - расскажите плс., какие проблемы
> возникали, насколько надёжным получилось решение.
Я игрался пару месяцев назад - из того, что помню:
- mysql из коробки не запускается (решается через
innodb_use_native_aio = 0)
- монтирование в zfs проходит после или сразу в процессе старта
сервисов, которые зависят от томов zfs.
- пробовал монтировать zfs через fstab, но то же не получилось
По последнему пункту не помню подробности.
--
WBR, Andrey Tataranovich
--
To UNSUBSCRIBE, email to debian-russ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listm...@lists.debian.org
Archive: https://lists.debian.org/20150511131...@dragoncore.local
On Mon, 11 May 2015 11:56:25 +0300
Bogdan <bog...@gmail.com> wrote:
> Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает.
> Если кто-то использовал линуксовый порт в продакшене, под нагрузкой
> либо просто продолжительное время - расскажите плс., какие проблемы
> возникали, насколько надёжным получилось решение.
- mysql из коробки не запускается (решается через
innodb_use_native_aio = 0)
- монтирование в zfs проходит после или сразу в процессе старта
сервисов, которые зависят от томов zfs.
- пробовал монтировать zfs через fstab, но то же не получилось
По последнему пункту не помню подробности.
--
WBR, Andrey Tataranovich
--
To UNSUBSCRIBE, email to debian-russ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listm...@lists.debian.org
Archive: https://lists.debian.org/20150511131...@dragoncore.local
Wladimir Krawtschunowski
May 11, 2015, 8:00:03 AM5/11/15
to
Не поймите неправильно - не флейма ради а действительно интересно: А почему ZFS под Linux? Есть какието конкретные требования? Вы смотрели в сторону btrfs?
С уважением
Владимир Кравчуновский
Фахретдинов Руслан
May 12, 2015, 1:30:03 AM5/12/15
to
Здравствуйте, Andrey.
Вы писали 11 мая 2015 г., 16:13:59:
> Приветствую,
> On Mon, 11 May 2015 11:56:25 +0300
> Bogdan <bog...@gmail.com> wrote:
>> Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает.
>> Если кто-то использовал линуксовый порт в продакшене, под нагрузкой
>> либо просто продолжительное время - расскажите плс., какие проблемы
>> возникали, насколько надёжным получилось решение.
> Я игрался пару месяцев назад - из того, что помню:
> - mysql из коробки не запускается (решается через
> innodb_use_native_aio = 0)
> - монтирование в zfs проходит после или сразу в процессе старта
> сервисов, которые зависят от томов zfs.
> - пробовал монтировать zfs через fstab, но то же не получилось
> По последнему пункту не помню подробности.
> --
> WBR, Andrey Tataranovich
Всем добрый день,
Стоит на домашнем NAS, все без нареканий уже год. Были проблемы с
первыми версиями по загрузке томов, сейчас на debian 8 исправил в
загрузочном скрипте параметр -Oa и все монтируется нормально.
--
С уважением,
Фахретдинов mailto:rua...@gmail.com
--
To UNSUBSCRIBE, email to debian-russ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listm...@lists.debian.org
Archive: https://lists.debian.org/1825003238.2...@gmail.com
Вы писали 11 мая 2015 г., 16:13:59:
> Приветствую,
> On Mon, 11 May 2015 11:56:25 +0300
> Bogdan <bog...@gmail.com> wrote:
>> Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает.
>> Если кто-то использовал линуксовый порт в продакшене, под нагрузкой
>> либо просто продолжительное время - расскажите плс., какие проблемы
>> возникали, насколько надёжным получилось решение.
> Я игрался пару месяцев назад - из того, что помню:
> - mysql из коробки не запускается (решается через
> innodb_use_native_aio = 0)
> - монтирование в zfs проходит после или сразу в процессе старта
> сервисов, которые зависят от томов zfs.
> - пробовал монтировать zfs через fstab, но то же не получилось
> По последнему пункту не помню подробности.
> --
> WBR, Andrey Tataranovich
Стоит на домашнем NAS, все без нареканий уже год. Были проблемы с
первыми версиями по загрузке томов, сейчас на debian 8 исправил в
загрузочном скрипте параметр -Oa и все монтируется нормально.
--
С уважением,
Фахретдинов mailto:rua...@gmail.com
--
To UNSUBSCRIBE, email to debian-russ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listm...@lists.debian.org
Stanislav Vlasov
May 12, 2015, 3:10:03 AM5/12/15
to
11 мая 2015 г., 13:56 пользователь Bogdan <bog...@gmail.com> написал:
> Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает. Если
> кто-то использовал линуксовый порт в продакшене, под нагрузкой либо просто
> продолжительное время - расскажите плс., какие проблемы возникали, насколько
> надёжным получилось решение.
Теста ради ставил.
Отказался по двум причинам: 1) 12Гб памяти недостаточно для
дедупликации более-менее большого массива (хотя ради этого и ставил),
2) версия годовой давности периодически подвешивала сервер до сброса
при большом iops (порядка 2000, что являлось предельным для того
массива).
--
Stanislav
> Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает. Если
> кто-то использовал линуксовый порт в продакшене, под нагрузкой либо просто
> продолжительное время - расскажите плс., какие проблемы возникали, насколько
> надёжным получилось решение.
Отказался по двум причинам: 1) 12Гб памяти недостаточно для
дедупликации более-менее большого массива (хотя ради этого и ставил),
2) версия годовой давности периодически подвешивала сервер до сброса
при большом iops (порядка 2000, что являлось предельным для того
массива).
--
Stanislav
Фахретдинов Руслан
May 12, 2015, 4:30:05 AM5/12/15
to
Здравствуйте, Stanislav.
Вы писали 12 мая 2015 г., 13:06:36:
1) Да на счет использования памяти есть такое, у самого стоит 16Гб,
массив raidz1 ака раид5 с 4 винтами по 2Тб, вижу жрет и не мало, но
дедупликацию не использую. Но об этом и в руководстве написано, но
есть и свои +, которых я думаю больше.
2) Надо озадачиться на сброс всего массива, проверить, вот только где
бы еще емкости найти.
--
С уважением,
Фахретдинов mailto:rua...@gmail.com
--
To UNSUBSCRIBE, email to debian-russ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listm...@lists.debian.org
Archive: https://lists.debian.org/231179912.20...@gmail.com
Вы писали 12 мая 2015 г., 13:06:36:
массив raidz1 ака раид5 с 4 винтами по 2Тб, вижу жрет и не мало, но
дедупликацию не использую. Но об этом и в руководстве написано, но
есть и свои +, которых я думаю больше.
2) Надо озадачиться на сброс всего массива, проверить, вот только где
бы еще емкости найти.
--
С уважением,
Фахретдинов mailto:rua...@gmail.com
--
To UNSUBSCRIBE, email to debian-russ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listm...@lists.debian.org
Stanislav Vlasov
May 12, 2015, 4:30:05 AM5/12/15
to
12 мая 2015 г., 13:22 пользователь Фахретдинов Руслан
<rua...@gmail.com> написал:
> 1) Да на счет использования памяти есть такое, у самого стоит 16Гб,
> массив raidz1 ака раид5 с 4 винтами по 2Тб, вижу жрет и не мало, но
> дедупликацию не использую. Но об этом и в руководстве написано, но
> есть и свои +, которых я думаю больше.
Из того, что было возможно - использовал только снапшоты на сервере бекапов.
При бекапах через rsync --inplace место использовалось эффективнее,
чем в случае rsnapshot с его хардлинками.
История изменений стала не полмесяца, а полтора.
> 2) Надо озадачиться на сброс всего массива, проверить, вот только где
> бы еще емкости найти.
Угу. На рабочие сервера поставить побоялся - там нагрузки больше, чем
на бекапах, где zfs таки успешно подвешивала систему (возможно
исправили, конечно, но осадок остался).
--
Stanislav
<rua...@gmail.com> написал:
> 1) Да на счет использования памяти есть такое, у самого стоит 16Гб,
> массив raidz1 ака раид5 с 4 винтами по 2Тб, вижу жрет и не мало, но
> дедупликацию не использую. Но об этом и в руководстве написано, но
> есть и свои +, которых я думаю больше.
При бекапах через rsync --inplace место использовалось эффективнее,
чем в случае rsnapshot с его хардлинками.
История изменений стала не полмесяца, а полтора.
> 2) Надо озадачиться на сброс всего массива, проверить, вот только где
> бы еще емкости найти.
на бекапах, где zfs таки успешно подвешивала систему (возможно
исправили, конечно, но осадок остался).
--
Stanislav
Vasiliy P. Melnik
May 12, 2015, 4:40:03 AM5/12/15
to
давайте и своих пять копеек добавлю:
и на фре, и на солярисе скорости нет. Использую для raid1, на ненагруженных серверах. Даже на очень небольшом хостинге просто умирает.
Хорошо использовать для рейда и стореджа на офисных серверах небольших, быстро загружается после резета, позволяет хранить достаточно много снапшотов данных и очень просто пользоваться этим. Все.
На солярисе пробовал поднимать оракл - установка оракла датабейз заняла пол дня. Забил, снес солярис, поставил линукс на md-raid
Надежность хорошая, скорости нет: как-то так.
12 мая 2015 г., 11:28 пользователь Stanislav Vlasov <stanis...@gmail.com> написал:
svx
May 12, 2015, 5:10:03 AM5/12/15
to
и на фре, и на солярисе скорости нет.
Уж извольте, с Вами тут совсем не согласиться.
Вот у меня, на пуле из 20 дисков 900x10krpm с 2мя ссд для зил и 120 гб арк, всё летает. Задержки ~до 10 мс.
https://events.yandex.ru/lib/talks/2694/
https://events.yandex.ru/lib/talks/2680/
и
https://events.yandex.ru/lib/talks/2677/
И делать выводы о производительности ZFS самостоятельно.
Вот у меня, на пуле из 20 дисков 900x10krpm с 2мя ссд для зил и 120 гб арк, всё летает. Задержки ~до 10 мс.
capacity operations bandwidthРекомендую посмотреть например это:
pool alloc free read write read write
---------- ----- ----- ----- ----- ----- -----
fastank 881G 6.45T 6.35K 34 258M 207K
mirror 97.9G 734G 566 0 22.9M 0
da4 - - 354 0 23.3M 0
da5 - - 365 0 23.1M 0
mirror 98.0G 734G 672 0 26.4M 0
da6 - - 468 0 26.9M 0
da7 - - 468 0 26.4M 0
mirror 97.9G 734G 758 0 28.4M 0
da8 - - 470 0 28.9M 0
da9 - - 473 0 29.4M 0
mirror 97.8G 734G 799 0 30.7M 0
da10 - - 480 0 31.1M 0
da11 - - 495 0 30.9M 0
mirror 97.8G 734G 781 0 29.8M 0
da12 - - 478 0 30.3M 0
da13 - - 476 0 30.6M 0
mirror 97.9G 734G 765 0 32.4M 0
da14 - - 497 0 32.6M 0
da15 - - 504 0 33.8M 0
mirror 97.9G 734G 764 0 32.0M 0
da16 - - 481 0 32.4M 0
da17 - - 500 0 32.8M 0
mirror 97.8G 734G 703 0 28.3M 0
da18 - - 416 0 28.9M 0
da19 - - 443 0 30.4M 0
mirror 97.8G 734G 688 0 26.6M 0
da20 - - 405 0 26.8M 0
da21 - - 398 0 26.8M 0
logs - - - - - -
mirror 36.0M 186G 0 34 0 207K
da2 - - 0 34 0 207K
da3 - - 0 34 0 207K
---------- ----- ----- ----- ----- ----- -----
https://events.yandex.ru/lib/talks/2694/
https://events.yandex.ru/lib/talks/2680/
и
https://events.yandex.ru/lib/talks/2677/
И делать выводы о производительности ZFS самостоятельно.
Vasiliy P. Melnik
May 12, 2015, 5:20:04 AM5/12/15
to
Спасибо за статистику - интересно, конечно. Но я не говорил о космических аппаратах :)
Я рассказывал про свои наблюдения, у меня конфигурации чаще всего другие: 2 винта, 4-8 гигов оперативки
12 мая 2015 г., 11:55 пользователь svx <s...@live.ru> написал:
svx
May 12, 2015, 5:30:03 AM5/12/15
to
Разница в том что вы используете зеркало, тоже подумывал перейти на зеркало, скорость по тестам в разы лучшеДля быстрого raidz{1..3}
Требования к железу растут очень сильно. У меня например ctl(iscsi) демон кушал ресурсов меньше, чем система постоянно производящая выгребку данных из zil и записью на диск(3 raidz2 по 6 дисков в jbod), порой драматически опускаясь до 10 мб/с; попросту не справлялся процессор(2xE5-2609).
По железкам посмотрите вот здесь:
http://www.solarisinternals.com/wiki/index.php/ZFS_Best_Practices_Guide#RAIDZ_Configuration_Requirements_and_Recommendations
По поводу дедупликации, подумайте ещё пару раз, стоит ли вам вообще заморачиваться на эту тему, если не отошло, то вот, просвящяйтесь(вообще не уверен, что дедуп есть на ZOL):
https://blogs.oracle.com/roch/entry/dedup_performance_considerations1
Спасибо за статистику - интересно, конечно. Но я не говорил о космических аппаратах :)
Я рассказывал про свои наблюдения, у меня конфигурации чаще всего другие: 2 винта, 4-8 гигов оперативки
Также напоминаю, что ZFS требует, чтобы память была хотя-бы ECC,
иначе вас может постичь Scrub of death
http://blog.brianmoses.net/2014/03/why-i-chose-non-ecc-ram-for-my-freenas.html
http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/
Но это опять же, можно обойти(на свой страх и риск разумеется):
http://arstechnica.com/civis/viewtopic.php?f=2&t=1235679&p=26303271#p26303271
После всех ужастей(потеря пула при апгрейде версии пула[из личного, так сказать]) и прочего(требования по железу), не проще по старинке ext4/xfs+lvm2 или просто btrfs?
http://blog.brianmoses.net/2014/03/why-i-chose-non-ecc-ram-for-my-freenas.html
http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/
Но это опять же, можно обойти(на свой страх и риск разумеется):
http://arstechnica.com/civis/viewtopic.php?f=2&t=1235679&p=26303271#p26303271
После всех ужастей(потеря пула при апгрейде версии пула[из личного, так сказать]) и прочего(требования по железу), не проще по старинке ext4/xfs+lvm2 или просто btrfs?
On 12.05.2015 12:07, Фахретдинов Руслан
wrote:
Здравствуйте, svx.
Вы писали 12 мая 2015 г., 14:55:17:
Разница в том что вы используете зеркало, тоже подумывал перейти на зеркало, скорость по тестам в разы лучше
--
С уважением,
Фахретдинов mailto:rua...@gmail.com -- To UNSUBSCRIBE, email to debian-russ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listm...@lists.debian.org Archive: https://lists.debian.org/19510600431.2...@gmail.com
Stanislav Vlasov
May 12, 2015, 5:40:04 AM5/12/15
to
12 мая 2015 г., 14:26 пользователь svx <s...@live.ru> написал:
По поводу дедупликации, подумайте ещё пару раз, стоит ли вам вообще заморачиваться на эту тему, если не отошло, то вот, просвящяйтесь(вообще не уверен, что дедуп есть на ZOL):
https://blogs.oracle.com/roch/entry/dedup_performance_considerations1
dedup там есть. На малом разделе (порядка 100Гб) - работал нормально.
--
Stanislav
зоррыч
May 12, 2015, 6:10:02 AM5/12/15
to
Использую zfs уже около полу года.
Из плюшек, которых нет у btrfs - это отправка снапшотов по сети на другой сервер. lxc виртуалки из-за этого бекапятся очень просто и снапшот сразу сливается на удаленный сервер.
Чтобы не жрало оперативку - раз в сутки очищаю файловый кеш через /proc/sys/vm/drop_caches. В противном случае 32 гига опертивки при 500 гиговом raid1 забиваются полностью за 2-3 дня и само не высобождается.
Из проблем заметил падение iops при обращении к большому количеству мелких файлов. К примеру apt-get upgrade выполняется в разы дольше, чем на ext4. Больше проблем нет.
К слову root раздел btrfs у меня посыпался сразу после выключения ноутбука по питанию с zfs у меня таких проблем не было. Да и в случае проблем можно вытащить сохраненный snapshot с другого сервера.
Из плюшек, которых нет у btrfs - это отправка снапшотов по сети на другой сервер. lxc виртуалки из-за этого бекапятся очень просто и снапшот сразу сливается на удаленный сервер.
Чтобы не жрало оперативку - раз в сутки очищаю файловый кеш через /proc/sys/vm/drop_caches. В противном случае 32 гига опертивки при 500 гиговом raid1 забиваются полностью за 2-3 дня и само не высобождается.
Из проблем заметил падение iops при обращении к большому количеству мелких файлов. К примеру apt-get upgrade выполняется в разы дольше, чем на ext4. Больше проблем нет.
К слову root раздел btrfs у меня посыпался сразу после выключения ноутбука по питанию с zfs у меня таких проблем не было. Да и в случае проблем можно вытащить сохраненный snapshot с другого сервера.
12.05.2015 12:09, Vasiliy P. Melnik
пишет:
Vasiliy P. Melnik
May 12, 2015, 6:20:03 AM5/12/15
to
у меня один раз развалился пул из-за умершей планки памяти. В машине было две планки, машина видела их обе и память считалась общая, но одна из планок самостоятельно напрочь отказывалась работать.Я создаю два пула - один для системы, другой для данных. Развалился системный пул - при монтировании кернел паник и ребут. Спасло то, что пул с данными примонтировался.
Единственный раз была проблема, и она возникла из-за железа.
Один сервер даже залило водой, материнка умерла - а винты живые и пулы живые. Питание выбило - но сервер был на упсе.
А сколько сервера пережили отключений питания - я даже затрудняюсь сказать. Так что с надежностью у зфс-а все ок.
Bogdan
May 12, 2015, 11:10:03 AM5/12/15
to
Привет.
Спасибо всем за отзывы.
Спасибо всем за отзывы.
Пожалуйста, без нужды не поминайте btrfs и zfs на других системах. Мне интересен вопрос именно стабильности и совместимость ZFS на Linux. Пока что пошарил ZFS с компрессией по СIFS - суточные бэкапы пережило.
0 new messages