[zfs] вопросы по
Kirill Nuzhdin
есть несколько вопросов по zfs. Система 4Gb 64-bit, планируется FreeBSD8
1. достаточно ли надежна zfs, на текущий момент, чтобы использовать в продакшн?
2. правильно ли я понимаю, что если поставить два диска зеркалом (zfs - root
fs), то придется разбивать диски на то, что будет местом для bootloader-а, свопа
(опционально), и собственно zfs?
т.е. очень хочется функциональности как с gmirror: если поставить зеркалом
диски, то в случае проблем с одним, можно его заменить и сделать forget-insert и
все, никаких переразбивок. С zfs подобное сделать нельзя?
--
Best Regards,
Kirill Nuzhdin
Maxim Sokolsky
18 май 11 06:26, Kirill Nuzhdin -> All в сообщении по ссылке
area://ru.unix.bsd?msgid=<11874...@ddt.demos.su>+7e18b1bd:
KN> есть несколько вопросов по zfs. Система 4Gb 64-bit, планируется
KN> FreeBSD8
KN> 1. достаточно ли надежна zfs, на текущий момент, чтобы использовать в
KN> продакшн?
Hа мой взгляд - нет. Поэтому пока не использую. Hе, если раз поставил и
настроил - оно будет работать стабильно. Если ничего не трогать и не обновлять
систему
KN> 2. правильно ли я понимаю, что если поставить два диска зеркалом (zfs
KN> - root fs), то придется разбивать диски на то, что будет местом для
KN> bootloader-а, свопа (опционально), и собственно zfs?
не в курсе на каком это сейчас состоянии находится. Раньше что-то такое было
KN> т.е. очень хочется функциональности как с gmirror: если поставить
KN> зеркалом диски, то в случае проблем с одним, можно его заменить и
KN> сделать forget-insert и все, никаких переразбивок. С zfs подобное
KN> сделать нельзя?
это также мне незнакомо. Для production я покупаю сервера IBM со скази дисками,
отдельными контроллерами и железным рейдом. Для не шибко изменяемых файловых
систем вроде /usr или / - обычная ufs2, для изменяемых ufs2 + gjournal
С наилучшими пожеланиями, Maxim.
Denis Zaika
KN> День добрый!
KN> есть несколько вопросов по zfs. Система 4Gb 64-bit, планируется
KN> FreeBSD8 1. достаточно ли надежна zfs, на текущий момент, чтобы
KN> использовать в продакшн? 2. правильно ли я понимаю, что если
KN> поставить два диска зеркалом (zfs - root fs), то придется
KN> разбивать диски на то, что будет местом для bootloader-а, свопа
KN> (опционально), и собственно zfs? т.е. очень хочется
KN> функциональности как с gmirror: если поставить зеркалом диски,
KN> то в случае проблем с одним, можно его заменить и сделать
KN> forget-insert и все, никаких переразбивок. С zfs подобное
KN> сделать нельзя?
1. Вполне надежно, очень функционально и вукусно.
2. Правильно, но можно все автоматически сделать, посмотрите в сторону
mfsbsd se. Все будет сделано вполне прозрачно. Диски можно дергать
туда-сюда, время синхронизации несравнимо меньшее чем в аппаратных
рейдах/gmirror, можно даже не с зеркала стартовать, а с raid5/6.
Без переразбивок не получится. Разбивать потом нужно будет вручную, тут,
конечно, надо четко понимать, что делать, но док уже полно, плюс можно
из mfsbsd установочный скрипт вдумчиво покурить и переписать под
автоматизацию замены битого провайдера.
Hа самом деле не так уж сложно это:
gpart create -s GPT ad6
gpart add -s 64k -t freebsd-boot -l boot1 ad6
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ad6
gpart add -s 4g -l swap1 -t freebsd-swap ad6
gpart add -l zfs1 -t freebsd-zfs ad6
Vladimir Kurtukov
18 May 11 06:16, you wrote to Kirill Nuzhdin:
KN>> 1. достаточно ли надежна zfs, на текущий момент, чтобы
KN>> использовать в продакшн?
MS> Hа мой взгляд - нет. Поэтому пока не использую. Hе, если раз поставил
MS> и настроил - оно будет работать стабильно. Если ничего не трогать и не
MS> обновлять систему
у тебя были случаи проблем? я использую довольно давно в разных конфигурациях,
проблем нет
Vladimir
Mykola Dzham
У меня были случаи проблем: после длительной эксплуатации файловые
операции начинают жутко тормозить, все процессы висят в каком-нибудь
zio->... . Hа некоторое время помогает удалить пару снепшотов, просто
почистить fs.
--
LEFT-(UANIC|RIPE)
JID: lev...@jabber.net.ua
PGP fingerprint: 1BCD 7C80 2E04 7282 C944 B0E0 7E67 619E 4E72 9280
Maxim Sokolsky
18 май 11 14:09, Vladimir Kurtukov -> Maxim Sokolsky в сообщении по ссылке
area://ru.unix.bsd?msgid=2:5006/9+4dd38cf4:
KN>>> 1. достаточно ли надежна zfs, на текущий момент, чтобы
KN>>> использовать в продакшн?
MS>> Hа мой взгляд - нет. Поэтому пока не использую. Hе, если раз
MS>> поставил и настроил - оно будет работать стабильно. Если ничего
MS>> не трогать и не обновлять систему
VK> у тебя были случаи проблем?
У меня случаев не было. Потому что не использую L) И не буду - пока ее активно
пилят
У других были, см. небавно с неделю назад была жалоба от админа, что продакш
сервер по ночам подвисает, а ему в отпуск хочется
VK> я использую довольно давно в разных конфигурациях, проблем нет
Охотно верю
С наилучшими пожеланиями, Maxim.
Andriy Gapon
> Vladimir Kurtukov wrote:
>> Hello Maxim.
>>
>> 18 May 11 06:16, you wrote to Kirill Nuzhdin:
>>
>> KN>> 1. достаточно ли надежна zfs, на текущий момент, чтобы
>> KN>> использовать в продакшн?
>>
>> MS> Hа мой взгляд - нет. Поэтому пока не использую. Hе, если раз поставил
>> MS> и настроил - оно будет работать стабильно. Если ничего не трогать и не
>> MS> обновлять систему
>>
>> у тебя были случаи проблем? я использую довольно давно в разных конфигурациях,
>> проблем нет
>
> У меня были случаи проблем: после длительной эксплуатации файловые
> операции начинают жутко тормозить, все процессы висят в каком-нибудь
> zio->... . Hа некоторое время помогает удалить пару снепшотов, просто
> почистить fs.
А надо дебажить :)
А с какими версиями фри и zfs дело было?
--
Andriy Gapon
Kirill Nuzhdin
>> 18 May 11 06:16, you wrote to Kirill Nuzhdin:
>>
>> KN>> 1. достаточно ли надежна zfs, на текущий момент, чтобы
>> KN>> использовать в продакшн?
>>
>> MS> Hа мой взгляд - нет. Поэтому пока не использую. Hе, если раз поставил
>> MS> и настроил - оно будет работать стабильно. Если ничего не трогать и не
>> MS> обновлять систему
>>
>> у тебя были случаи проблем? я использую довольно давно в разных конфигурациях,
>> проблем нет
>
> У меня были случаи проблем: после длительной эксплуатации файловые
> операции начинают жутко тормозить, все процессы висят в каком-нибудь
> zio->... . Hа некоторое время помогает удалить пару снепшотов, просто
> почистить fs.
Снепшоты делаются регулярно-автоматически?
Какое примерное их количество нужно для такого эффекта?
От чего и как чистится ФС?
Kirill Nuzhdin
> 18.05.2011 5:26, Kirill Nuzhdin пишет:
> KN> День добрый!
> KN> есть несколько вопросов по zfs. Система 4Gb 64-bit, планируется
> KN> FreeBSD8 1. достаточно ли надежна zfs, на текущий момент, чтобы
> KN> использовать в продакшн? 2. правильно ли я понимаю, что если
> KN> поставить два диска зеркалом (zfs - root fs), то придется
> KN> разбивать диски на то, что будет местом для bootloader-а, свопа
> KN> (опционально), и собственно zfs? т.е. очень хочется
> KN> функциональности как с gmirror: если поставить зеркалом диски,
> KN> то в случае проблем с одним, можно его заменить и сделать
> KN> forget-insert и все, никаких переразбивок. С zfs подобное
> KN> сделать нельзя?
>
> 1. Вполне надежно, очень функционально и вукусно.
> 2. Правильно, но можно все автоматически сделать, посмотрите в сторону
> mfsbsd se. Все будет сделано вполне прозрачно. Диски можно дергать
интересно, там v28
> туда-сюда, время синхронизации несравнимо меньшее чем в аппаратных
> рейдах/gmirror, можно даже не с зеркала стартовать, а с raid5/6.
> Без переразбивок не получится. Разбивать потом нужно будет вручную, тут,
> конечно, надо четко понимать, что делать, но док уже полно, плюс можно
> из mfsbsd установочный скрипт вдумчиво покурить и переписать под
> автоматизацию замены битого провайдера.
>
> Hа самом деле не так уж сложно это:
>
> gpart create -s GPT ad6
> gpart add -s 64k -t freebsd-boot -l boot1 ad6
> gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ad6
> gpart add -s 4g -l swap1 -t freebsd-swap ad6
> gpart add -l zfs1 -t freebsd-zfs ad6
>
не сложно, это понятно, и скрипт написать можно, но хочется это делать с
минимальной нагрузкой на мозг в случае ситуации (это, наверное, вопрос личных
предпочтений)
Mykola Dzham
Почему "было"? Есть до сих пор
8.2-STABLE r220100M , zpool v15 , zfs v4
9.0-CURRENT r221098 , zpool v28 , zfs v5
А еще первая уже несколько суток вот в таком состоянии:
scrub: resilver in progress for 279h47m, 100.00% done, 0h0m to go
Именно 100% уже несколько суток
Mykola Dzham
> On 18.05.2011 06:36, Mykola Dzham wrote:
> >> 18 May 11 06:16, you wrote to Kirill Nuzhdin:
> >>
> >> KN>> 1. достаточно ли надежна zfs, на текущий момент, чтобы
> >> KN>> использовать в продакшн?
> >>
> >> MS> Hа мой взгляд - нет. Поэтому пока не использую. Hе, если раз поставил
> >> MS> и настроил - оно будет работать стабильно. Если ничего не трогать и не
> >> MS> обновлять систему
> >>
> >> у тебя были случаи проблем? я использую довольно давно в разных конфигурациях,
> >> проблем нет
> >
> > У меня были случаи проблем: после длительной эксплуатации файловые
> > операции начинают жутко тормозить, все процессы висят в каком-нибудь
> > zio->... . Hа некоторое время помогает удалить пару снепшотов, просто
> > почистить fs.
>
> Снепшоты делаются регулярно-автоматически?
Да, раз в сутки.
> Какое примерное их количество нужно для такого эффекта?
Чем дальше, тем меньше. Hа первых порах надо было десятки снепшотов,
сейчас и несколько штук хватает.
> От чего и как чистится ФС?
Просто удаляется что-то старое и ненужное чтобы % used у пула
уменьшился.
Mykola Dzham
Вообще сейчас можно нарисовать простенькую конструкцию с применением
gpart backup ... | gpart restore ...
Kirill Nuzhdin
О, это интересно, спасибо!
Kirill Nuzhdin
> Kirill Nuzhdin wrote:
>> On 18.05.2011 06:36, Mykola Dzham wrote:
>>>> 18 May 11 06:16, you wrote to Kirill Nuzhdin:
>>>>
>>>> KN>> 1. достаточно ли надежна zfs, на текущий момент, чтобы
>>>> KN>> использовать в продакшн?
>>>>
>>>> MS> Hа мой взгляд - нет. Поэтому пока не использую. Hе, если раз поставил
>>>> MS> и настроил - оно будет работать стабильно. Если ничего не трогать и не
>>>> MS> обновлять систему
>>>>
>>>> у тебя были случаи проблем? я использую довольно давно в разных конфигурациях,
>>>> проблем нет
>>>
>>> У меня были случаи проблем: после длительной эксплуатации файловые
>>> операции начинают жутко тормозить, все процессы висят в каком-нибудь
>>> zio->... . Hа некоторое время помогает удалить пару снепшотов, просто
>>> почистить fs.
>
>
> Просто удаляется что-то старое и ненужное чтобы % used у пула
> уменьшился.
Перезагрузки как-нибудь на это влияют? Т.е. это проблема прохудившегося модуля
только в памяти, или какая-то принципиальная проблема взаимодействия ядра со
структурой ФС, или еще что?
Andriy Gapon
ZFS сильно не любит быть очень заполненной.
Хотя все относительно и зависит от использования.
У меня например пулы (в конфигурации простым зеркалом) заполненные на 95%
продолжали вести себя достаточно адекватно.
Есть всякие трюки для тех кому становится совсем худо:
http://www.mail-archive.com/zfs-d...@opensolaris.org/msg40765.html
--
Andriy Gapon
Mykola Dzham
После перезагрузки некоторое время работает нормально.
Mykola Dzham
> on 18/05/2011 16:14 Kirill Nuzhdin said the following:
> > On 18.05.2011 08:36, Mykola Dzham wrote:
> >> Просто удаляется что-то старое и ненужное чтобы % used у пула
> >> уменьшился.
> >
> > Перезагрузки как-нибудь на это влияют? Т.е. это проблема прохудившегося модуля
> > только в памяти, или какая-то принципиальная проблема взаимодействия ядра со
> > структурой ФС, или еще что?
>
> ZFS сильно не любит быть очень заполненной.
> Хотя все относительно и зависит от использования.
> У меня например пулы (в конфигурации простым зеркалом) заполненные на 95%
> продолжали вести себя достаточно адекватно.
Когда такое происходило при заполнености в 95% , я вполне понимал и
спокойно воспринимал 5% адекватной платой за полезные рюшки.
Hо но не так же:
$ zpool list tank
NAME SIZE USED AVAIL CAP HEALTH ALTROOT
tank 16.2T 12.1T 4.18T 74% DEGRADED -
Andriy Gapon
> Когда такое происходило при заполнености в 95% , я вполне понимал и
> спокойно воспринимал 5% адекватной платой за полезные рюшки.
> Hо но не так же:
>
> $ zpool list tank
> NAME SIZE USED AVAIL CAP HEALTH ALTROOT
> tank 16.2T 12.1T 4.18T 74% DEGRADED -
А это откуда? И зачем? :)
--
Andriy Gapon
Denis Zaika
KN> On 18.05.2011 02:19, Denis Zaika wrote:
??>> 18.05.2011 5:26, Kirill Nuzhdin пишет:
??>> 2. Правильно, но можно все автоматически сделать,
??>> посмотрите в сторону mfsbsd se. Все будет сделано вполне
??>> прозрачно. Диски можно дергать
KN> интересно, там v28
v15 там тоже есть, типа старое, типа проверенное :).
По-поводу v28 mm@ писал, что не готово оно в продакшн, но я поставил в
паре мест на попробовать, там посмотрим, патчи, если надо будет
пересобрать систему у него же можно взять, я с этим пробовал:
http://people.freebsd.org/~mm/patches/zfs/v28/releng-8.2-zfsv28-20110317.patch.xz
??>> Разбивать потом нужно будет вручную, тут, конечно, надо
??>> четко понимать, что делать, но док уже полно, плюс можно из
??>> mfsbsd установочный скрипт вдумчиво покурить и переписать
??>> под автоматизацию замены битого провайдера.
KN> не сложно, это понятно, и скрипт написать можно, но хочется это
KN> делать с минимальной нагрузкой на мозг в случае ситуации (это,
KN> наверное, вопрос личных предпочтений)
Hу, пока что, руками. В этом есть своя красота.
Mykola Dzham
А это то, что я писал. Это raidz2. Он ресилверится после замены диска и
уже несколько суток в состоянии вида
scrub: resilver in progress for 297h6m, 100.00% done, 0h0m to go
Похоже придется делать новый пул и туда перекидывать данные
Vladimir Kurtukov
19 May 11 08:53, you wrote to Andriy Gapon:
>> > $ zpool list tank
>> > NAME SIZE USED AVAIL CAP HEALTH ALTROOT
>> > tank 16.2T 12.1T 4.18T 74% DEGRADED -
>> ------------------------------------^^^^^^^^
>>
>> А это откуда? И зачем? :)
MD> А это то, что я писал. Это raidz2. Он ресилверится после замены диска
MD> и уже несколько суток в состоянии вида
MD> scrub: resilver in progress for 297h6m, 100.00% done, 0h0m to go
MD> Похоже придется делать новый пул и туда перекидывать данные
а если остановить и заново начать?
Vladimir
Mykola Dzham
Буде то же. Это уже вторая или третья попытка.
Andriy Gapon
> А это то, что я писал.
Пропустил, сорри.
> Это raidz2. Он ресилверится после замены диска и
> уже несколько суток в состоянии вида
> scrub: resilver in progress for 297h6m, 100.00% done, 0h0m to go
> Похоже придется делать новый пул и туда перекидывать данные
Я бы попробовал обсудить это на zfs-d...@opensolaris.org
--
Andriy Gapon
Mykola Dzham
А они там не пошлют со всякими "левыми" операционками?
Andriy Gapon
> Andriy Gapon wrote:
>> on 19/05/2011 08:53 Mykola Dzham said the following:
>>> А это то, что я писал.
>>
>> Пропустил, сорри.
>>
>>> Это raidz2. Он ресилверится после замены диска и
>>> уже несколько суток в состоянии вида
>>> scrub: resilver in progress for 297h6m, 100.00% done, 0h0m to go
>>> Похоже придется делать новый пул и туда перекидывать данные
>>
>> Я бы попробовал обсудить это на zfs-d...@opensolaris.org
>
> А они там не пошлют со всякими "левыми" операционками?
>
Обычно не посылают, особенно при таких симптомах.
--
Andriy Gapon