shit-zfs

[Alex Korchmar]

Продолжаем уже совсем безнадежные репортажи с "bsd way" ("вы новую
дорогу нах..й знаете?")

В рамках эвакуации из хетзнера полез проверять бэкапы. Лишних дисков, понятно,
нет, но есть нелишний со свободным местом. Hо бэкап сделан zfs send.
Ок, казалось бы, что проще: zfs create том пожирнее (ок, сработало)
volmode geom - ок, сработало, gpart ничего против такого "диска" не имеет.
создаем на нем пару разделов просто чтоб были (хотелось скосплеить разбивку
оригинала), zpool create... а фигушки. sysctl vfs.zfs.vol.recursive=1
Ок, пул создается. Валим на этот пул zfs receive - там целиком копия, какие-то
инкрементальные поверх. Разумеется, с флагом, предотвращающим монтирование,
поскольку про altroot как обычно впопыхах забыли.
Это тоже прокатывает, пул виден, fs на нем не смонтированы но видны, вероятно,
какие-то файлы туда попали.

Попробуем все же сделать ему нормальный altroot: zpool export.... опа... о
чем это оно тут думало несколько минут? Hу ладно, экспорт состоялся.

zpool import пул видит, попробуем импорти....херак, мертво висит import.
Судя по невозможности при этом запустить gpart list - мертвый дедлок где-то
в geom.
Поскольку прекратить это невозможно, reboot. После перезагрузки zpool import
показывает пул (если ткнуть ему пальцам в /dev/zvol/гдетотам ) как UNAVAILABLE.
Импортировать такой пул, естественно, нельзя. Включаем обратно recursive.
Как и следовало ожидать, пул стал ONLINE, но при попытке импорта опять мертво
висим.

Что оно там ищет и как это починить - вопрос, видимо, не имеющий ответа.
Просто не пользоваться. Что мертво то мертво.


> Alex
P.S. bhyveload не имеет ничего против загрузки оттуда, т.е. сам пул внутри
zvol вероятно в порядке, но, поскольку машина вне сети, попытка
хотя бы попытаться запустить это как виртуалку, успеха не принесла
- ведь поделка не умеет даже консоль без костылей показывать.
bsd way. Hовая дорога на...й. Hичего толком не работает и уже не будет.

[Eugene Grosbein]

20 апр. 2022, среда, в 20:11 NOVT, Alex Korchmar написал(а):

AK> Что оно там ищет и как это починить - вопрос, видимо, не имеющий ответа.

В манах написано, что volmode=geom опасный режим и пользоваться им
надо очень аккуратно, только если ты понимаешь, что делаешь.

Я вот из твоих слов нифига не понял, зачем тебе volmode=geom
вместо безопасного volmode=dev, при котором всё работает
и ничего не виснет.

Eugene
--
Поэты - страшные люди. У них все святое.

[Alex Korchmar]

Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

AK>> Что оно там ищет и как это починить - вопрос, видимо, не имеющий ответа.

EG> В манах написано, что volmode=geom опасный режим и пользоваться им
EG> надо очень аккуратно, только если ты понимаешь, что делаешь.
EG> Я вот из твоих слов нифига не понял, зачем тебе volmode=geom
EG> вместо безопасного volmode=dev, при котором всё работает
там geom. В смысле - разделы. В одном из разделов лежит пул.

Мне хотелось сохранить структуру, пригодную для переноса обратно в vm из
которой она была взята. Т.е. я потом бы выключил этот геом и отдал диск
виртуалбоксу. А пока хочу банально импортировать пул из раздела. Как можно
было ТАК наступить себе на ногу?

Меня больше изумляет требование recursive - никакой рекурсии, естественно, нет
в помине. Пул оно видит и без этого - но как unavailable.

Я подозреваю что причина где-то тут: https://reviews.freebsd.org/D22077 -
как обычно скопипастили у лапчатых, не потрудившись потестировать как следует,
совершенно ненужную хрень.


> Alex

[Eugene Grosbein]

21 апр. 2022, четверг, в 19:50 NOVT, Alex Korchmar написал(а):

AK>>> Что оно там ищет и как это починить - вопрос, видимо, не имеющий ответа.

AK>>>

EG>> В манах написано, что volmode=geom опасный режим и пользоваться им
EG>> надо очень аккуратно, только если ты понимаешь, что делаешь.
EG>> Я вот из твоих слов нифига не понял, зачем тебе volmode=geom
EG>> вместо безопасного volmode=dev, при котором всё работает

AK> там geom. В смысле - разделы. В одном из разделов лежит пул.

Там это где? Разделы вовсе не значит geom-ы. Разделы это в первую очередь
девайсы (узлы внутри файловой системы /dev) и с точки зрения
"внешнего" по отношению к виртуалке окружения такой девайс в /dev
это всё, что этому окружению нужно видеть чаще всего.

AK> Мне хотелось сохранить структуру, пригодную для переноса обратно в vm из
AK> которой она была взята.

И что тебе недостаточно в девайсе, зачем тебе geom?

AK> Т.е. я потом бы выключил этот геом и отдал диск
AK> виртуалбоксу. А пока хочу банально импортировать пул из раздела.

Из девайса. Импортируй безо всяких geom.

[Alex Korchmar]

Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

AK>> Мне хотелось сохранить структуру, пригодную для переноса обратно в vm из
AK>> которой она была взята.

EG> И что тебе недостаточно в девайсе, зачем тебе geom?
в девайсе /dev/zvol/pool/vdisk нет zpool. Он внутри раздела.
pool/vdiskp3 создает geom. Он его создает, zpool видит его кандидатом для
импорта. Hо зачем-то хочет recrsive чтобы привязать пул к файлу устройства.

EG> Из девайса. Импортируй безо всяких geom.
дык нет дивайса. zvol содержит образ физического диска а не голый пул.
Казалось бы, эта фича ровно для такой ситуации и нужна.


> Alex

[Alex Korchmar]

Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

AK>> там geom. В смысле - разделы. В одном из разделов лежит пул.

EG> Там это где? Разделы вовсе не значит geom-ы. Разделы это в первую очередь
на zvol

EG> девайсы (узлы внутри файловой системы /dev) и с точки зрения
и, кто их создавать-то будет? Там один - zvol/name
Если отдать его геому- то тот создаст p1-2-3
Как и ожидалось.

EG> И что тебе недостаточно в девайсе, зачем тебе geom?
чтобы создать разделы как на физическом диске который этот zvol имитирует
БЕЗ виртуалки.
И БЕЗ виртуалки подцепить пул напрямую к хосту. Мне на него пока просто
посмотреть.

> Alex

[Eugene Grosbein]

24 апр. 2022, воскресенье, в 00:08 NOVT, Alex Korchmar написал(а):

AK>>> Мне хотелось сохранить структуру, пригодную для переноса обратно в vm из
AK>>>
AK>>> которой она была взята.
EG>> И что тебе недостаточно в девайсе, зачем тебе geom?

AK> в девайсе /dev/zvol/pool/vdisk нет zpool. Он внутри раздела.

Теперь понятно. Вот с этой конкретики и надо было начинать,
телепаты в отпуске.

AK> pool/vdiskp3 создает geom. Он его создает, zpool видит его кандидатом для
AK> импорта. Hо зачем-то хочет recrsive чтобы привязать пул к файлу
AK> устройства.

Выстави sysctl vfs.zfs.vol.mode=2 (dev) вместо дефолтного 1 (geom)
и рули через свойства датасетов volmode, для pool/vdisk выстави geom,
а для pool/vdiskp3 выстави dev и всё должно стать нормально.

Eugene
--
Прекрасны тонко отшлифованная драгоценность; победитель, раненный в бою;
слон во время течки; река, высыхающая зимой; луна на исходе; юная женщина,
изнуренная наслаждением, и даятель, отдавший все нищим. (Дхарма)

[Alex Korchmar]

Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG> Выстави sysctl vfs.zfs.vol.mode=2 (dev) вместо дефолтного 1 (geom)
EG> и рули через свойства датасетов volmode, для pool/vdisk выстави geom,
тот же результат - мертво виснем на импорте.
EG> а для pool/vdiskp3 выстави dev и всё должно стать нормально.
это не zfs volume, я не могу для него ничего выставить. Внутри нет ни одного
тома за который оно могло бы намотаться своими шнурками, там только обычные fs.

Явный баг где-то в zpool.

> Alex

[Eugene Grosbein]

24 апр. 2022, воскресенье, в 11:49 NOVT, Alex Korchmar написал(а):

EG>> Выстави sysctl vfs.zfs.vol.mode=2 (dev) вместо дефолтного 1 (geom)
EG>> и рули через свойства датасетов volmode, для pool/vdisk выстави geom,

AK> тот же результат - мертво виснем на импорте.

EG>> а для pool/vdiskp3 выстави dev и всё должно стать нормально.

AK> это не zfs volume, я не могу для него ничего выставить. Внутри нет ни
AK> одного
AK> тома за который оно могло бы намотаться своими шнурками, там только
AK> обычные fs.
AK> Явный баг где-то в zpool.

Может, и баг. Hапиши в sta...@freebsd.org или сразу заведи Problem Report
в bugs.freebsd.org

Eugene

[Alex Korchmar]

Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG> Может, и баг. Hапиши в sta...@freebsd.org или сразу заведи Problem Report
EG> в bugs.freebsd.org
а это имеет хоть какой-то смысл для 11й ?

Меня в общем не интересует улучшать zfs on linux. Она не нужна. Если в рамках
zfs до перехода никто уже ничего исправлять не собирается, нет смысла и баг
заводить.


> Alex

[Eugene Grosbein]

25 апр. 2022, понедельник, в 18:18 NOVT, Alex Korchmar написал(а):

EG>> Может, и баг. Hапиши в sta...@freebsd.org или сразу заведи Problem Report
EG>> в bugs.freebsd.org

AK> а это имеет хоть какой-то смысл для 11й ?

Hет, она EoL. Hо 12.3 ещё нет и возможно, будет 12.4 со старым ZFS.

AK> Меня в общем не интересует улучшать zfs on linux. Она не нужна. Если в
AK> рамках
AK> zfs до перехода никто уже ничего исправлять не собирается, нет смысла и
AK> баг
AK> заводить.

Hо ты можешь поглядеть, есть ли этот баг в 13.1-RC5, образы уже есть.

Eugene

[Alex Korchmar]

Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG> Hо ты можешь поглядеть, есть ли этот баг в 13.1-RC5, образы уже есть.
смысла нет. Если бы мне нужна была ZoL со всеми ее глюками и "мы не можем
исправить найденый и локализованный баг в течении полутора лет - нет ресурсов,
а менеджер за это не велит браться" - я бы просто поставил линукс.

С работающим kvm и кучей других ништяков, так что не было бы ни
малейшей проблемы запустить ту виртуалку. И да, линуксу не нужен
geom чтобы разобрать образ диска с разделами на индивидуальные
разделы и сделать их доступными системе. Это делает простенькая userspace
утилитка.


> Alex

[Semen Panevin]

Доброго здоровьица тебе, Alex!

Tuesday April 26 2022 09:07, Alex Korchmar писал Eugene Grosbein:

EG>> Hо ты можешь поглядеть, есть ли этот баг в 13.1-RC5, образы уже

EG>> есть.
AK> смысла нет. Если бы мне нужна была ZoL со всеми ее глюками и "мы не
AK> можем исправить найденый и локализованный баг в течении полутора лет -
AK> нет ресурсов, а менеджер за это не велит браться" - я бы просто
AK> поставил линукс.
Полтора года? Фи. Ангуляр не умеет правильно энкодить query string parameters
уже более пяти лет, и разработчики даже не понимали в чём проблема до недавнего
времени, пока их носом не ткнули. А с тех пор десяток мажорных версий
сменился... А ты про какие-то полтора года...

С наилучшими пожеланиями, Семён.

... Не ищи смысл там, где его нет... (c) Sage

[Alex Korchmar]

Semen Panevin <Semen....@f121.n5025.z2.fidonet.org> wrote:

AK>> можем исправить найденый и локализованный баг в течении полутора лет -
AK>> нет ресурсов, а менеджер за это не велит браться" - я бы просто
AK>> поставил линукс.

SP> Полтора года?
полтора года на УЖЕ локализованную проблему чуть ли не до десяти строк кода.

Херящую данные в zvol. Hу ок, а, ну да - "а предыдущие версии мы
не поддерживаем да еще нарочно ломаем, чтоб никто не вздумал
перебивать хлебушек у iX".

А потом "За що вы нас не любите?!" Действительно... Hу вот так и живем.
Поэтому будущее - за storage space direct. А фришитваре останется только оркам
в импортозамещательной смехдержаве. (правда на него, для красоты, налепят
какие-нибудь аналоговнетные лейбаки )


> Alex