[spb.linux] KVM: qcow2 vs LVM

[Aleks Mayer]

Коллеги, хочу наконец заставить все точки над i.
В чатике неоднократно, да и в общении тоже, проскальзывали фразы, что дескать файлик на диске ничем не хуже lvm partition.
Но тем не менее, кого не спроси, все отдают предпочтение lvm. Почему? Неужели файлик настолько ненадежен для сохранности данных? Или тут какие-то другие подводные камни?

Best Regards,
Aleks Mayer

[andrey i. mavlyanov]

Судя по тому что я для _себя_ выяснил всё идёт так:

Самый производительный способ - lvm. Но бывают проблемы при переезже с ноды на ноду
Далее следует raw - но не умеет снапшотов
И самый универсальный - qcow2.

23.11.2015, 02:12, "Aleks Mayer" <aleks....@gmail.com>:

> --
> --
> Read http://wiki.spblug.org/maillist befor post!
> Прочтите http://wiki.spblug.org/maillist перед написанием сообщений в рассылку!
>
> ---
> Вы получили это сообщение, поскольку подписаны на группу spb.linux.
>
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес spblinux+u...@googlegroups.com.
> Настройки подписки и доставки писем: https://groups.google.com/d/optout.

--
  /aim        [ http://aim.pp.ru/ ]

[Phil Kulin]

9 ноября 2015 г., 21:35 пользователь Aleks Mayer
<aleks....@gmail.com> написал:

> Коллеги, хочу наконец заставить все точки над i.
> В чатике неоднократно, да и в общении тоже, проскальзывали фразы, что дескать файлик на диске ничем не хуже lvm partition.
> Но тем не менее, кого не спроси, все отдают предпочтение lvm. Почему? Неужели файлик настолько ненадежен для сохранности данных? Или тут какие-то другие подводные камни?

Всего-лишь потому, что файлик на диске - это ещё и лишняя абстракция
"файловая система". Если ты решил прочитать 128k прямо с диска или
128k из файлика, который изображает диск - это далеко не одно и тоже.
qcow2 - это плюс к уровню абстракции файловой системы ещё и уровень
абстракции самого формата qcow2. Поэтому конечно же volume на ZFS :)
Да, и в том числе потому, что volume на ZFS это не просто файлик на
файловой системе, а ZFS понимает, что это volume

--
Non nobis Domine non nobis sed Nomini Tuo da gloriam
Phil Kulin

[Igor Nikolaev]

On 09.11.2015 21:35, Aleks Mayer wrote:
> В чатике неоднократно, да и в общении тоже, проскальзывали фразы, что дескать файлик на диске ничем не хуже lvm partition.
> Но тем не менее, кого не спроси, все отдают предпочтение lvm. Почему? Неужели файлик настолько ненадежен для сохранности данных? Или тут какие-то другие подводные камни?

Я исользую qcow2. Причём отдаю его по nfs. Возможно я извращенец ;-)

--
Igor Nikolaev
+7.812.3240883

[Bars Prizrak]

каждый сам как хочет так и изощряется, с чем привык работать  и с тем работает, у меня qcow2,

а можно узнать чем не нравятся lvm, и чем он лучше qcow?

[Aleks Mayer]

> 23 нояб. 2015 г., в 3:34, Igor Nikolaev <i.nik...@spbu.ru> написал(а):

Ты вроде как использовал iSCSI? И потом, у тебя вероятно очень быстрый сторадж.

Best Regards,
Aleks Mayer

[Aleks Mayer]

23 нояб. 2015 г., в 13:23, Bars Prizrak <barspr...@gmail.com> написал(а):

каждый сам как хочет так и изощряется, с чем привык работать  и с тем работает, у меня qcow2,

Работает - не трогай, ага.

а можно узнать чем не нравятся lvm, и чем он лучше qcow?

LVM - быстрый, но перенести машину на другой хост нетривиальная задача. Считай отсутствие snapshot’ов.

QCOW - переносимый, со snapshot’ами, но медленный по сравнению с LVM. 

Best Regards,

Aleks Mayer

--
--
Read http://wiki.spblug.org/maillist befor post!
Прочтите http://wiki.spblug.org/maillist перед написанием сообщений в рассылку!

---
Вы получили это сообщение, поскольку подписаны на группу "spb.linux".
Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес spblinux+u...@googlegroups.com.

Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

[Константин]

а можно узнать чем не нравятся lvm, и чем он лучше qcow?

LVM - быстрый, но перенести машину на другой хост нетривиальная задача. Считай отсутствие snapshot’ов.

Есть snapshot, средствами LVM.

миграция на другую машину с использованием iscsi проблем не представляет

Переносится на флэшку методом dd.

так что вижу только плюсы.

--

Best regards, Konstantin Khazov.
e-mail:          kos...@gmail.com
jabber:          kos...@gmail.com
tel:               +7 921 753 9563
ripe person:  kvk15-ripe

[Alexey Mochkin]

Перенос действительно должен быть через shared storage. На крайняк с
downtime'ом можно и dd'ить.

Snapshot'ы классического LVM'а нельзя так использовать они работают в
другую сторону (как и зачем они были созданы читаем в
интернетаъ/man'ах). Прямо, как ожидает типичный админ, работают
snapshot'ы только в LVM Thin Pool. Но с ним есть свои грабли.

В общем и целом я за LVM.
ZFS, конечно, манит слегка начать его использовать, но ZoL доверия не вызывает.

[Phil Kulin]

23 ноября 2015 г., 17:22 пользователь Alexey Mochkin
<alukar...@gmail.com> написал:

> Перенос действительно должен быть через shared storage. На крайняк с
> downtime'ом можно и dd'ить.
>
> Snapshot'ы классического LVM'а нельзя так использовать они работают в
> другую сторону (как и зачем они были созданы читаем в
> интернетаъ/man'ах). Прямо, как ожидает типичный админ, работают
> snapshot'ы только в LVM Thin Pool. Но с ним есть свои грабли.
>
> В общем и целом я за LVM.
> ZFS, конечно, манит слегка начать его использовать, но ZoL доверия не вызывает.

Так есть же FreeBSD, SmartOS

> Настройки подписки и доставки писем: https://groups.google.com/d/optout.

[Alexey Mochkin]

> Так есть же FreeBSD, SmartOS

Не, не слышал.

[Phil Kulin]

23 ноября 2015 г., 18:00 пользователь Alexey Mochkin
<alukar...@gmail.com> написал:

>> Так есть же FreeBSD, SmartOS
> Не, не слышал.

2015 год. Пора уже открыть для себя :)

[Daniel Podolsky]

> QCOW - со snapshot’ами,
это иллюзия

[sergio]

On 11/23/2015 02:14 AM, andrey i. mavlyanov wrote:

> Самый производительный способ - lvm.

Бенчмарки в студию.

> Далее следует raw - но не умеет снапшотов

Враньё!!!

> И самый универсальный - qcow2.

Залей qcow2 образ на винт и загрузи с него железо.



--
sergio

[easy_john]

On Monday, November 23, 2015 at 3:34:33 AM UTC+3, Igor Nikolaev wrote:

Я исользую qcow2. Причём отдаю его по nfs. Возможно я извращенец ;-)

Я использую ext4/xfs, которую кладу на lvm, которую получаю по nfs, которая лежит на zfs. Виртуализация, понимаешь...

[Igor Nikolaev]

On 23.11.2015 11:18, Aleks Mayer wrote:
> Ты вроде как использовал iSCSI? И потом, у тебя вероятно очень быстрый сторадж.

Он хорош в виде "диск для бездисковой мастдайки".

Для отдачи файла виртуалки nfs оказался наиболее пригоден.

При этом я отдельно имею qcow2 как имидж системы (на который виртуалка в
общем случае нихрена интересного не пишет, но там разная хренотень с
permissions) и отдельно - пользовательское пространство.

Полка - писюк под freenas с кучей дисков на 10gbit'ах по sfp+ cable
либо (дешёвый домашний вариант) та же самая мамка, на которой виртуалки.

--
Igor Nikolaev
+7.812.3240883

[easy_john]

On Monday, November 23, 2015 at 5:23:08 PM UTC+3, Alukardd wrote:

ZFS, конечно, манит слегка начать его использовать, но ZoL доверия не вызывает.

А что бы нет? Мы zfs уже практически в про вытащили.
Да и домашние файлопомойки я некоторое время перевел на zfs. В том числе есть даже на zfs on linux.

[easy_john]

On Monday, November 23, 2015 at 7:31:28 PM UTC+3, sergio wrote:

> Самый производительный способ - lvm.
Бенчмарки в студию.

Никогда не видел никакого замедления от добавления lvm, даже во времена pentium2 и соотвествующих дисков.
Кстати, lvm агрегирует запросы, например прилетело на волум 500 иопсов по 4к, а на нижележащее блочное устройство они улетают как полсотни по 16к-64к

[Igor Nikolaev]

On 23.11.2015 19:31, sergio wrote:
> On 11/23/2015 02:14 AM, andrey i. mavlyanov wrote:
>> Самый производительный способ - lvm.

Если диски вращаются, то держит сам hdd.
Если толстый storage из sdd, то диски не держат.

И в том и в другом случае разницы нет.
Граница между "диски держат и хрен что сделашь, они всё равно медленные"
и "диски не держат, нужно больше ядер" проходится
очень быстро.

>> И самый универсальный - qcow2.
> Залей qcow2 образ на винт и загрузи с него железо.

Железа больше нет.

--
Igor Nikolaev
+7.812.3240883

[sergio]

On 11/23/2015 03:34 AM, Igor Nikolaev wrote:


> Я исользую qcow2. Причём отдаю его по nfs. Возможно я извращенец ;-)

Я использую qcow2 для снапшота блочного устройства. А потом коммичу этот
qcow2 и виртуалка перелетает с работы домой и наоборот. Так что
извращенец я.


--
sergio

[Alex Chistyakov]

2015-11-23 17:22 GMT+03:00 Alexey Mochkin <alukar...@gmail.com>:

Перенос действительно должен быть через shared storage. На крайняк с
downtime'ом можно и dd'ить.

Snapshot'ы классического LVM'а нельзя так использовать они работают в
другую сторону (как и зачем они были созданы читаем в
интернетаъ/man'ах). Прямо, как ожидает типичный админ, работают
snapshot'ы только в LVM Thin Pool.

Голос разума в чате.

 

Но с ним есть свои грабли.

Ну да - для начала, он CoW.

Но, имея кэш на SSD, не вижу причин париться.

Разве что вот SSD может умереть.

 

[sergio]

On 11/23/2015 11:18 AM, Aleks Mayer wrote:
>> 23 нояб. 2015 г., в 3:34, Igor Nikolaev <i.nik...@spbu.ru> написал(а):

>> Я исользую qcow2. Причём отдаю его по nfs. Возможно я извращенец ;-)

> Ты вроде как использовал iSCSI? И потом, у тебя вероятно очень быстрый сторадж.

А я отдаю по nbd, надеюсь это большее извращенство?

--
sergio

[Alex Chistyakov]

2015-11-09 21:35 GMT+03:00 Aleks Mayer <aleks....@gmail.com>:

Коллеги, хочу наконец заставить все точки над i.

Давайте разобьемся на две команды и подеремся?

 

В чатике неоднократно, да и в общении тоже, проскальзывали фразы, что дескать файлик на диске ничем не хуже lvm partition.
Но тем не менее, кого не спроси, все отдают предпочтение lvm.

Я не отдаю.

Я думаю - вообще пофиг, для имаджей на локальном диске модель кэширования в твоем KVM имеет гораздо большее значение, чем LVM/не LVM.

 

Почему? Неужели файлик настолько ненадежен для сохранности данных?

Чо?

Надежность тут вообще не при чем.

 

Или тут какие-то другие подводные камни?

Best Regards,
Aleks Mayer

[Alexey Mochkin]

Нафиг кэш диска на уровне KVM, надо его отключать (cache='none', а
может даже лучше cache='directsync'). Гораздо большая задница с тем
что сами драйверы блочных устройств имеют далеко не заоблачную
производительность, хотя и достаточную для многих задач.

[Alex Chistyakov]

2015-11-24 11:21 GMT+03:00 Alexey Mochkin <alukar...@gmail.com>:

Нафиг кэш диска на уровне KVM, надо его отключать (cache='none', а
может даже лучше cache='directsync').

Интересно.

И почему же его надо отключать?

[Aleks Mayer]

24 нояб. 2015 г., в 11:40, Alex Chistyakov <alex...@gmail.com> написал(а):

2015-11-24 11:21 GMT+03:00 Alexey Mochkin <alukar...@gmail.com>:

Нафиг кэш диска на уровне KVM, надо его отключать (cache='none', а
может даже лучше cache='directsync').

Интересно.

И почему же его надо отключать?

На этот счет официальная документация RH говорит, что его надо отключать для беспроблемной миграции машин на другой хост.

Ну и для машин с большим IO.

Best Regards,

Aleks Mayer