iscsi - краткая инструкция по установке

[vasvk vasvk]

   Добрый день. Вот уже год как пользуюсь сетевыми жесткими дисками по технологии iscsi, установленных на обычном ПК. 

Для тестирования также параллельно использовал железячное решение на основе сетевого хранилища D-Link DNS. 

Оба решения прекрасно работают, комповая версия ни разу не глюкнула за этот период. Сетевые диски видятся как в Linux, так и в Windows (начиная с Win7) как обычные жесткие диски, при перезагрузках и срывах связи происходит автоматический реконнект соединения. Мой вердикт - можно использовать смело. 

   Представляю краткую методику для ОС Debiam-8 (должно работать и на Убунтах). 

Установка серверной

http://askubuntu.com/questions/63621/iscsi-trgt-missing-because-cant-build-kernel-module

sudo aptitude install iscsitarget iscsitarget-source iscsitarget-dkms

Стартуем как сервис

http://habrahabr.ru/company/depocomputers/blog/130573/

cat /etc/default/iscsitarget

sudo sed -i s/false/true/ /etc/default/iscsitarget

cat /etc/default/iscsitarget

sudo poweroff

Подключаем жесткие диски для iscsi

В качестве хранилища мы можем использовать свободные логические 

разделы, образы в виде файлов, жесткие диски (например /dev/sdb), 

разделы на жестких дисках (/dev/sdb1) или RAID (например /dev/md0).

https://www.opennet.ru/base/sys/iscsi_debian.txt.html 

Размечаем диски обычным способом как ext4

sudo cfdisk /dev/sdb

sudo mkfs.ext4 /dev/sdb1

sudo nano /etc/iet/ietd.conf       (по-старому  /etc/ietd.conf)

Пишем в конце

Пример для беспарольной системы, системный диск как часть хранилища 

(можно использовать значение UUID в кавычках)

###

Target iqn.2016-01.com.nas:storage.lun1

                Lun 0 Path=/dev/sda3,Type=fileio

                Alias LUN1

Target iqn.2016-01.com.nas:storage.lun2

                Lun 0 Path=/dev/sdb1,Type=fileio

                Alias LUN2

Target iqn.2016-01.com.nas:storage.lun3

                Lun 0 Path="e4d97752-3cee-4467-be1b-377f8d806a02",Type=fileio

                Alias LUN3

###

Ограничиваем раздачу iscsi по сетевым интерфейсам

sudo nano /etc/iet/initiators.allow

Для всех интерфейсов без ограничений имеем

ALL ALL

iqn.2016-01.com.nas:storage.lun1

iqn.2016-01.com.nas:storage.lun2

iqn.2016-01.com.nas:storage.lun3

sudo /etc/init.d/iscsitarget restart

Проверяем

cat /proc/net/iet/volume

А далее настраиваем клиента (iscsi-initiator) на Windows или на Linux. 

http://rus-linux.net/MyLDP/BOOKS/LSA/ch12.html

https://www.opennet.ru/base/sys/iscsi_debian.txt.html

https://www.opennet.ru/tips/2037_iscsi_linux_mound_disk_nas.shtml

http://xgu.ru/wiki/iSCSI

http://ctrld.me/blog/2011/06/09/nastrojka-iscsi-na-ubuntu-11-04-i-podklyuchenie-ego-k-mac-os-x-10-6/ 

[Andrey Nikitin]

vasvk vasvk писал(а):

> Добрый день. Вот уже год как пользуюсь сетевыми жесткими дисками по
> технологии iscsi, установленных на обычном ПК.
> Для тестирования также параллельно использовал железячное решение на основе
> сетевого хранилища D-Link DNS.
> Оба решения прекрасно работают, комповая версия ни разу не глюкнула за этот
> период. Сетевые диски видятся как в Linux, так и в Windows (начиная с Win7)
> как обычные жесткие диски, при перезагрузках и срывах связи происходит
> автоматический реконнект соединения. Мой вердикт - можно использовать
> смело.
> Представляю краткую методику для ОС Debiam-8 (должно работать и на
> Убунтах).

Здравствуйте, Василий.

По руководству - да, iSCSI работает до опред. потолка,
потом только FibreChannel или SaS.
Также есть эконом вариант с разделением архива на:
1) быстрый оперативный на самом AVReg-е с небольшой глубиной архива,
2) медленный но большой на внешнем NAS-е c подключением "обычными"
протоколами высокого уровня CIFS/NFS/FTP/HTTP/WebDAW,
который используется для архивных задач.
Наполнение архива - backup-ным софтом (rsync и т.п.),
очистка - скриптами и т.п.

Это также будет работать, если серверов AVReg несколько.
Основная идея решения хранилище на SaS/FC стоит _гораздо_ больше
хранилища NAS на CIFS/NFS/....


Также есть вопрос,
а в чём идея использовать самосборный ПК NAS?
Он же дорогой получается, разве нет?
Неужели нет NAS-ов c поддержкой iSCSI?

[Michael A. Kangin]

27.12.2016 07:05, 'Andrey Nikitin' via avreg-users пишет:

> По руководству - да, iSCSI работает до опред. потолка,
> потом только FibreChannel или SaS.

А где, извините, тот потолок, когда заканчивается iSCSI и дальше только
FC? ;)

Или речь идёт о конкретной реализации iSCSI-таргета?

[Andrey Nikitin]

Michael A. Kangin писал(а):

> А где, извините, тот потолок, когда заканчивается iSCSI и дальше только
> FC? ;)

Да кто же его считал ) Просто, было 2 случая,
когда это стало узким местом перешли на FC,
где проблемы сразу исчезли.

> Или речь идёт о конкретной реализации iSCSI-таргета?

Скорее да, однако, чисто в теории, если бы iSCSI был хорош,
не стали бы придумывать SaS, eSATA и т.п.
Это я говорю как полный дилетант в этом вопросе ))

[vasvk vasvk]

 Для начала скажу что iscsi сетевое хранилище нетребовательно к ресурсам и его можно реализовать на недорогих мат платах, что в итоге дешевле получается железячного NAS, особенно при необходимости задействовать 4 и более HDD.

[vasvk vasvk]

  Прошу прощения, с UUID пока не до конца разобрался. Оставляем пока путь в настройках типа /dev/sdX  

В результате проверки должно быть похоже 

cat /proc/net/iet/volume

tid:1 name:iqn.2016-01.com.nas:storage.lun1

        lun:0 state:0 iotype:fileio iomode:wt blocks:3907027120 blocksize:512 path:/dev/sdb1

[vasvk vasvk]

   Сама суть данного решения - это то, что данная технология нормально работает с системами видеонаблюдения как виндовыми, так и линуксовыми. А для нашего случая больше и не надо.

[Michael A. Kangin]

On 12/28/2016 06:49 AM, 'Andrey Nikitin' via avreg-users wrote:

>> А где, извините, тот потолок, когда заканчивается iSCSI и дальше только
>> FC? ;)
> Да кто же его считал ) Просто, было 2 случая,
> когда это стало узким местом перешли на FC,
> где проблемы сразу исчезли.

Ну, с 10G сетевушками, MTU9000 и низколатентными свитчами оно ничем
особым не отличается от FC, кровавыйъ ынтерпрайзъ вовсю юзает.
Десятки и сотни тысяч IOPS народ выжимает.

>> Или речь идёт о конкретной реализации iSCSI-таргета?
> Скорее да, однако, чисто в теории, если бы iSCSI был хорош,
> не стали бы придумывать SaS, eSATA и т.п.

Он хорош в теории, но сложен преизрядно в реализации. SAS/(e)SATA это не
сетевые протоколы, а если брать AoE (ATA over Ethernet), то "The AoE
specification is 12 pages[1] compared with iSCSI's 257 pages.[2]"
https://en.wikipedia.org/wiki/ATA_over_Ethernet

Соответственно, до недавнего времени была очень большая проблема найти
некоммерческий/свободный target под Линукс, чтобы и полнота поддержки, и
скорость.
Теперь появился великий и ужасный (правда, пока не очень широко
используемый) SCST, который рвёт прочих как Тузик грелку:
http://scst.sourceforge.net/comparison.html

Для попробовать/использовать его проще всего поиграться со сборкой ESOS
(http://www.esos-project.com/)


Но использование iSCSI для видеонаблюдения мне кажется не очень
оптимальным, если не ограничиваться одним-единственным сервером.
С позиции той же самой облачности NFS кажется более интересным.

[Max Lapshin]

Я немного не понимаю, зачем вообще нужны NFS, полки и прочее под видеонаблюдение?

В один сервер сегодня без проблем можно воткнуть 24 харда. Этого хватит на 1000 камер на 14 дней непрерывной записи (грубо округляя), т.е. 70-100 ТБ.

Это как раз размер одной полки. Зачем покупать сервер + ещё один такой же сервер под названием «полка» и ещё дорогой линк между ними, если не получится сделать одну полку на 5-10 серверов.

[Michael A. Kangin]

On 01/01/2017 02:45 PM, Max Lapshin wrote:

> Я немного не понимаю, зачем вообще нужны NFS, полки и прочее под
> видеонаблюдение?

Ну мало ли как нищеброды выкручиваются :)

По NFS несколько серверов видеонаблюдения могут иметь доступ к единому
архивному пространству - для организации кластера, или там облака.
Где лежат сами данные - на специализированном хранилище с дублированием
всего чего только можно и Сервисной Поддержкой, или на самосборной
коробке с вибрационной защитой из использованных презервативов, или на
одном единственном Главном сервере - вопрос уже десятый. Может, уже есть
простаивающие дисковые ёмкости, грех не переиспользовать.

По iSCSI могут например грузиться из сети бездисковые сервера, больше
применительно к видеонаблюдению не могу ничего придумать.

пара случаев из нищебродской практики:
- часть камер отдавала что-то такоэ, из чего только mjpeg и можно было
кушать. Приходилось кодировать в архив софтверно. Пара серверов как-то
не справлялись, подключили в помощь клиентские компьютеры
видеонаблюдения, в которые охрана смотрит. Всё равно простаивают большей
частью. Тут NFS и пригодилось, файло бралось с самих видеосерверов, без
выделенной полки.
- В попытках переехать с аналоговых камер / DVR на видеосервера
использовались PCI-карты видеозахвата, которые из-за пропускной
способности PCI без мультиплексирования переваривали по 4-5 камер,
дальше только разрешение снижать драматически. Чтобы было куда совать
эти платы, в качестве "видеосерверов-энкодеров" использовались несколько
штук обычных бездисковых тощих клиента на атомах, их хватало захватить
по 5 камер в аналоге и отправить дальше mjpeg хотя бы. Правда, у меня
уже была инфраструктура с PXE/TFTP, так что обошлось без iSCSI. Но тоже
можно было бы.

> В один сервер сегодня без проблем можно воткнуть 24 харда. Этого хватит
> на 1000 камер на 14 дней непрерывной записи (грубо округляя), т.е.
> 70-100 ТБ.

И даже 90:
https://www.supermicro.nl/products/system/4U/6048/SSG-6048R-E1CR90L.cfm
а уж сколько с JBOD-корзинками, и подумать страшно.

Вопрос в сценариях использования. Кому-то архив протоптать ничуть не
жалко, всё равно запись включить забыли, а кому то и "пять девяток" мало
будет.
Кто-то единственный диск в DVR дважды в год как по расписанию меняет, а
кто-то multi-tiered архивами заморачивается.

>
> Это как раз размер одной полки. Зачем покупать сервер + ещё один такой
> же сервер под названием «полка» и ещё дорогой линк между ними, если не
> получится сделать одну полку на 5-10 серверов.
>

> --
> Вы получили это сообщение, поскольку подписаны на группу "avreg-users".
> Чтобы отменить подписку на эту группу и больше не получать от нее
> сообщения, отправьте письмо на электронный адрес
> avreg-users...@googlegroups.com
> <mailto:avreg-users...@googlegroups.com>.
> Чтобы зайти в группу, перейдите по ссылке
> https://groups.google.com/group/avreg-users.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.

[Max Lapshin]

А какими такими волшебными гномиками полка стала более надежна чем просто сервер с RAID?

[Michael A. Kangin]

07.01.2017 08:12, Max Lapshin пишет:

> А какими такими волшебными гномиками полка стала более надежна чем
> просто сервер с RAID?

Это смотря что понимать под термином "полка".
Если JBOD-корзина, то ничем.
Если ынтерпрайз-сторадж типа какого-нибудь EMC VNX5XXX, то
резервирование всех компонентов (бекплейны, адаптеры, материнские платы,
процессоры, память, сетевухи), алгоритмы всяческих проактивных защит, ну
поддержка с горячим складом опять же.

Если у "просто сервака с рейдом" контроллер сдохнет или мать - он же не
будет работать? А сторадж будет.

[Max Lapshin]

Слушайте, ну это просто несерьезно.

Сторадж с дублированной материнской платой это вообще не про видеонаблюдение.

[Michael A. Kangin]

Сторадж не обязан быть только под видеонаблюдение
на него вообще может быть завязана вся инфраструктура компании.
А если на нём уже есть достаточно свободного места, или экономически
оправдано прикупить в него несколько дисков, вместо того, чтобы
вкладываться в дисковую подсистему сервера...
В общем, ситуации могут быть разные.

[vasvk vasvk]

   Господа, в данном случае речь об идее с удаленным сетевым хранилищем вовсе не из-за того, что где-то есть крутые и навороченные вещи. А просто бывают ситуации, когда не нужно чтобы реальные диски маячили на боевом сервере, или, например нужно резервные копии туда скидывать. И вот еще случай, когда на какой-нить микрокомпьютер Raspberry дисковый массив через сеть подать...  Вот о каких задачах речь стоит. Сама суть идеи в том, что для видеозаписей iscsi хватает предостаточно и решение это оперативно и доступно. А если кому хочется более дорогое оборудование с кучей возможностей - то это уже другой разговор...

[Andrey Nikitin]

vasvk vasvk писал(а):

> А просто
> бывают ситуации, когда не нужно чтобы реальные диски маячили на боевом
> сервере

А если несколько таких хранилок в разных местах собрать
под LVM|(Open)ZFS|BTRFS в RAID0 (или stripe подобное),
то достаточно в случ. чего один узел уничтожить (спасти)
чтобы сделать архив (почти) невосстановимым ))