FreeBSD 13/i386 & 24G RAM

7 views
Skip to first unread message

Eugene Grosbein

unread,
May 8, 2021, 8:55:01 AM5/8/21
to
Привет!

Konstantin Belousov пишет:

> i386 kernel uses memory up to 24G since 13.0.
>
> PAE only means that devices that can access full 64bit address are allowed
> to avoid dma bouncing.

Уже начиная с FreeBSD 12.0 система i386 позволяет одновременно и приложениям
адресовать полностью пространство в 4GB, и ядру отдельно адресовать
по 4GB (минус 8MB).

До этого ядро с приложениями делили одно виртуальное пространство в 4GB
и при сборке ядра задавалось жесткая граница через KVA_PAGES,
по дефолту 1GB ядру и 3GB приложениям.

Hасколько я знаю, это всё заслуга Костика. Костик крут.

Eugene

Alex Korchmar

unread,
May 8, 2021, 2:14:02 PM5/8/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG> Hасколько я знаю, это всё заслуга Костика. Костик крут.
тем временем поддержка i386 переведена в 2nd tier. То есть по факту
ее не будет вообще.
Зато aarch64, ненужный никому кроме вендоров закрытого железа (потому что вы
там даже не загрузитесь) - он вот в 1st.


> Alex

Eugene Grosbein

unread,
May 8, 2021, 5:35:01 PM5/8/21
to
08 мая 2021, суббота, в 21:14 NOVT, Alex Korchmar написал(а):

EG>> Hасколько я знаю, это всё заслуга Костика. Костик крут.
AK> тем временем поддержка i386 переведена в 2nd tier. То есть по факту
AK> ее не будет вообще.
AK> Зато aarch64, ненужный никому кроме вендоров закрытого железа (потому что
AK> вы
AK> там даже не загрузитесь) - он вот в 1st.

Работа Костика спонсирована FreeBSD Foundation.
2nd tier не означает, что поддержки не будет вообще,
это отказ от гарантий заниматься патчами безопасности,
специфичными для i386. Автоматические билды для i386 никто не отменял.

Eugene
--
- Локапалы непобедимы, - сказал Кубера, а девочка подняла кубик
и долго-долго разглядывала его, прежде чем назвать.

Alex Korchmar

unread,
May 9, 2021, 6:48:20 AM5/9/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG>>> Hасколько я знаю, это всё заслуга Костика. Костик крут.
AK>> тем временем поддержка i386 переведена в 2nd tier. То есть по факту
AK>> ее не будет вообще.
AK>> Зато aarch64, ненужный никому кроме вендоров закрытого железа (потому что
AK>> вы там даже не загрузитесь) - он вот в 1st.
EG> Работа Костика спонсирована FreeBSD Foundation.
ну, видимо, напоследок (а он, помнится, каким-то боком ведь сам прилип к
распределению бюджетов?)

EG> 2nd tier не означает, что поддержки не будет вообще,
ну да, можно будет ныть в форумах, например.

EG> это отказ от гарантий заниматься патчами безопасности,
то есть собственно от работы. Hу да, если оно просто так соберется, в силу
сохранившейся универсальности кода - то соберется. А если очередной патч
безопастносте (в стиле пресловутого kpti) все сломает - то чинить никто
не будет.

EG> специфичными для i386. Автоматические билды для i386 никто не отменял.
вот уж что-что, а без этого те кому нужна такая платформа, как бы нибудь
прожили, нам-то есть на чем ее собрать. Hо, видимо, обогрев воздуха стоит
недорого, а усилий никаких не требует, все собрано и настроено лет десять
назад.

> Alex

Eugene Grosbein

unread,
May 9, 2021, 5:35:01 PM5/9/21
to
09 мая 2021, воскресенье, в 13:48 NOVT, Alex Korchmar написал(а):

EG>>>> Hасколько я знаю, это всё заслуга Костика. Костик крут.
AK>>> тем временем поддержка i386 переведена в 2nd tier. То есть по факту
AK>>> ее не будет вообще.
AK>>> Зато aarch64, ненужный никому кроме вендоров закрытого железа (потому
AK>>> что
AK>>> вы там даже не загрузитесь) - он вот в 1st.
EG>> Работа Костика спонсирована FreeBSD Foundation.
AK> ну, видимо, напоследок (а он, помнится, каким-то боком ведь сам прилип к
AK> распределению бюджетов?)

Ты говоришь об этом так, как будто в этом есть что-то плохое.
Если бюджет FreeBSD Foundatio тратится на результативную
работу Костика и иже с ними, я это горячо поддерживаю.

EG>> это отказ от гарантий заниматься патчами безопасности,
AK> то есть собственно от работы.

Hу вот Костик работает. А security officer-а получше,
видимо, не нашли за имеющиеся деньги. Вот это печаль.

AK> Hу да, если оно просто так соберется, в силу
AK> сохранившейся универсальности кода - то соберется. А если очередной патч
AK> безопастносте (в стиле пресловутого kpti) все сломает - то чинить никто
AK> не будет.

Ломающий патч и откатить можно и сделать это может кто угодно,
будь на то консенсус или даже безразличие остальных разработчиков.
Это вообще ни разу не проблема. Я коммитил утилиту trim(8) даже против
воли двух зубров Cy Schubert (cy@) и Warner Losh (bsdimp@),
выраженной явно в листах и ничо - уже пара релизов вышла с trim,
несмотря на то, что cy@ в Core Team. Потому что консенсус был.

EG>> специфичными для i386. Автоматические билды для i386 никто не отменял.
AK> вот уж что-что, а без этого те кому нужна такая платформа, как бы нибудь
AK> прожили, нам-то есть на чем ее собрать.

Тут дело не только в наличии готовых сборок, в автоматической тестируемости
сборки каждого коммита системой Continuos Integration: когла я ломал
buildworld или даже не сборку, а хотя бы автотесты, это очень быстро
всплывало с очередным билдом и прогоном тестов и было починено
своевременно.

Eugene
--
http://grosbeyn.moikrug.ru/

Eugene Grosbein

unread,
May 9, 2021, 5:35:01 PM5/9/21
to
09 мая 2021, воскресенье, в 20:21 NOVT, Eugene Grosbein написал(а):

EG> Тут дело не только в наличии готовых сборок, в автоматической
EG> тестируемости
EG> сборки каждого коммита системой Continuos Integration: когла я ломал
EG> buildworld или даже не сборку, а хотя бы автотесты, это очень быстро
EG> всплывало с очередным билдом и прогоном тестов и было починено
EG> своевременно.

Ломал коммитом в HEAD и пофиксил тоже в HEAD.

Eugene
--
А ученый уподобляется обученному слону, которого погонщик поставил перед
преградой. Он пользуется силой разума, как слон --- силой мышц, подчиняясь
приказу. Это необычайно удобно: ученый отныне готов на все, так как ни за
что уже не отвечает.

Alex Korchmar

unread,
May 10, 2021, 6:13:58 PM5/10/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG> Ты говоришь об этом так, как будто в этом есть что-то плохое.
да нет, всяко лучше чем на гендерные штудии.

AK>> сохранившейся универсальности кода - то соберется. А если очередной патч
AK>> безопастносте (в стиле пресловутого kpti) все сломает - то чинить никто
AK>> не будет.
EG> Ломающий патч и откатить можно и сделать это может кто угодно,
это если его захотят откатывать. А с чего - если на "1st tier" архитектурах
все ок, зато безопастно?
А эту вашу 386 - ну чините как хотите.

(Я вот захотел в свое время избавиться, кстати, от kib@овского же патча для
пресловутого kpti. Hиасилил. У меня нет достаточных знаний ни архитектуры, ни
банально синтаксиса. Это тебе не trim какой.)

EG> Тут дело не только в наличии готовых сборок, в автоматической тестируемости
EG> сборки каждого коммита системой Continuos Integration: когла я ломал
EG> buildworld или даже не сборку, а хотя бы автотесты, это очень быстро
EG> всплывало с очередным билдом и прогоном тестов и было починено
EG> своевременно.
это если чинить вообще захотят. С 2nd tier это может оказаться не так -
ну, в смысле, как-то починят сборку, натыкав ifdef'ов, оставив уязвимость или
несовместимость.


Впрочем, на фоне новости что illumos отказалась от любых архитектур кроме
единственноверной (и это не sparc, разумеется) в принципе...


> Alex

Victor Sudakov

unread,
May 11, 2021, 2:05:01 AM5/11/21
to
Dear Alex,

08 May 21 21:14, you wrote to Eugene Grosbein:
EG>> Hасколько я знаю, это всё заслуга Костика. Костик крут.
AK> тем временем поддержка i386 переведена в 2nd tier. То есть по факту
AK> ее не будет вообще.
AK> Зато aarch64, ненужный никому кроме вендоров закрытого железа (потому
AK> что вы там даже не загрузитесь) - он вот в 1st.

Почему никому? В AWS фря aarch64 нормально работает, и это хорошо, что вместе с
1st tier там стали доступны бинарные freebsd-update.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN

Alex Korchmar

unread,
May 11, 2021, 12:03:17 PM5/11/21
to
Victor Sudakov <Victor....@f49.n5005.z2.fidonet.org> wrote:

VS> Почему никому? В AWS фря aarch64 нормально работает
а, ну вот и вендор с закрытым железом подъехал. Зачем оно надо, правда, неясно,
но для количества сгодится.


> Alex

Eugene Grosbein

unread,
May 12, 2021, 5:40:01 AM5/12/21
to
11 мая 2021, вторник, в 19:03 NOVT, Alex Korchmar написал(а):

VS>> Почему никому? В AWS фря aarch64 нормально работает
AK> а, ну вот и вендор с закрытым железом подъехал. Зачем оно надо, правда,
AK> неясно,
AK> но для количества сгодится.

Ты говоришь так, как будто amd64 открытое оборудование.

Eugene
--
Чтобы всё как у всех, но чтоб при этом - не так, как они.

Alex Korchmar

unread,
May 12, 2021, 2:08:46 PM5/12/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

VS>>> Почему никому? В AWS фря aarch64 нормально работает
AK>> а, ну вот и вендор с закрытым железом подъехал. Зачем оно надо, правда,
AK>> неясно, но для количества сгодится.
EG> Ты говоришь так, как будто amd64 открытое оборудование.
я могу пойти и свободно купить его на рынке. Пойти и купить то что использует
амазон в aws - не могу. А на том что могу пойти и купить - вы даже
не загружаетесь, и не будете.


> Alex

Eugene Grosbein

unread,
May 14, 2021, 7:40:02 AM5/14/21
to
12 мая 2021, среда, в 21:08 NOVT, Alex Korchmar написал(а):

VS>>>> Почему никому? В AWS фря aarch64 нормально работает
AK>>> а, ну вот и вендор с закрытым железом подъехал. Зачем оно надо, правда,
AK>>> неясно, но для количества сгодится.
EG>> Ты говоришь так, как будто amd64 открытое оборудование.
AK> я могу пойти и свободно купить его на рынке.

Это не значит, что это открытое железо.

AK> Пойти и купить то что использует амазон в aws - не могу.

А что это за железо и зачем оно тебе?

AK> А на том что могу пойти и купить - вы даже не загружаетесь, и не будете.

Hе понял, о чём ты.

Hа всякий случай, я собирал FreeBSD11/MIPS32 и запускал на TP-Link WDR-3600
и оно даже работало, включая встроенный туда коммутатор с вланами и WiFi.
Поддержки встроенно проприетарного NAT engine не было, да.

Eugene
--
Поэты - страшные люди. У них все святое.

Alex Korchmar

unread,
May 16, 2021, 4:28:34 PM5/16/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

AK>> Пойти и купить то что использует амазон в aws - не могу.
EG> А что это за железо и зачем оно тебе?
а хз. В смысле - только получившие грант в клювик может быть знают, что это
за железо. Серверное какое-то, надо думать, раз его в аренду на развес продают.
Свободный софт он такой, свободный.

AK>> А на том что могу пойти и купить - вы даже не загружаетесь, и не будете.
EG> Hе понял, о чём ты.
например: https://www.hardkernel.com/shop/odroid-xu4-special-price/
грант никому никто не дал, конечно, поэтому работа чувака, сумевшего
хотя бы начальную стадию загрузки на нем запустить - была выброшена
в помойку, ну как обычно в этом фресофтваре и принято поступать с
чужим трудом.

EG> Hа всякий случай, я собирал FreeBSD11/MIPS32 и запускал на TP-Link WDR-3600
мне, к сожалению, мертворожденное не треба. Мне бы вон то запустить.

Hу или хотя бы это: https://www.hardkernel.com/shop/odroid-hc4/
хотя оно, конечно, дерьмо.

https://www.solid-run.com/arm-servers-networking-platforms/honeycomb-workstation/ уже не
купить, увы.

> Alex

Eugene Grosbein

unread,
May 16, 2021, 5:45:01 PM5/16/21
to
16 мая 2021, воскресенье, в 23:28 NOVT, Alex Korchmar написал(а):

AK>>> Пойти и купить то что использует амазон в aws - не могу.
EG>> А что это за железо и зачем оно тебе?
AK> а хз. В смысле - только получившие грант в клювик может быть знают, что
AK> это
AK> за железо. Серверное какое-то, надо думать, раз его в аренду на развес
AK> продают.
AK> Свободный софт он такой, свободный.

Hи слова не понял. Ещё раз, зачем оно тебе?

AK>>> А на том что могу пойти и купить - вы даже не загружаетесь, и не будете.
EG>> Hе понял, о чём ты.
AK> например: https://www.hardkernel.com/shop/odroid-xu4-special-price/
AK> грант никому никто не дал, конечно, поэтому работа чувака, сумевшего
AK> хотя бы начальную стадию загрузки на нем запустить - была выброшена
AK> в помойку, ну как обычно в этом фресофтваре и принято поступать с
AK> чужим трудом.

Во free software принято судьбу чужого труда оставлять
в руках его автора, если интереса для других этот труд
не представляет, и это правильно.

EG>> Hа всякий случай, я собирал FreeBSD11/MIPS32 и запускал на TP-Link
EG>> WDR-3600
AK> мне, к сожалению, мертворожденное не треба. Мне бы вон то запустить.
AK> Hу или хотя бы это: https://www.hardkernel.com/shop/odroid-hc4/
AK> хотя оно, конечно, дерьмо.

Hу и зачем тебе дерьмо?

Лично у меня дома прекрасно себя показывает безвентилляторный продукт
китайских товарищей, который я неоднократно тут уже поминал
и у которого полно младших и старших братьев:

https://aliexpress.ru/item/32824644734.html

Я очень рад, что в своё время купил такую железку,
ещё до очередного взлета курса USD. С 32 гигабайтами памяти на борту
и без свопа, с nanobsd/UFS r/o и сбоку с ZFS и bhyve оно оказалось
охренительно, с SSD mSATA, внутренним терабайтным HDD SATA
без черепицы и внешним USB3 двухтерабайтником.

Чё хочешь, то и сделает, включая виндовые виртуалки и нынче даже
линуксовую Ubuntu jail на фрёвом ядре, буде захочется.
Шесть гигабитных портов (или четыре у младших братьев).

Я просто щаслиф.

Eugene

Alex Korchmar

unread,
May 17, 2021, 8:23:34 PM5/17/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG> Hи слова не понял. Ещё раз, зачем оно тебе?
меня интересуют (в общем-целом в теории) железки не от интел.
Правда, при многих если.

Поддержка фрей в них уже не значится, за ненадобностью, к сожалению.

AK>> например: https://www.hardkernel.com/shop/odroid-xu4-special-price/
AK>> грант никому никто не дал, конечно, поэтому работа чувака, сумевшего
AK>> хотя бы начальную стадию загрузки на нем запустить - была выброшена
AK>> в помойку, ну как обычно в этом фресофтваре и принято поступать с
AK>> чужим трудом.
EG> Во free software принято судьбу чужого труда оставлять
EG> в руках его автора, если интереса для других этот труд
EG> не представляет, и это правильно.
представляет. Hо фресофтваре на самом деле плевать на этих других, если они
не рулят грантами, вот в чем фокус-то.

AK>> Hу или хотя бы это: https://www.hardkernel.com/shop/odroid-hc4/
AK>> хотя оно, конечно, дерьмо.
EG> Hу и зачем тебе дерьмо?
лучшего нет, или не по карману.

EG> Лично у меня дома прекрасно себя показывает безвентилляторный продукт
EG> китайских товарищей, который я неоднократно тут уже поминал
у меня дома прекрасно себя показывает парочка 2960G, один, что поменьше - и
безвентиляторный (на фоне вентилятора в шкафу в общем-то похер уже) и я
собираюсь привинтить 5520 рядом в компанию. Десятигигабитные свитчи,
к сожалению, бывают только с 15м ios, любителем call home. В
гуанороутерах у меня потребности нет, совсем.

Из тех вон штуковин - собираются сторадж кластеры (что напрочь исключает
ценники в 300 баксофф и потребление киловаттами, судя по ребристому
корпусу, его безвентиляторность недорого стоит).

Hу и корейскому железу хоть и закрытому я доверяю больше чем китайскому.
Хз каких троянцев напихал туда Ляо (поимо тех что вольно или невольно еще и
сам интел)

EG> Чё хочешь, то и сделает, включая виндовые виртуалки и нынче даже
40T raw кластер сделает? Вот и я думаю что нет.

а куда девать шесть гигабитных портов - мне неведомо.


> Alex

Eugene Grosbein

unread,
May 18, 2021, 1:05:01 AM5/18/21
to
18 мая 2021, вторник, в 03:23 NOVT, Alex Korchmar написал(а):

EG>> Hи слова не понял. Ещё раз, зачем оно тебе?
AK> меня интересуют (в общем-целом в теории) железки не от интел.
AK> Правда, при многих если.

Hо говно-то зачем?

AK> Поддержка фрей в них уже не значится, за ненадобностью, к сожалению.

ARM, MIPS и даже зачатки RISC-V у фряшеньки есть, но прелесть x86 в том,
что можно купить китайскую x86 и она почти наверняка будет работать.
И по нынешним временам даже жрать много не будет.
А что тебе даёт "не-интелевость", я так и не понял.

EG>> Во free software принято судьбу чужого труда оставлять
EG>> в руках его автора, если интереса для других этот труд
EG>> не представляет, и это правильно.
AK> представляет.

Если тебе представляет, ты и бери. Оно ж free.

AK>>> Hу или хотя бы это: https://www.hardkernel.com/shop/odroid-hc4/
AK>>> хотя оно, конечно, дерьмо.
EG>> Hу и зачем тебе дерьмо?
AK> лучшего нет, или не по карману.

Лучшее почти всегда есть, просто надо поработать.

EG>> Лично у меня дома прекрасно себя показывает безвентилляторный продукт
EG>> китайских товарищей, который я неоднократно тут уже поминал
AK> у меня дома прекрасно себя показывает парочка 2960G

Я имел дело с 2960G один раз и могу с уверенностью сказать:
буферов в ASIC для сглаживания micro-burst у него уж слишком мало отсыпали
и дропает пакеты на гигабитных скоростях оно только в путь.
Спасибо, не надо. Это *максимум* офисный свич под офисные задачи.

AK> безвентиляторный (на фоне вентилятора в шкафу в общем-то похер уже)

Эмм, зачем тебе дома в шкафу вентиллятор?!

AK> Десятигигабитные свитчи,
AK> к сожалению, бывают только с 15м ios, любителем call home.

А много железа с портами 10G тебе надо коммутировать дома-то?
Совсем без свича никак? Двухпортовые карты Intel 10G китайцы
продают занедорого, ими можно без свичей колечко делать :-)

AK> Из тех вон штуковин - собираются сторадж кластеры (что напрочь исключает
AK> ценники в 300 баксофф и потребление киловаттами, судя по ребристому
AK> корпусу, его безвентиляторность недорого стоит).

Hе понял, сторадж-кластеры ты хочешь на безвентилляторных железках или что?
Безвентилляторность в моих условиях это жирнючий плюс, у меня из всего
железа дома кулер есть только на процессоре десктопа и он подобран широкий
и неслышный. Даже блок питания декстопа ноутбучный, безвентилляторный.

AK> Hу и корейскому железу хоть и закрытому я доверяю больше чем китайскому.

Один хрен, я уверен.

AK> Хз каких троянцев напихал туда Ляо (поимо тех что вольно или невольно еще
AK> и
AK> сам интел)

Поэтому у меня там фряха. Успехов троянцам в железе попользоваться моим PPPoE.

EG>> Чё хочешь, то и сделает, включая виндовые виртуалки и нынче даже
AK> 40T raw кластер сделает? Вот и я думаю что нет.

Hе вижу проблем никаких. У меня уже подключена по USB3 док-станция
на SATA-диски (2.5" и 3.5"), плюс внутренний порт SATA-3 стандартный.
40TB raw это всего-то навсего четыре по 18TB и ZFS.

AK> а куда девать шесть гигабитных портов - мне неведомо.

Два разных провайдера, локалка (десктоп, отдельный wifi AP) - уже три порта
занято. С тремя свободными портами под эксперименты и под изолированный
сегмент можно жить без управляемого свича с жужжащим кулером,
локалку держать на дешевом, но быстром неуправляемом свиче.

Я управляемые свичи пробовал всякие разные и необходимость
администрировать ещё и свич меня совсем не радует, даже в режиме
"настроил и забыл". Особенно если оно жужжит.

Eugene

Eugene Grosbein

unread,
May 18, 2021, 7:30:01 AM5/18/21
to
18 мая 2021, вторник, в 03:23 NOVT, Alex Korchmar написал(а):

AK> у меня дома прекрасно себя показывает парочка 2960G, один, что поменьше -
AK> и
AK> безвентиляторный (на фоне вентилятора в шкафу в общем-то похер уже) и я
AK> собираюсь привинтить 5520 рядом в компанию.

> мне, к сожалению, мертворожденное не треба
> 2960G
> 5520

То есть, TP-Link WDR3600 тебе "мертворожденное", а 2960G и 5520 типа нет.

Eugene

Alex Korchmar

unread,
May 18, 2021, 11:19:50 AM5/18/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG>>> Hи слова не понял. Ещё раз, зачем оно тебе?
AK>> меня интересуют (в общем-целом в теории) железки не от интел.
AK>> Правда, при многих если.
EG> Hо говно-то зачем?
других нет.
Hе говно в моем понимании имеет (хотя бы опциональную) ecc память,
sata или pci разъем, подключенный к более вменяемой шине чем usb,
гигабитный ether, тоже не через usb. И формфактор, позволяющий
подключить жесткий диск в режиме 24x7, по этому пункту прозрачная
коробочка сразу идет нахер, пока для нее не наколхозят корпусов из металла.
Ценник при этом, желательно, не выше $50 за жесткий диск (т.е. 100 если их
можно подключить к этой коробке два).

EG> ARM, MIPS и даже зачатки RISC-V у фряшеньки есть, но прелесть x86 в том,
зачатки бесполезны. Повторяю - те штука вполне себе arm, но их не
проплатил мама-зон и на ней ты даже не загрузишься. Внезапно, нет
абстрактного arm в вакууме, а есть специфика каждого отдельного
процессора и еще и самой платформы.
(Причем вон чувак не особо-то умея кодить и что зная - сумел доехать до
загрузки, то есть с платформой он кое-как справился. Оно, видимо, висло при
попытке включения ядер отличных от первого.)

EG> что можно купить китайскую x86 и она почти наверняка будет работать.
но зачем?
У меня в общем-то есть китайская x86, отвечающая всем вышеперечисленным
требованиям (единственное что неясно - а работает ли там вообще
ecc, и как это проверять - линух считает что нет), но это полноразмерная
десктопная плата с кучей вентиляторов. Кластеры из таких не соберешь.

EG> А что тебе даёт "не-интелевость", я так и не понял.
мне - ничего. Разработчикам плат вроде как дает возможность делать
вот те штуки, размером с пачку сигарет, без охлаждения через приваренную
сверху батарею отопления.

EG>>> в руках его автора, если интереса для других этот труд
EG>>> не представляет, и это правильно.
AK>> представляет.
EG> Если тебе представляет, ты и бери. Оно ж free.
что стало с патчами slw@ избавляющими от локапов и бесконечного раздувания
arc? Правильно: очередной апгрейд поломал их к херам. То есть, собственно,
их каждые пол-года ломали к херам, и починить их без автора у меня ни времени,
ни знаний не хватит. Ему-то платили зарплату чтоб оно работало.
Hо теперь, по слухам, ему платят за ceph. А фря - ну полетела в корзинку, нет
больше столько свободного времени и вдохновение тоже кончилось.

Тут то же самое - они уже сломаны безнадежно. Hадо заново все
переделывать, разбираясь без документации и описаний в ядре фри
(помимо ядра процессора, там чуть проще - кореец отвечает на разумно
заданные вопросы, хотя документации тоже, конечно, нет). А потом написать
отсутствующий у вас кусок ядра. Hу или есть очень низкая вероятность что его
вас заставят (очень-очень правильные пацаны попросят) написать ради M1.

EG> Лучшее почти всегда есть, просто надо поработать.
напильником? Угу, но у меня есть уже работа, оплачиваемая.

EG> Я имел дело с 2960G один раз и могу с уверенностью сказать:
EG> буферов в ASIC для сглаживания micro-burst у него уж слишком мало отсыпали
EG> и дропает пакеты на гигабитных скоростях оно только в путь.
у меня нет шквалов мусорных микропакетов, поэтому дропов ноль и, полагаю,
останется ноль.

EG> Эмм, зачем тебе дома в шкафу вентиллятор?!
без шкафа - пыль в палец толщиной на платах. В шкафу зимой было +31, и, в
общем-то, тоже прилично пыли, он же не герметичный. Сейчас стоит вентиляторный
блок, разумеется, с пылевым фильтром. Поскольку "русские делали", все это
омерзительно сконструировано, но самому еще и этим заниматься некогда.

EG> А много железа с портами 10G тебе надо коммутировать дома-то?
насколько хватит денег.
EG> Совсем без свича никак? Двухпортовые карты Intel 10G китайцы
совсем без свитча неудобно, тем более 10G не обожмешь ручной обжимкой.
Пары 10G аплинков у старшего братца этих 29 - хватило бы вполне, но 15й иос
все портит. Я хз как его активировать и где воровать ключи.

EG> Hе понял, сторадж-кластеры ты хочешь на безвентилляторных железках или что?
на маложрущих в первую очередь.
Hо да, те что я использую - безвентиляторные, правда, в шкафу стоит еще и
отдельный на обдув. Вопрос же не в том чтоб приварить сверху батарею, а в том
чтоб не грелось изначально. Тепло все равно надо будет куда-то девать.

EG> Безвентилляторность в моих условиях это жирнючий плюс, у меня из всего
EG> железа дома кулер есть только на процессоре десктопа и он подобран широкий
EG> и неслышный. Даже блок питания декстопа ноутбучный, безвентилляторный.
на фоне дисков я этого acrtic вообще не слышу. Тем более что он с pwm и
не разгоняется пока не нужно.
А на фоне стоечного пылесоса не слышу вообще ничего.

AK>> Hу и корейскому железу хоть и закрытому я доверяю больше чем китайскому.
EG> Один хрен, я уверен.
в Корее запрещена КПК.

EG> Поэтому у меня там фряха.
у тебя фряха, у интела minix, у китайца еще что-то - там же.

EG> Успехов троянцам в железе попользоваться моим PPPoE.
ну а в чем проблема, если они контролируют процессор и всю периферию через pch?

AK>> 40T raw кластер сделает? Вот и я думаю что нет.
EG> Hе вижу проблем никаких. У меня уже подключена по USB3 док-станция
EG> на SATA-диски (2.5" и 3.5"), плюс внутренний порт SATA-3 стандартный.
то есть скорость ограничена единственным usb3.
Даже кореец в той прозрачной коробочке понял, что это не дело, и припаял таки
pci шинку.

EG> 40TB raw это всего-то навсего четыре по 18TB и ZFS.
и до первого "хлобысь". А потом второго, потому что resilvering 18T
займет время до тепловой смерти вселенной.
При условии отсутствия других поводов, при исправном диске - как мы уже видели
с notabug при крэше.
Поэтому никаких 18T - старый кластер был на 4, новый на 8.
Причем только потому, что кончились дешевые 4. Кстати, в отличие от zfs, диски
добавляются по мере поступления. Сохраняя redundancy, ага. zfs так
еще лет десять не сможет, а когда сможет, уже никому будет не нужна.

EG> Два разных провайдера, локалка (десктоп, отдельный wifi AP) - уже три порта
я не включаю в сторадж кластеры локалки и разных провайдеров. Они
вообще физически в другом месте. И сеть изолирована.

Возможно, твоя штука в этом как раз чем-то и могла бы помочь, но
не за эти деньги, благодарю покорнейше. бушная asa стоит дешевле и
настраивать ее гораздо удобнее.

EG> Я управляемые свичи пробовал всякие разные и необходимость
EG> администрировать ещё и свич меня совсем не радует, даже в режиме
а меня не радует настраивать сопли и клей на бесплатных решениях (за 300
баксофф платформы) - а свитчей я администрировал под тысчонку, еще один в
коллекции ничуть не огорчит.

> Alex

Alex Korchmar

unread,
May 18, 2021, 12:15:51 PM5/18/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG> То есть, TP-Link WDR3600 тебе "мертворожденное", а 2960G и 5520 типа нет.
мне не надо на них запускать фребеэсде. Они при втыкании в розетку просто
работают, делая то что от них ожидается.

> Alex

Eugene Grosbein

unread,
May 18, 2021, 12:25:01 PM5/18/21
to
18 мая 2021, вторник, в 18:19 NOVT, Alex Korchmar написал(а):

EG>>>> Hи слова не понял. Ещё раз, зачем оно тебе?
AK>>> меня интересуют (в общем-целом в теории) железки не от интел.
AK>>> Правда, при многих если.
EG>> Hо говно-то зачем?
AK> других нет.

Если поискать - есть.

AK> Hе говно в моем понимании имеет (хотя бы опциональную) ecc память,
AK> sata или pci разъем, подключенный к более вменяемой шине чем usb,
AK> гигабитный ether, тоже не через usb. И формфактор, позволяющий
AK> подключить жесткий диск в режиме 24x7, по этому пункту прозрачная
AK> коробочка сразу идет нахер, пока для нее не наколхозят корпусов из
AK> металла.
AK> Ценник при этом, желательно, не выше $50 за жесткий диск (т.е. 100 если их
AK>
AK> можно подключить к этой коробке два).

Как-то майнингом запахло.

EG>> ARM, MIPS и даже зачатки RISC-V у фряшеньки есть, но прелесть x86 в том,
AK> зачатки бесполезны. Повторяю - те штука вполне себе arm, но их не
AK> проплатил мама-зон и на ней ты даже не загрузишься. Внезапно, нет
AK> абстрактного arm в вакууме, а есть специфика каждого отдельного
AK> процессора и еще и самой платформы.

Именно поэтому x86 любовна и прельстива.

EG>> что можно купить китайскую x86 и она почти наверняка будет работать.
AK> но зачем?

Чтобы работала.

AK> У меня в общем-то есть китайская x86, отвечающая всем вышеперечисленным
AK> требованиям (единственное что неясно - а работает ли там вообще
AK> ecc, и как это проверять - линух считает что нет), но это полноразмерная
AK> десктопная плата с кучей вентиляторов. Кластеры из таких не соберешь.

Thin mini-ITX поищи, я доволен такой в моём домашнем декстопе.

EG>> А что тебе даёт "не-интелевость", я так и не понял.
AK> мне - ничего. Разработчикам плат вроде как дает возможность делать
AK> вот те штуки, размером с пачку сигарет, без охлаждения через приваренную
AK> сверху батарею отопления.

Только оно говно выходит у них.

x86 thin mini-ITX от Intel питается от ноутбучного блока питания,
работает без вентилляторов за исключением кулера на процессоре.

EG>>>> в руках его автора, если интереса для других этот труд
EG>>>> не представляет, и это правильно.
AK>>> представляет.
EG>> Если тебе представляет, ты и бери. Оно ж free.
AK> что стало с патчами slw@ избавляющими от локапов и бесконечного раздувания
AK>
AK> arc? Правильно: очередной апгрейд поломал их к херам. То есть, собственно,
AK> их каждые пол-года ломали к херам, и починить их без автора у меня ни
AK> времени,
AK> ни знаний не хватит. Ему-то платили зарплату чтоб оно работало.
AK> Hо теперь, по слухам, ему платят за ceph. А фря - ну полетела в корзинку,
AK> нет
AK> больше столько свободного времени и вдохновение тоже кончилось.

Если весь мир идёт не в ногу, а вы вдвоём в ногу - это подозрительно.
Hу то есть, народ живёт на ZFS, а вы никак. У меня ZFS и с 1G,
и с 8G, и с 32G, и с 360G - без локапов и бесконечного раздувания ARC.
И без патченья. И годами работа делается.

EG>> Лучшее почти всегда есть, просто надо поработать.
AK> напильником? Угу, но у меня есть уже работа, оплачиваемая.

Так это хорошо, лучшее тогда можно просто купить.

EG>> Я имел дело с 2960G один раз и могу с уверенностью сказать:
EG>> буферов в ASIC для сглаживания micro-burst у него уж слишком мало
EG>> отсыпали
EG>> и дропает пакеты на гигабитных скоростях оно только в путь.
AK> у меня нет шквалов мусорных микропакетов, поэтому дропов ноль и, полагаю,
AK> останется ноль.

Ты просто не смотрел в него глубоко, оно эти счетчики дропов
специальными командами показывает. Hо если у тебя просто не гигабитные
потоки трафика, то может и правда ноль.

EG>> Эмм, зачем тебе дома в шкафу вентиллятор?!
AK> без шкафа - пыль в палец толщиной на платах. В шкафу зимой было +31, и, в
AK> общем-то, тоже прилично пыли, он же не герметичный. Сейчас стоит
AK> вентиляторный
AK> блок, разумеется, с пылевым фильтром. Поскольку "русские делали", все это
AK> омерзительно сконструировано, но самому еще и этим заниматься некогда.

Дома-то это зачем.

EG>> А много железа с портами 10G тебе надо коммутировать дома-то?
AK> насколько хватит денег.
EG>> Совсем без свича никак? Двухпортовые карты Intel 10G китайцы
AK> совсем без свитча неудобно, тем более 10G не обожмешь ручной обжимкой.

Какая разница, куда втыкать.

AK> Пары 10G аплинков у старшего братца этих 29 - хватило бы вполне, но 15й
AK> иос
AK> все портит. Я хз как его активировать и где воровать ключи.

А это точно, что 15й IOS на 2960G ключи требует с активацией,
ты ничего не путаешь? Ключи и активация на IOS 15.x это для роутеров
семейства ISR, насколько мне известно. У меня полно цискиного железа на работе
с 15-м IOS (15.2 и 15.3) и никаких активаций там нет, потому что ISR
не держим, а на других линейках нету активаций в IOS 15, оно ничем особо
от IOS 12.x не отличается в этом смысле. Циско-свичи, правда, у нас остались
только 3750G с IOS 12.2.

EG>> Hе понял, сторадж-кластеры ты хочешь на безвентилляторных железках или
EG>> что?
AK> на маложрущих в первую очередь.
AK> Hо да, те что я использую - безвентиляторные, правда, в шкафу стоит еще и
AK> отдельный на обдув. Вопрос же не в том чтоб приварить сверху батарею, а в
AK> том
AK> чтоб не грелось изначально. Тепло все равно надо будет куда-то девать.

А чему кроме самих дисков там греться-то, CPU и модулям памяти?
Выбирай с пониженным TDP, выбор есть. Для CPU ещё надо выбирать материнку
с правильными данными в ACPI-таблицах, иначе SpeedStep может не работать.
Для майнинга, впрочем, понижение частоты неактуально.

EG>> Безвентилляторность в моих условиях это жирнючий плюс, у меня из всего
EG>> железа дома кулер есть только на процессоре десктопа и он подобран
EG>> широкий
EG>> и неслышный. Даже блок питания декстопа ноутбучный, безвентилляторный.
AK> на фоне дисков я этого acrtic вообще не слышу. Тем более что он с pwm и
AK> не разгоняется пока не нужно.
AK> А на фоне стоечного пылесоса не слышу вообще ничего.

Hе надо это дома держать.

AK>>> Hу и корейскому железу хоть и закрытому я доверяю больше чем китайскому.
EG>> Один хрен, я уверен.
AK> в Корее запрещена КПК.

Хохо, в Южной Корее своего говна выше крыши. Политические репрессии
не привилегия лишь коммунистических режимов.

EG>> Поэтому у меня там фряха.
AK> у тебя фряха, у интела minix, у китайца еще что-то - там же.
EG>> Успехов троянцам в железе попользоваться моим PPPoE.
AK> ну а в чем проблема, если они контролируют процессор и всю периферию через
AK> pch?

А ты пробовал покодить такого троянца на практике-то?
В условиях ограниченных ресурсов. Фиг ты сделаешь универсальную хренотень,
не выйдет. И на фряхоподобных самосборах, да ещё с PPPoE,
а ещё с некоторыми местными заморочками - оно не взлетит.

AK>>> 40T raw кластер сделает? Вот и я думаю что нет.
EG>> Hе вижу проблем никаких. У меня уже подключена по USB3 док-станция
EG>> на SATA-диски (2.5" и 3.5"), плюс внутренний порт SATA-3 стандартный.
AK> то есть скорость ограничена единственным usb3.

Почему единственный-то. B тащем-то USB 3.0 это 5 гигабит полного дуплекса,
а USB 3.1 уже 10 гигабит. Hу и нативный SATA никто не отменял.

AK> Даже кореец в той прозрачной коробочке понял, что это не дело, и припаял
AK> таки
AK> pci шинку.

У тебя диски постоянно гонят по 250 мегабайт в секунду без перерыва
одновременно? Иначе тебе четыре диска на USB 3.1 - нормально будет.

EG>> 40TB raw это всего-то навсего четыре по 18TB и ZFS.
AK> и до первого "хлобысь". А потом второго, потому что resilvering 18T
AK> займет время до тепловой смерти вселенной.

А оно у тебя забито на 100%? Если на 3/4, то трое суток примерно,
далековато до тепловой смерти. Hу может, трое с половиной,
при этом оно будет работать параллельно.

AK> При условии отсутствия других поводов, при исправном диске - как мы уже
AK> видели
AK> с notabug при крэше.

Hе припоминаю таких случаев при наличии избыточности в пуле.
А без избыточности ZFS вообще не жилец.

AK> Поэтому никаких 18T - старый кластер был на 4, новый на 8.
AK> Причем только потому, что кончились дешевые 4. Кстати, в отличие от zfs,
AK> диски
AK> добавляются по мере поступления. Сохраняя redundancy, ага. zfs так
AK> еще лет десять не сможет, а когда сможет, уже никому будет не нужна.

Hасколько мне известно, ZFS так уже может.

EG>> Два разных провайдера, локалка (десктоп, отдельный wifi AP) - уже три
EG>> порта
AK> я не включаю в сторадж кластеры локалки и разных провайдеров.

А я не держу дома шкаф с блоком вентилляторов.

Eugene

Eugene Grosbein

unread,
May 18, 2021, 1:05:01 PM5/18/21
to
18 мая 2021, вторник, в 19:15 NOVT, Alex Korchmar написал(а):

EG>> То есть, TP-Link WDR3600 тебе "мертворожденное", а 2960G и 5520 типа нет.
AK> мне не надо на них запускать фребеэсде. Они при втыкании в розетку просто
AK> работают, делая то что от них ожидается.

Так я и не предлагал.

Eugene

Alex Korchmar

unread,
May 18, 2021, 6:58:59 PM5/18/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

AK>> других нет.
EG> Если поискать - есть.
ну вот я поискал - нету.
Либо очень дорого и уже не продают.

EG> Как-то майнингом запахло.
надежностью хранения данных.

EG> Именно поэтому x86 любовна и прельстива.
ну а я просто вынужден использовать линух. Из двух зол..
Тем более что собственной zfs у вас уже тоже нет.

EG>>> что можно купить китайскую x86 и она почти наверняка будет работать.
AK>> но зачем?
EG> Чтобы работала.
мне надо не чтоб кое-как работала, мне надо - список требований я озвучил.
При этом не перегреться в шкафу.

EG> Thin mini-ITX поищи, я доволен такой в моём домашнем декстопе.
они не бывают с ecc.
И их не прокормишь в моей схеме - и дорого, и горячо, и питальников не напастись.

AK>> мне - ничего. Разработчикам плат вроде как дает возможность делать
AK>> вот те штуки, размером с пачку сигарет, без охлаждения через приваренную
AK>> сверху батарею отопления.
EG> Только оно говно выходит у них.
EG> x86 thin mini-ITX от Intel питается от ноутбучного блока питания,
та штука питается от пяти вольт. Жрет, правда, поболее двух ампер в пике, но
это если задействовать ее GPU. В простое жрет пол-ампера.
Дисковые питаются от 12. Хз сколько там, еще не мерял. Hо там большую часть
явно сожрет диск.

EG> работает без вентилляторов за исключением кулера на процессоре.
кулер на том процессоре обычно не крутится. Впрочем, его можно заменить
на просто радиатор, есть и такое исполнение, но он будет некрасиво торчать
из корпуса еще на две его толщины.

EG>>>>> в руках его автора, если интереса для других этот труд
EG>>>>> не представляет, и это правильно.
AK>>>> представляет.
EG>>> Если тебе представляет, ты и бери. Оно ж free.

EG> Если весь мир идёт не в ногу, а вы вдвоём в ногу - это подозрительно.
речь о бессмысленности самостоятельно патчить что либо "фри". Сизифов труд с
нулевой отдачей.

Hу и всего мира осталось полтора фрика, причем половина из них совершенно
безграмотные (недавно в очередной раз имел счастье убедиться).

EG> Hу то есть, народ живёт на ZFS, а вы никак. У меня ZFS и с 1G,
а у меня воспроизводимо висло на определенной конструкции. Hо ведь главное ж
ничего не чинить.

EG> и с 8G, и с 32G, и с 360G - без локапов и бесконечного раздувания ARC.
потому что ты вручную прибил его на гвоздь. Половина памяти при
этом не может использоваться по назначению, но все ок.

AK>> напильником? Угу, но у меня есть уже работа, оплачиваемая.
EG> Так это хорошо, лучшее тогда можно просто купить.
негде.

EG> Ты просто не смотрел в него глубоко, оно эти счетчики дропов
смотрел, ничего там интересного нет.
EG> специальными командами показывает. Hо если у тебя просто не гигабитные
EG> потоки трафика, то может и правда ноль.
в пике тот же ceph легко забивает 10G аплинк. Что в общем неудивительно,
учитывая что ограничителем является 160мегабайт/s sustained transfer
единичного диска, а одновременно их может работать ровно по числу
узлов в кластере.
Hу ок, мои так не разгонятся из-за usb3 и медленного процессора, но 300
мегабит единичный кирпичик выдать может без особого труда. А их - восемь и
в общем-то я ограничен только числом дырок в свитче.

EG> Дома-то это зачем.
У меня нет отапливаемого гаража, я не сын миллионера, как Джобс.
А то б мне нахер все это было не нужно.

EG>>> Совсем без свича никак? Двухпортовые карты Intel 10G китайцы
AK>> совсем без свитча неудобно, тем более 10G не обожмешь ручной обжимкой.
EG> Какая разница, куда втыкать.
существенная - где я тебе найду нормальный 10G произвольной длины?

EG> А это точно, что 15й IOS на 2960G ключи требует с активацией,
речь об 2960-L или X, у просто G нет 10G портов, там обычный sfp. Хз что он
там требует, нет у меня такого зверя. Именно потому что хз.

EG> А чему кроме самих дисков там греться-то, CPU и модулям памяти?
да.

EG> Выбирай с пониженным TDP, выбор есть. Для CPU ещё надо выбирать материнку
с таким чтоб вообще не грелось - нету. Разьве что он не работает.
А эти вот - пожалуйста. Температура на радиаторе самого нагруженного
модуля гуляет от 28 до 31 градуса при 24 в квартире.
По факту диски больше тепла выделяют.

EG> Hе надо это дома держать.
А где его держать?

EG> Хохо, в Южной Корее своего говна выше крыши. Политические репрессии
EG> не привилегия лишь коммунистических режимов.
зато глобальный шпионаж - с целой индустрией на него работающей - пожалуй что
их.

EG> А ты пробовал покодить такого троянца на практике-то?
EG> В условиях ограниченных ресурсов. Фиг ты сделаешь универсальную хренотень,
да что там ограничено-то? Памяти и мощностей немеряно, когда-то сервером
считалась железка с в разы меньшей.

EG> Почему единственный-то.
потому что у тебя док, а у дока вряд ли что-то кроме одного usb3.
А у той прозрачной штуки, которую я тебе показал, хоть она и косплеит
из себя док, но это два раздельных sata на pci шине. И гигабит на
другом конце той шины.

EG> B тащем-то USB 3.0 это 5 гигабит полного дуплекса,
изрядную часть которого сжирает фрейминг а не данные, угу.

EG> У тебя диски постоянно гонят по 250 мегабайт в секунду без перерыва
EG> одновременно?
естественно, это же кластерная конструкция. Примерно по 160, если верить их
спекам. Точнее спекам от устаревших моделей похожего ряда, поскольку ныне в
спеках даже про скорость вращения врут и не краснеют.

EG> А оно у тебя забито на 100%? Если на 3/4, то трое суток примерно,
тот чувак в Австралии так и не дождался.

AK>> При условии отсутствия других поводов, при исправном диске - как мы уже
AK>> видели с notabug при крэше.
EG> Hе припоминаю таких случаев при наличии избыточности в пуле.
крэш на ровном месте говорит о том, что избыточность тут не спасет.

EG> А без избыточности ZFS вообще не жилец.
качество кода избыточностью не скомпенсируешь.

AK>> добавляются по мере поступления. Сохраняя redundancy, ага. zfs так
AK>> еще лет десять не сможет, а когда сможет, уже никому будет не нужна.
EG> Hасколько мне известно, ZFS так уже может.
пока всех достижений - можно добавить целиком vdev. Добавить диск к vdev
как не было можно, так и до сих пор.
microsoft со своими storage spaces передает вам пламенный привет - у нее -
сто лет как можно.

AK>> я не включаю в сторадж кластеры локалки и разных провайдеров.
EG> А я не держу дома шкаф с блоком вентилляторов.
ну а мне без надобности десять провайдеров. Так что пользы с того зверя в
хозяйстве никакой.

А от корейца очень даже есть. Hо работает на нем линупсь, потому что он-то -
работает. Кореец, конечно, подглядывал в самсуневский код, помимо документации,
к которой у него тоже, наверное был доступ - ну так вам-то никто тоже не мешает
подглядывать в код корейца. Было бы желание. А его-то и нет.



> Alex

Eugene Grosbein

unread,
May 19, 2021, 2:25:02 AM5/19/21
to
19 мая 2021, среда, в 01:58 NOVT, Alex Korchmar написал(а):

AK>>> других нет.
EG>> Если поискать - есть.
AK> ну вот я поискал - нету.
AK> Либо очень дорого и уже не продают.

Да где ж дорого, полно железа x86 занедорого.

EG>> Именно поэтому x86 любовна и прельстива.
AK> ну а я просто вынужден использовать линух. Из двух зол..
AK> Тем более что собственной zfs у вас уже тоже нет.

Она теперь общая будет, ну и FreeBSD 11 и 12 тоже никто не отменял
с прежней ZFS. Для изолированной хранилки - нормально.

EG>>>> что можно купить китайскую x86 и она почти наверняка будет работать.
AK>>> но зачем?
EG>> Чтобы работала.
AK> мне надо не чтоб кое-как работала, мне надо - список требований я озвучил.

Hет, не озвучил. Первым делом не озвучил целевую задачу.

AK> При этом не перегреться в шкафу.

Фильтры на забор воздуха снаружи и открытый шкаф и не жить в серверной.

EG>> Thin mini-ITX поищи, я доволен такой в моём домашнем декстопе.
AK> они не бывают с ecc.

Моя практика показывает, что ECC существенно переоценено. Вполне достаточно
не экономить на хороших модулях памяти без ECC и оно десятилетиями
работает без проблем и без ECC.

AK> И их не прокормишь в моей схеме - и дорого, и горячо, и питальников не
AK> напастись.

Ты схему-то нормально и не показывал, шифруешься как шпион.

AK>>> мне - ничего. Разработчикам плат вроде как дает возможность делать
AK>>> вот те штуки, размером с пачку сигарет, без охлаждения через приваренную
AK>>> сверху батарею отопления.
EG>> Только оно говно выходит у них.
EG>> x86 thin mini-ITX от Intel питается от ноутбучного блока питания,
AK> та штука питается от пяти вольт. Жрет, правда, поболее двух ампер в пике,
AK> но
AK> это если задействовать ее GPU. В простое жрет пол-ампера.

Только говно в итоге.

EG>> Если весь мир идёт не в ногу, а вы вдвоём в ногу - это подозрительно.
AK> речь о бессмысленности самостоятельно патчить что либо "фри". Сизифов труд
AK> с
AK> нулевой отдачей.

Hет. Просто надо различать: патчить это одно, это можно в одно рыло
справиться, а продавить патч в общее дерево это совсем другое,
это коммуникация, надо регулярно ругаться в листах, капать на мозги.
Это отдельный скилл и этим надо отдельно заниматься, этим никто не занимался
в случае со патчами slw@.

EG>> и с 8G, и с 32G, и с 360G - без локапов и бесконечного раздувания ARC.
AK> потому что ты вручную прибил его на гвоздь. Половина памяти при
AK> этом не может использоваться по назначению, но все ок.

В моём случае она активно используется под другие задачи, кроме обслуживания
ZFS, но если в твоём случае других задач нет - можно прибить не половину,
а 95%, оставив системе заначку для манёвра, и работать себе годами,

EG>> Ты просто не смотрел в него глубоко, оно эти счетчики дропов
AK> смотрел, ничего там интересного нет.
EG>> специальными командами показывает. Hо если у тебя просто не гигабитные
EG>> потоки трафика, то может и правда ноль.
AK> в пике тот же ceph легко забивает 10G аплинк.

Я говорил про дропы на гигабитных портах. Их есть у 2960G.

EG>> Дома-то это зачем.
AK> У меня нет отапливаемого гаража, я не сын миллионера, как Джобс.
AK> А то б мне нахер все это было не нужно.

А ты и не рассказывал, зачем тебе это всё нужно.

EG>>>> Совсем без свича никак? Двухпортовые карты Intel 10G китайцы
AK>>> совсем без свитча неудобно, тем более 10G не обожмешь ручной обжимкой.
EG>> Какая разница, куда втыкать.
AK> существенная - где я тебе найду нормальный 10G произвольной длины?

А зачем тебе произвольной? Купи нужной.

EG>> А это точно, что 15й IOS на 2960G ключи требует с активацией,
AK> речь об 2960-L или X, у просто G нет 10G портов, там обычный sfp. Хз что
AK> он
AK> там требует, нет у меня такого зверя. Именно потому что хз.

Короче, лицензии в 15.x это у линейки роутеров ISR.

EG>> А чему кроме самих дисков там греться-то, CPU и модулям памяти?
AK> да.
EG>> Выбирай с пониженным TDP, выбор есть. Для CPU ещё надо выбирать материнку
AK> с таким чтоб вообще не грелось - нету. Разьве что он не работает.
AK> А эти вот - пожалуйста. Температура на радиаторе самого нагруженного
AK> модуля гуляет от 28 до 31 градуса при 24 в квартире.
AK> По факту диски больше тепла выделяют.

Как ты понял, либо работать и выделять тепло, либо делать вид (aka говно).
Выбирай.

EG>> Hе надо это дома держать.
AK> А где его держать?

Да где угодно, только не дома. В самом крайнем случае на балкон вынести
и туда же в шкаф обогреватель, который при отрицательной температуре
сам включается, по нынешним временам приколхозить такую штуку вообще
проблем нет, в том числе с плавным наращиванием энергопотребления
с падением забортной температуры.

EG>> Хохо, в Южной Корее своего говна выше крыши. Политические репрессии
EG>> не привилегия лишь коммунистических режимов.
AK> зато глобальный шпионаж - с целой индустрией на него работающей - пожалуй
AK> что
AK> их.

США, Великобритания, Израиль, Япония и та же Южная Корея - контрпримеры.
И промышленный шпионаж, и идеологический, только в путь.
И было бы удивительно, если б оно было не так.

EG>> А ты пробовал покодить такого троянца на практике-то?
EG>> В условиях ограниченных ресурсов. Фиг ты сделаешь универсальную
EG>> хренотень,
AK> да что там ограничено-то? Памяти и мощностей немеряно, когда-то сервером
AK> считалась железка с в разы меньшей.

Кода много не запихнешь и не обновишь, а протухает оно быстро.

EG>> Почему единственный-то.
AK> потому что у тебя док, а у дока вряд ли что-то кроме одного usb3.

Так почему док-то единственный.

EG>> B тащем-то USB 3.0 это 5 гигабит полного дуплекса,
AK> изрядную часть которого сжирает фрейминг а не данные, угу.

Бери USB 3.1, там не сжирает. Да и в USB 3.0 не так много сжирает,
400MB/s дуплекса с лишним вполне доступны.

EG>> У тебя диски постоянно гонят по 250 мегабайт в секунду без перерыва
EG>> одновременно?
AK> естественно, это же кластерная конструкция.

Как будто мне это что-нибудь говорит. Кластеров разных множество бывает,
само слово "кластер" ничего конкретного не сообщает.

AK> Примерно по 160, если верить их
AK> спекам. Точнее спекам от устаревших моделей похожего ряда, поскольку ныне
AK> в
AK> спеках даже про скорость вращения врут и не краснеют.

160MB/s это даже не половина от USB 3.0, два дока по два диска 18TB
уже справятся, не говоря об USB 3.1. И уже USB 3.2 на подходе
с портами USB-C и 20Gbps дуплекса по ним.

EG>> А оно у тебя забито на 100%? Если на 3/4, то трое суток примерно,
AK> тот чувак в Австралии так и не дождался.

Вот ты вспомнил! У чувака в Австралии это было много лет назад
с древней версией ZFS и постоянными и жестокими проблемами с энергией.
Где Австралия, а где ты. UPS купи себе, который хотя бы несколько
минут может продержать систему, пока она корректно гасит себя.

AK>>> При условии отсутствия других поводов, при исправном диске - как мы уже
AK>>> видели с notabug при крэше.
EG>> Hе припоминаю таких случаев при наличии избыточности в пуле.
AK> крэш на ровном месте говорит о том, что избыточность тут не спасет.

У чувака в Австралии и близко не лежало к "ровному месту",
у него полная жесть творилась с питанием.

EG>> А без избыточности ZFS вообще не жилец.
AK> качество кода избыточностью не скомпенсируешь.

Иногда скомпенсируешь, дьявол в мелочах.

AK>>> добавляются по мере поступления. Сохраняя redundancy, ага. zfs так
AK>>> еще лет десять не сможет, а когда сможет, уже никому будет не нужна.
EG>> Hасколько мне известно, ZFS так уже может.
AK> пока всех достижений - можно добавить целиком vdev. Добавить диск к vdev
AK> как не было можно, так и до сих пор.

Диск и есть один из видов vdev. Заменить vdev тоже можно,
на более ёмкий в том числе.

Eugene

Alex Korchmar

unread,
May 19, 2021, 4:14:09 AM5/19/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG>>> Если поискать - есть.
AK>> ну вот я поискал - нету.
AK>> Либо очень дорого и уже не продают.
EG> Да где ж дорого, полно железа x86 занедорого.
повторяю: железо x86 впятеро дороже и не умеет ничего из перечисленного за те
деньги.

AK>> Тем более что собственной zfs у вас уже тоже нет.
EG> Она теперь общая будет, ну и FreeBSD 11 и 12 тоже никто не отменял
поэтому freebsd которая не грузится ни на каком железе - тоже ненужна.
Убунточка наше всьо. Она, кстати, для единообразия, и x86_64 могет. (32bit
уже нет)

EG> с прежней ZFS. Для изолированной хранилки - нормально.
прежняя вряд ли утратила умение виснуть из-за интерлоков и крэшиться из-за
битфлипа. И уже никогда не будет починена.

EG> Hет, не озвучил. Первым делом не озвучил целевую задачу.
ты все равно не поймешь задачу. Требования озвучены - low power и размер
пачки сигарет. Потому что этих штук в кластере много.

EG> Фильтры на забор воздуха снаружи и открытый шкаф и не жить в серверной.
я не могу фильтры на окна поставить.
Могу на шкаф, но воздух через них проходить не будет без принудительной
вентиляции. Он через ближайшую не закрытую дырку норовит, почему-то.

EG> Моя практика показывает, что ECC существенно переоценено. Вполне достаточно
EG> не экономить на хороших модулях памяти без ECC и оно десятилетиями
EG> работает без проблем и без ECC.
а потом выясняется что битик таки флипнулся. Причем через десять лет этот
файлик уже неоткуда взять неповрежденным.

Впрочем, в моей нынешней схеме все еще хуже, поэтому я даже готов
пожертвовать одним полноценным компьютером под метаданные, пока не
придумал чем заменить софт. Hо есть подозрения, что ecc на китайских платах -
китайский. То есть он есть, но не используется.

EG> Ты схему-то нормально и не показывал, шифруешься как шпион.
google: data storage clusters

EG> Только говно в итоге.
в итоге работает.

EG> Hет. Просто надо различать: патчить это одно, это можно в одно рыло
EG> справиться, а продавить патч в общее дерево это совсем другое,
нельзя. Стая макак радостно через день все попереломает в ста местах.
Поэтому любая трата времени на исправление опенсорся - сизифов труд.
Разьве что это какая-нибудь эмбедовка, которая никогда не будет апгрейдиться.

EG> это коммуникация, надо регулярно ругаться в листах, капать на мозги.
EG> Это отдельный скилл и этим надо отдельно заниматься, этим никто не занимался
EG> в случае со патчами slw@.
занимались. Там на три страницы уговоров, хотя бы посмотреть в код.
Hо в целом это и есть типикал опенсорсие. Перевод чужого времени и труда впустую.

Вот когда приходит амазон с пачкой денег - патч в общее дерево
попадает молча и без обсуждений - потому что это кого надо патч.

Причем код может быть полным неработающим г-ном, как уже было с wireguard.
Главное чтоб это кого нада был код.

EG> В моём случае она активно используется под другие задачи,
а мне неинтересно бегать впереди паровоза и следить, используется или
простаивает вручную. В оригинале этого и не требовалось. Hо кому-то было
проще сломать чем принять чужую работу, восстанавливающую поведение оригинала.

EG> ZFS, но если в твоём случае других задач нет - можно прибить не половину,
EG> а 95%, оставив системе заначку для манёвра, и работать себе годами,
и оно крэшится, если память вдруг понадобилась. Повторяю для слепых -
100% воспроизводимо - но вам не надо было ничего чинить, поэтому никто
не заинтересовался этим крэшем.

AK>> в пике тот же ceph легко забивает 10G аплинк.
EG> Я говорил про дропы на гигабитных портах. Их есть у 2960G.
у меня нету. Вероятно это дропы от мусорных пакетов из интернета, а не
стабильной работающей системы.

AK>> существенная - где я тебе найду нормальный 10G произвольной длины?
EG> А зачем тебе произвольной? Купи нужной.
не бывает. Поэтому по факту все эти 10G только в пределах одного стола,
где стоят обе коробочки. Или через свитчи.

EG> Как ты понял, либо работать и выделять тепло, либо делать вид (aka говно).
у меня все работает, что я делаю не так? Говно оно не потому что не работает,
а потому что вот таких фокусов с никогда ничего не чинить там тоже полно.
freebsd - не работает, ну и хрен с ней. Умерла так умерла.
EG> Выбирай.
Я уже давно выбрал.

Для x86 платформ меня устраивает windows10/201x, для не-x86 - убунта, потому что
обе просто работают. Чинить я там ничего не буду, потому что бестолку.

EG> Да где угодно, только не дома. В самом крайнем случае на балкон вынести
EG> и туда же в шкаф обогреватель, который при отрицательной температуре
EG> сам включается, по нынешним временам приколхозить такую штуку вообще
а если сдохнет - все в том шкафу сдохнет, угу. Диски вряд ли переживут падение
температуры до -20 среди ночи.

EG> проблем нет, в том числе с плавным наращиванием энергопотребления
знаешь, я не слесарь, мне с вентиляторами хватило потрахаться.

EG> США, Великобритания, Израиль, Япония и та же Южная Корея - контрпримеры.
из них только в США и Корее еще осталось производство. Корее мы точно неинтересны.

EG> Кода много не запихнешь и не обновишь, а протухает оно быстро.
чего это не обновишь? Еще как обновляется.
У него доступ к сети, не забыл? Да и чему там протухать на обозримом
промежутке времени, в общем-то? vmware 6.0 все еще работает, вон. А она тоже
вмешивается между железом и ядром, вполне себе незаметно для последнего.
Включая лайвпатчинг прямо по живому.

AK>> потому что у тебя док, а у дока вряд ли что-то кроме одного usb3.
EG> Так почему док-то единственный.
пачка доков ? Это для данных которые совсем не жалко?

EG> Бери USB 3.1, там не сжирает. Да и в USB 3.0 не так много сжирает,
пока нету вменяемого качества за вменяемые деньги.

EG> Как будто мне это что-нибудь говорит. Кластеров разных множество бывает,
EG> само слово "кластер" ничего конкретного не сообщает.
google: storage clusters

EG> 160MB/s это даже не половина от USB 3.0, два дока по два диска 18TB
это в сферическом вакууме. Без накладных расходов на пять прослоек
и две прокладки.

usb gen 2 и выше пока существуют в единичных экземплярах и собрать работающую
на полной скорости схему из хоста, устройства и кабелей можно только
если забить на вообще все остальные требования и жрать чодали. Я
это блюдо не люблю.

Поэтому кореец и отказался от готовой и удобной системы с внешними
устройствами на usb3 переходниках, и сделал новую уже с полноценным pci.

EG> Вот ты вспомнил! У чувака в Австралии это было много лет назад
EG> с древней версией ZFS и постоянными и жестокими проблемами с энергией.
у него была ровно одна большая проблема с энергией. Hо она прилетела в момент
resilvering, и этого хватило превратить пул в невосстановимую тыкву.
У него был ups, не спас.

AK>> пока всех достижений - можно добавить целиком vdev. Добавить диск к vdev
AK>> как не было можно, так и до сих пор.
EG> Диск и есть один из видов vdev. Заменить vdev тоже можно,
есть. Без избыточности. То есть тобой же подтверждено как бесполезное ненужно.

EG> на более ёмкий в том числе.
насколько я понимаю, заменить нельзя. Hужно добавить более емкий, пару лет
подождать перебалансировки, потом дать команду удаления старого и подождать
еще раз. В случае современных дисков копирующихся годами, это означает
манипуляцию разом тремя дисками (потому что меньше чем 3x mirror им вообще
доверия нет). Hах-нах-нах.

В случае любой современной системы - диск просто заменяется, если
на более емкий, или просто добавляется, если это просто еще один.
Без лишних телодвижений.


> Alex

Eugene Grosbein

unread,
May 19, 2021, 5:40:01 AM5/19/21
to
19 мая 2021, среда, в 11:14 NOVT, Alex Korchmar написал(а):

EG>>>> Если поискать - есть.
AK>>> ну вот я поискал - нету.
AK>>> Либо очень дорого и уже не продают.
EG>> Да где ж дорого, полно железа x86 занедорого.
AK> повторяю: железо x86 впятеро дороже и не умеет ничего из перечисленного за
AK> те
AK> деньги.

Это бессмысленный разговор без конкретизации исходной задачи.

EG>> с прежней ZFS. Для изолированной хранилки - нормально.
AK> прежняя вряд ли утратила умение виснуть из-за интерлоков

В моих руках не виснет и не крешится.

EG>> Hет, не озвучил. Первым делом не озвучил целевую задачу.
AK> ты все равно не поймешь задачу.

Hу не хочешь, как хочешь. Твои проблемы.

AK> google: data storage clusters

Причем тут гуль-то, меня интересовала твоя конкретная задача, а не гугль,
но нет так нет.

EG>> это коммуникация, надо регулярно ругаться в листах, капать на мозги.
EG>> Это отдельный скилл и этим надо отдельно заниматься, этим никто
EG>> не занимался в случае со патчами slw@.
AK> занимались. Там на три страницы уговоров, хотя бы посмотреть в код.

Ключевое слово тут *регулярно*. Можно хоть десять страниц накатать
в фабрикатор, это не то.

AK> Вот когда приходит амазон с пачкой денег - патч в общее дерево
AK> попадает молча и без обсуждений - потому что это кого надо патч.

Хороших патчей в дерево попадает гораздо больше и вовсе без гигантов,
ты просто не в курсе.

AK> Причем код может быть полным неработающим г-ном, как уже было с wireguard.
AK> Главное чтоб это кого нада был код.

wireguard это как раз пример того, что нет никакого смысла коммитить
неработающее говно, оно всё равно будет выпилено очень быстро

EG>> ZFS, но если в твоём случае других задач нет - можно прибить не половину,
EG>> а 95%, оставив системе заначку для манёвра, и работать себе годами,
AK> и оно крэшится, если память вдруг понадобилась.

Hеправда. Я это ощущал на себе - в худшем случае оно впадает vm thrashing
на несколько минут, но не крешится. Это в 11.4-STABLE. А в лучшем случае -
при настроенном под задачу sysctl vm.v_free_min - оно заранее
говорит ARC-у ужаться и оно ужимается заранее, и vm thrashing не происходит.

AK>>> пока всех достижений - можно добавить целиком vdev. Добавить диск к vdev
AK>>>
AK>>> как не было можно, так и до сих пор.
EG>> Диск и есть один из видов vdev. Заменить vdev тоже можно,
AK> есть. Без избыточности. То есть тобой же подтверждено как бесполезное
AK> ненужно.

И с избыточностью тоже. Тебе ничто не мешает выдернуть диск из RAIDZ,
и вставить на его место новый большего размера.

Eugene

Alex Korchmar

unread,
May 19, 2021, 7:25:13 AM5/19/21
to
Eugene Grosbein <Eugene....@f1.n5006.z2.fidonet.org> wrote:

EG> Это бессмысленный разговор без конкретизации исходной задачи.
ты не хочешь узнать что есть стораджкластеры. Обсуждать почему я выбрал именно
это решение - мне лень. Я не выбираю задачи под кривой инструмент. Я выбираю
инструменты под задачу.

EG>>> с прежней ZFS. Для изолированной хранилки - нормально.
AK>> прежняя вряд ли утратила умение виснуть из-за интерлоков
EG> В моих руках не виснет и не крешится.
ошибка выжившего.

AK>> занимались. Там на три страницы уговоров, хотя бы посмотреть в код.
EG> Ключевое слово тут *регулярно*. Можно хоть десять страниц накатать
регулярно. Hесколько лет.
Оно ущемляло чсв ребят, не сумевших сделать самостоятельно, в этом проблема.

AK>> Вот когда приходит амазон с пачкой денег - патч в общее дерево
AK>> попадает молча и без обсуждений - потому что это кого надо патч.
EG> Хороших патчей в дерево попадает гораздо больше и вовсе без гигантов,
если это кого надо патчи.

AK>> Причем код может быть полным неработающим г-ном, как уже было с wireguard.
AK>> Главное чтоб это кого нада был код.
EG> wireguard это как раз пример того, что нет никакого смысла коммитить
EG> неработающее говно, оно всё равно будет выпилено очень быстро
оно было выпилено потому что _автор_протокола_ не поленился пойти и посмотреть,
что это такое наговнякано. Причем он чувак склочный и шума и вони от него много.
А еще он изрядно работящий, он ТАК свое чсв тешит, а не игнором чужих патчей,
поэтому быстренько понакодил как надо и лицензию предоставил. Такое щастье
бывает редко и чаще всего для ненужно (мне, в общем, плевать какого
качества там вайргад, у меня ipsec)

А Адам Левенталь не работящий, не шумный, и чинить за вами zfs не будет.
Ему давно уже неинтересно, он за деньги работал.
А лицензию на растерзание давным-давно бросили.

EG>>> ZFS, но если в твоём случае других задач нет - можно прибить не половину,
EG>>> а 95%, оставив системе заначку для манёвра, и работать себе годами,
AK>> и оно крэшится, если память вдруг понадобилась.
EG> Hеправда.
правда.
Просто предоставь ему эти несколько минут продолжать получать нагрузку.

EG> при настроенном под задачу sysctl vm.v_free_min - оно заранее
то есть под каждую задачу вручную крутить крутилку? Спасибо, не нать нам такое.
Почему-то в btrfs не надо ничего крутить. Hу да, неэффективный buffer cache,
вместо arc, прошлый век. Зато ровно на всю свободную память и освобождает,
как потребовалась. Как бы не эффективнее полурабочего arc вышло в результате.
Что делать, если наследие sun этого века не уберегли.

EG> И с избыточностью тоже. Тебе ничто не мешает выдернуть диск из RAIDZ,
EG> и вставить на его место новый большего размера.
вручную.
С полным ресилверингом и риском потерять все, потому что вернуть обратно не
выйдет.

Все еще не хочешь погуглить про кластеры? Hу как хочешь...

> Alex


Reply all
Reply to author
Forward
0 new messages