pikkupalvelimen levyjärjestelmä

[Juhani Varemo]

Rakentelen tässä pientä puuhasteluserveriä.
Pitäisi valita jokin raid5-tason levyratkaisu.

Eli ilmeisesti joku seuraavista:

- dm-raid + LVM
- rauta-raid
- zfs (raidz) for linux

Onko raadilla näkemyksiä mikä olisi fiksu?
Oma näkemykseni alkaa painottua tuon zfs:n puolelle. Tässä tapauksessa z-
poolilta ei tarvitse kyetä boottaamaan eli kyse on puhtaasti KVM:n
virtuaalikoneiden käyttöön tulevasta leytilasta.

Zfs tuntuisi yksinkertaistavan asioita, raid5 + LVM tavallaan yhdessä
kompaktissa paketissa. Mutta onko tuossa käytännössä joku piilevä ongelma
tiedossa?
Kokeeksi tuossa virittelin CentOS 7:ään zfs-tuen ja tuntuisi toimivan.
Mitenkähän noiden eri ratkaisujen suorituskyky menee?


<juhani>

[Antti Louko]

Juhani Varemo wrote:

> Zfs tuntuisi yksinkertaistavan asioita, raid5 + LVM tavallaan yhdessä
> kompaktissa paketissa. Mutta onko tuossa käytännössä joku piilevä ongelma
> tiedossa?
> Kokeeksi tuossa virittelin CentOS 7:ään zfs-tuen ja tuntuisi toimivan.
> Mitenkähän noiden eri ratkaisujen suorituskyky menee?

Mikset sitten saman tien käytä FreeBSD:tä ZFS:n kanssa?

Ainakin VirtualBoxin pitäisi toimia hostina. bhyve on uudempi härveli ja rajoittuneempi guestien osalta.

https://www.freebsd.org/doc/handbook/virtualization.html

FreeBSD on killeri siinä suhteessa, että _ihan koko härvelin_ kerneleineen varusohjelmistoineen voi helposti kääntää
itse lähdekoodista. Tietää sitten ainakin mitä ajaa.

[Juhani Varemo]

Antti Louko wrote:

> Mikset sitten saman tien käytä FreeBSD:tä ZFS:n kanssa?

Varmaan pääosin siksi että tunne sitä riittävän hyvin. Ylläpito ja
säätäminen todennäköisesti eroavat RHEL-maailmasta jonkinverran. Joka sekin
tuntuu muuttuneen riittävästi parin major-version aikana. Suurin osa
virtuaalikoneista on myös CentOS:seja joten on mulle helpompaa kun temput
ja systeemit ovat samat kaikissa.

On tuossa pyörinyt vuosia FreeNAS (FreeBSD) ja sen zfs. Se jakaa nyt
iSCSI:lla nippua levyjä vSphere-koneelle. Mutta siinä ei ole ollut kovin
paljoa säätämistä, suhteellisen valmiiksi mietitty paketti kun on eikä sen
tarvitse tehdä tuossa mitään muuta kuin tarjota levyä. Yhdistelmä tilttaa
noin 2 kertaa vuodessa iscsi-virheeseen. Tiedä sitten missä välissä ongelma
luuraa, koneiden verkkoporteissa, ajureissa, jossain. Toisinaan tuossa
välissä verkkoliikenne on kohtuullisen vilkastakin, hieman käytöstä
riippuen. vSpherellä pyörii nyt kymmenkunta virtuaalikonetta koko ajan,
tulevaisuudessa saattaa tulla jopa joku lisää.

> Ainakin VirtualBoxin pitäisi toimia hostina. bhyve on uudempi härveli ja
> rajoittuneempi guestien osalta.

Taidan nyt toistaiseksi pysyä KVM:ssä. Haluan verrata sen suoritukykyä
vmwareen, ja pääsen samalla harjoittelemaan ja tutustumaan tätä raskaampien
systeemien ylläpito- ja muihin palikoihin.

> FreeBSD on killeri siinä suhteessa, että _ihan koko härvelin_
> kerneleineen varusohjelmistoineen voi helposti kääntää
> itse lähdekoodista. Tietää sitten ainakin mitä ajaa.

Edellyttäen että jaksaisi tarkastaa ja YMMÄRTÄÄ ne sorsat :-))
Vaikka joku olisi piilottanut taitavasti jonnekin kernelin sorsan uumeniin
täydellisen liikenteen kloonauksen Pohjois-Koreaan, niin tuskin minä sitä
sieltä huomaisin jos se olisi fiksusti tehty. Tuskin siellä olisi
kommenttiriviä jossa sanottaisiin FOLLOWING INTENTIONALLY COMPLEX CODE
CLONES ALL DATA TO BOTNET... :-(

Arvostan kyllä FBSD:n korkealle, tässä kohdin epäilen vain omaa
osaamistani.


<juhani>

[Ari Saastamoinen]

Juhani Varemo <juh...@kuivanto.fi> writes:

> - dm-raid + LVM
> - rauta-raid
> - zfs (raidz) for linux

Toi zfs ei oo vakiokerneleissä (kai?) mukana, niin ehkä kääntyisin sen
sijaan mielummin btrfs:n puoleen. Se tekee suunnilleen samat asiat
kuin zfs:kin.

> Zfs tuntuisi yksinkertaistavan asioita, raid5 + LVM tavallaan yhdessƤ
> kompaktissa paketissa. Mutta onko tuossa kƤytƤnnƶssƤ joku piilevƤ ongelma
> tiedossa?

Käytätkö tuossat LVM+raid ratkaisussasi MD raidia vai LVM:ssä olevaa
raidausjuttua? En tiä koskeeko Raid5:ttä, mutta ainakin raid1:sen
kanssa MD:ssä on sellainen potentiaalinen ongelma, että se ei
checksummaa datablokkeja, ja jos levy hajoaa sillain, että se antaa
välillä väärää dataa ulos, mutta ei putoa pois raidista, niin toi
saattaa potentiaalisesti roskata muidenkin groupissa olevien levyjen
sisältöä. Itselleni ei kylläkään oo ikinä noin käynyt (ainakaan
tietääkseni :)

Rautaraidista pitää sitten kattoa sellainen kontrolleri, jollaisen saa
varaosana vielä koko koneen käyttöajan, tai sitten valita sellainen,
jonka levyjä osaa joku järjestelmä lukea ilman ko. kontrolleriakin.

--
Arzka oh3mqu+...@hyper.fi - En halua follareita mailina
1. Valitse sopiva paikka, ei ihmisten tai rakennusten lahella, jossa
paukku voi aiheuttaa hairiota. - Iso-Kiinalaisen kayttoohje

[Antti Louko]

Ari Saastamoinen wrote:
> Juhani Varemo <juh...@kuivanto.fi> writes:
>
>> - dm-raid + LVM
>> - rauta-raid
>> - zfs (raidz) for linux
>
> Toi zfs ei oo vakiokerneleissä (kai?) mukana, niin ehkä kääntyisin sen
> sijaan mielummin btrfs:n puoleen. Se tekee suunnilleen samat asiat
> kuin zfs:kin.

No juu ei tee:

https://rudd-o.com/linux-and-free-software/ways-in-which-zfs-is-better-than-btrfs

Voi tietenkin olla, että jotkin asiat tuossa ovat btrfs:n osalta parantuneet. Mutta ZFS:llä on pidempi ja parempi track
record.

ZFS:llä saa tarvittaessa helposti myös lisäredundanssia RAID6:n kaltaisella konfiguraatiolla. Lisää aiheesta mm. täällä:

http://richardhartmann.de/blog/posts/2012/02/RAID-sucks/

FreeBSD:tä varovasti ehdotin virtalisointialustaksi tässä tapauksessa natiivi-ZFS-tuen takia. Voi olla, että kysyjälle
on kuitenkin hänen reunaehdoillaan luontevampi jokin Linux-distro siihenkin paikkaan.

[Juhani Varemo]

Ari Saastamoinen wrote:


>> - dm-raid + LVM
>> - rauta-raid
>> - zfs (raidz) for linux

> Käytätkö tuossat LVM+raid ratkaisussasi MD raidia vai LVM:ssä olevaa
> raidausjuttua? En tiä koskeeko Raid5:ttä, mutta ainakin raid1:sen
> kanssa MD:ssä on sellainen potentiaalinen ongelma, että se ei
> checksummaa datablokkeja, ja jos levy hajoaa sillain, että se antaa
> välillä väärää dataa ulos, mutta ei putoa pois raidista, niin toi
> saattaa potentiaalisesti roskata muidenkin groupissa olevien levyjen
> sisältöä. Itselleni ei kylläkään oo ikinä noin käynyt (ainakaan
> tietääkseni :)

MD:tä lähinnä ajattelin, juu. Minulla ei ole tuosta suurempaa kokemusta,
mutta FreeNASin zfs on ainakin ollut levyjen suhteen täysin ongelmaton.

Näissä alkaa olla niin monta kombinaatiota ja mahdollisuutta että kaikkia
mahdollisuuksia ei tule heti edes ajatelleeksi.

> Rautaraidista pitää sitten kattoa sellainen kontrolleri, jollaisen saa
> varaosana vielä koko koneen käyttöajan, tai sitten valita sellainen,
> jonka levyjä osaa joku järjestelmä lukea ilman ko. kontrolleriakin.

Ja lisäksi vielä muistaa että RAID ei korvaa varmuuskopioita.

Minusta tuntuu että zfs ja sen raidz1/2 korvaa tällä hetkellä edullisen
(=hitaan) rauta-raidin täysin, siinä on vaan yksi vikaantumismahdollisuus
vähemmän. Raudasta ei ole kokemusta kuin 3waresta ja Arecasta, noiden
kortit ovat toimineet toistaiseksi.

Btrfs on mulle 'uusi', olen sen toki nähnyt jonkin distron yhtenä fs-
vaihtoehtona. En ole koskaan kokeillut, piti ihan googlata tarkemmin.
Ilmeisesti Oraclen kehittämä ennen kuin saivat Sunin mukana zfs:n.

Tieto lisää tuskaa :-)


<juhani>

[uns...@gmail.com]

Edellisessä elämässä ruuvailin aikapaljon palvelimia, lähinnä DB-servereitä ja levyjärjestelmiä.

Suosittelen rautaraidia.

Käpistelin lähinnä HP-rautaa ja siinä olevia levyjä jotka oli rautaraidin takana sekä osassa kuitu yhteykssissä EMC levyjärjestelmiin.
Nämä oli sekä RHEL ja CetOs ja Win käyttöjärjestelmällä.

Sitten oli Solaris10 jonka käyttis oli zfs ja molemmat os levyt aina softaraidina, mikä tehtiin siinä installoinnissa ja dataraw levyjärjestelmillä.
Niissä oli raid 5 ja 1/0.
Nopeuseroja ei havaittu sanottavasti, oli sitten raid 1/0 tai raid5.

Levyjä paukkui rikki ja oli helppo vaihtaa kun ne oli rautaraidin takana. Palvelimiin oli merkitty aina miten raidi oli tehty, mitä levyt ym.

Näitä LVM ym. ei edes harkittu silloisessa firmassa.

[Juhani Varemo]

uns...@gmail.com wrote:


> Suosittelen rautaraidia.

Siinäkin on puolensa. Ainakin sen hallinta pitäisi olla hyvin selkeää ja
yksikäsitteistä.Mulla rajoittaa tuossa vähän noiden hintapolitiikka -
asiallinen 5-8 port raid-ohjain taitaa olla luokkaa vähintään tonni ellei
käytettyä löydä. 5 porttinen sen kuitenkin saisi olla vähintään. Sitten jos
sille pitäisi vielä olla hyllyn kulmalla varalaite... :-/

Mulla on näitä reunaehtoja hieman turhan paljon :-(

Rakentelen tätä hieman vanhaksi jääneestä tekniikasta, mielellään alle
kohtuullisilla kuluilla. Tuossa x86 Sunissa on kyllä mm. raid1 3waren
ohjaimella, vSphereen löytyi jopa ajuri sille. Tai mikä AMCC eikun LSI se
tällä hetkellä onkaan.

Tämän päivän paremmassa serveriraudassa lienee tarvittavia raid-ohjaimia jo
sisäänrakennettuna.

> Sitten oli Solaris10 jonka käyttis oli zfs ja molemmat os levyt aina
> softaraidina, mikä tehtiin siinä installoinnissa ja dataraw
> levyjärjestelmillä. Niissä oli raid 5 ja 1/0. Nopeuseroja ei havaittu
> sanottavasti, oli sitten raid 1/0 tai raid5.

Ei kai sen (levyn vaihdon) pitäisi paha olla zfs:n tapauksessakaan?
Karkeasti 'zpool replace isopooli disk_x (disk_y)'. Osannee myös vian
havaittuaan vaihtaa automaattisesti jos hot-spare-levy on systeemiin
laitettu ja määritelty.

> Näitä LVM ym. ei edes harkittu silloisessa firmassa.

Zfs sisältää oman toteutuksensa LVM:n ideasta.
Pelkälle LVM:lle ei varmaan ole edes käyttöä ellei ole tarvetta
dynaamisesti muutella tiedostojärjestelmän kokoonpanoa ja siihen liittyviä
fyysisiä levyjä.


<juhani>

[Ari Saastamoinen]

Antti Louko <a...@iki.fi> writes:

> https://rudd-o.com/linux-and-free-software/ways-in-which-zfs-is-better-than-btrfs

En ole itse veilä 10 minuuttia enempää tutustunut btrfs:ään, joten en
sinänsä osaa kommentoida tuota, mutta ainakin pikaisella silmäilyllä
tuolla sivulla ainakin osa "vioista" oli mielipideasioita, mutta
lienee siellä myös ihan oikeita vikojakin.

> parantuneet. Mutta ZFS:llä on pidempi ja parempi track record.

Mä taas sillä tuota btrfs:ää ehdotin, että linuxissa toi natiiviversio
on kirjoitettu uudestaan, joten sisältänee jotain ihan uusia
bugejakin, ja fusea käyttävä versio lienee hidas.

> ZFS:llä saa tarvittaessa helposti myös lisäredundanssia RAID6:n
> kaltaisella konfiguraatiolla. Lisää aiheesta mm. täällä:

Ainakin manuaalin mukaan toi on btrfs:ssäkin.