Przez 5 godzin raid5 (sprzetowy HP P400) zlozony z 6 dyskow 1TB SATA
odbudowal sie w 7%
Czyli 100% zajmie prawie 3 doby! Wymienione zostaly 2 dyski, czy taki
czas odbudowania jest poprawny?
System plikow na tej macierzy nie jest zamontowany.
--
Pozdrawiam
kanold
"Je�li zrobienie czego� sprawia Ci trudno��, si�gnij po wi�kszy m�otek"
I nic innego nie uzywa tych dyskow?
A co pokazuje:
iostat -dk 1
?
cat /proc/mdstat
--
Tomasz Chmielewski
http://wpkg.org
Choc jak raid sprzetowy, to mdstat tu do rzeczy za wiele nie ma...
co� jest nie tak w tym opisie
jak dwa dyski wymieni�e� i jest raid5 - to nie ma danych i SA nie jest w
stanie tych danych przeliczy�
mo�esz spokojnie Array i Logical Drive postawi� na nowo
co do wydajno�ci jest parametr "Rebuild Priority" zmo�liwo�ciami High,
Medium, Low
--
Jacek
Moj blad, chodzilo o parity i po wymianie wszystkich dyskow i 7
godzinach pracy serwera wyglada to tak:
Parity Initialization Status: In Progress
Parity Initialization Progress: 2% complete
Czyli znow zajmie "tydzien"
Wydajnosc dyskow jest aktualnie tragiczna, load przy operacjach
dyskowych idzie w gore do 10 i sa glownie 100% waity na wszystkich 8
rdzeniach.
Niewazne czy pod xfs czy ext3, wiec nie wyglada to na problem z systemem
(testowane kernele 2.6.26/27/29)
Nie wiem juz co z tym robic, oprocz tego ze nigdy wiecej HP.
Wszystkie dyski to nowe HP GB1000EAFJL, oprocz tego 2 dyski w raid1
podpiete do tego samego kontrolera ktore dzialaja ok, tyle ze to 80GB.
Firmware kontrolera zakutalizowany.
Czy parity initialization musi tyle trwac i moze miec wplyw na tak
koszmarna wydajnosc?
Nie chce mi sie wierzyc w koniecznosc czekania tygodnia zanim maszyna
bedzie zdatna do uzytku i pierwszy raz mam takie jaja ze sprzetem.
hpacucli nie zwraca zadnych bledow dyskow ani macierzy, jedyne co rzuca
sie w oczy to tryb pracy dyskow jako 1.5GBPS a nie 3GBPS.
nie chc� robi� za adwokata HP ale mam ich kilka z kontrolerami SAS i SCSI
i nie mia�em z nimi nigdy problem�w, mi�dzy innymi mam DL380 z P400 pod RHE
napisz wi�cej:
-jak masz zkonfigurowane priorytety na kontrolerach,
-ile ramu na kontrolerze czy wersja BBWC ?
-kt�ry poziom raid
-na ilu dyskach
--
Jacek
niestety zgadza sie, P400 nie obsluguje tranferu 3GBPS SATA, co jest
troche dziwne (marketing?)
> nie chcďż˝ robiďż˝ za adwokata HP ale mam ich kilka z kontrolerami SAS i SCSI
> i nie mia�em z nimi nigdy problem�w, mi�dzy innymi mam DL380 z P400 pod RHE
Do tej pory mialem glownie stycznosc z kilkudziesiecioma dellami i IBM
bez takich niespodzianek niezaleznie czy U320 czy SAS czy SATA.
>
> napisz wi�cej:
> -jak masz zkonfigurowane priorytety na kontrolerach,
> -ile ramu na kontrolerze czy wersja BBWC ?
> -kt�ry poziom raid
> -na ilu dyskach
Priorytet rebuild ustawiony na high, serwer nic nie robi. Po 9 godzinach
macierz odbudowywala sie w 76%
6 dyskow SATA 1TB HP GB1000EAFJL spiete w raid5 (zaktualizowany firmware
na wszystkich dyskach i kontrolerze)
Stripe Size: 64 KB
Cache Board Present: True
Cache Status: OK
Accelerator Ratio: 25% Read / 75% Write
Drive Write Cache: Enabled
Total Cache Size: 256 MB
Cache Backup Power Source: Batteries
Battery/Capacitor Count: 1
Battery/Capacitor Status: OK
SATA NCQ Supported: True
Array Accelerator jest wlaczony na tej macierzy.
A teraz najlepsze:
Timing cached reads: 10464 MB in 2.00 seconds = 5238.61 MB/sec
Timing buffered disk reads: 20 MB in 3.33 seconds = 5.27 MB/sec
Czekam az sie skonczy odbudowywac to odpale bonnie++
Troche nie chce mi sie wierzyc, ze w przypadku wymiany dysku bede mial w
zasadzie nieuzywalny serwer przez 12 godzin.
Zastanawiam sie czy "Drive Write Cache" oznacza wlaczenie go na dyskach,
czy dotyczy to jeszcze czegos innego?
--
Jacek
po odbudowaniu sie zaczal dzialac w miare przyzwoicie. W miare, bo
softwarowy raid5 z 6x1TB SATA na zwyklym pececie jest momentami sporo
szybszy.
mam tylko nadzieje ze nie bedzie juz problemow.
z ciekawo�ci w sumie to ile czasu si� ta macierz budowa�a ?
nie montowa�em jeszcze dysk�w SATA do serwer�w i troszk� mnie to interesuje.
--
Jacek
jak ustawisz poprawnie czytnik i poprawisz delimiter to odpowiem ;)
po wymianie jednego (wiadomo) dysku jakies 12 godzin trwalo odbudowanie.
W tym czasie serwer jest w zasadzie nieuzywalny, wydajnosc macierzy jest
tragiczna.
Ogolnie po tych wszystkich wymianach, aktualizacjach i odbudowaniu
macierz dziala ok, ale jezeli chodzi o wydajnosc to hp + sata na tego
typu sprzecie odpada.
> po wymianie jednego (wiadomo) dysku jakies 12 godzin trwalo odbudowanie.
> W tym czasie serwer jest w zasadzie nieuzywalny, wydajnosc macierzy
> jest tragiczna.
>
> Ogolnie po tych wszystkich wymianach, aktualizacjach i odbudowaniu
> macierz dziala ok, ale jezeli chodzi o wydajnosc to hp + sata na tego
> typu sprzecie odpada.
To czemu nie uzywasz linuksowego RAIDa?
Tzn. nie twierdze ze linuksowy RAID5 to bedzie wielka rakieta podczas
odbudowywania, ale te 12 godzin i nieuzywalnosc w tym czasie...
A tak w ogole ile przestrzeni potrzebujesz?
--
Krzysztof Halasa
przestrzeni wlasnie ok 5TB pobrzebuje. Sprawdzalem juz z rozpaczy
wczesniej soft raid i bylo podobnie.
A teraz mam kolejnego HP tym razem DL 120 z LSI i 2 dyskami WDC na
prosty serwerek, hw raid1 i dd if=/dev/zero daje zapis na poziomie
3,8MB/s :)
Oczywiescie kontroler nie zwraca zadnych bledow :) Niestety nie mialem w
tych 2 przypadkach wplywu na wybor sprzetu...
I tamten i ten sa nowe.
DL120 po kilku minutach odpala wiatraki na 15k rpm, chociaz tempratury
sa w normie, w DL 180 dzisiaj nie udalo mi sie dostac do ILO :)
Fajny sprzet, nie ma co.
> przestrzeni wlasnie ok 5TB pobrzebuje. Sprawdzalem juz z rozpaczy
> wczesniej soft raid i bylo podobnie.
No nie, jednak soft RAID-5 na Linuksie nie bedzie odbudowywal macierzy
5 TB przez 12 godzin, bez przesady. I da sie wtedy jako-tako pracowac.
Przyznaje ze naprawde dawno nie uzywalem linuksowego RAID-5, ale bylbym
bardzo zdziwiony gdyby to sie az tak pogorszylo (o 6 dyskach SATA 1 TB
juz doczytalem).
Te 12 godzin - wyglada, jakby kontroler czytal i zapisywal dane po kolei
z kazdego dysku, tak jakby nie umial jednoczesnie przeczytac "dobrych"
dyskow i zapisac na "zlym" (jednoczesnie czytajac juz nastepne dane).
5 TB w tej chwili jest w zasiegu RAID-1 - albo raczej RAID-10 najlepiej
w wersji linuksowej.
> A teraz mam kolejnego HP tym razem DL 120 z LSI i 2 dyskami WDC na
> prosty serwerek, hw raid1 i dd if=/dev/zero daje zapis na poziomie
> 3,8MB/s :)
moze bs=1 albo cos podobnego?
Na zwyklym najtanszym SATA z sw RAID-1 zapis jest na poziomie
kilkudziesieciu MB/s bez zadnych kombinacji.
--
Krzysztof Halasa
[...]
> A teraz mam kolejnego HP tym razem DL 120 z LSI i 2 dyskami WDC na
> prosty serwerek, hw raid1 i dd if=/dev/zero daje zapis na poziomie
> 3,8MB/s :)
Domy�lnie dyski SATA brandowane przez HP maj� wy��czony cache dla zapisu.
Powy�szy wynik wskazuje ze taka sytuacja mo�e by� te� u Ciebie.
--
--
Wys�ano z serwisu OnetNiusy: http://niusy.onet.pl
dzisiaj padl mi tam kolejny dysk... zostal wymieniony z braku innego na
WDC i konczy sie odbudowywac po 6 godzinach.
> 5 TB w tej chwili jest w zasiegu RAID-1 - albo raczej RAID-10 najlepiej
> w wersji linuksowej.
ale niestety mam to co mam i na ta chwile tak musi zostac.
>> A teraz mam kolejnego HP tym razem DL 120 z LSI i 2 dyskami WDC na
>> prosty serwerek, hw raid1 i dd if=/dev/zero daje zapis na poziomie
>> 3,8MB/s :)
>
> moze bs=1 albo cos podobnego?
> Na zwyklym najtanszym SATA z sw RAID-1 zapis jest na poziomie
> kilkudziesieciu MB/s bez zadnych kombinacji.
bs=512, wymienione zostalo wszystko oprocz dyskow, firmware
poaktualizowane, poprawa o ~200%, czyli mam ~10MB/s
Same dyski sprawne.
Jutro LSI idzie do kosza, dyski do zwyklego SATA, programowy raid1 i
zobaczymy.
Generalnie unikam sprzetowych raidow jak nie musze. Z softwarowymi brak
wiekszych problemow, a zarzadzanie i monitoring sa poprostu normalne.
W DL180 cache dla zapisu na dyskach wlaczony, temat przerabiany wyzej.
W DL120 sa dyski WDC
a w DL120 write cache w macierzy byl wylaczony, znalazlem lsitool ktorym
mozna to zmienic i teraz dziala ok. Nawet sie to da normalnie
monitorowac przez mpt-status.
> Domy�lnie dyski SATA brandowane przez HP maj� wy��czony cache dla zapisu.
Swoja droga, to moze dobrze o nich swiadczyc.
> Powy�szy wynik wskazuje ze taka sytuacja mo�e by� te� u Ciebie.
A nie wiem. To moze nie miec nic do rzeczy.
--
Krzysztof Halasa
> dzisiaj padl mi tam kolejny dysk... zostal wymieniony z braku innego
> na WDC i konczy sie odbudowywac po 6 godzinach.
To jakby troche bardziej normalnie.
> bs=512, wymienione zostalo wszystko oprocz dyskow, firmware
> poaktualizowane, poprawa o ~200%, czyli mam ~10MB/s
> Same dyski sprawne.
No ale wiesz, 512 to nie jest duzo wiecej niz 1. Troche to jeszcze
zalezy od wielkosci bloku (na roznych poziomach), sprawdzilbym z blokiem
w stylu 1M itp.
> Generalnie unikam sprzetowych raidow jak nie musze. Z softwarowymi
> brak wiekszych problemow, a zarzadzanie i monitoring sa poprostu
> normalne.
Jasne.
Zwlaszcza wtedy, gdy nie liczymy sum kontrolnych (= przy malych
macierzach, aktualnie do ~ kilku TB, czyli RAID-1 i 10, albo jesli ktos
potrzebuje, RAID-0).
--
Krzysztof Halasa
jak dziala dobrze, to zarowno z 1M jak i 512 wynik jest odpowiedni.
>> No ale wiesz, 512 to nie jest duzo wiecej niz 1. Troche to jeszcze
>> zalezy od wielkosci bloku (na roznych poziomach), sprawdzilbym z blokiem
>> w stylu 1M itp.
>
> jak dziala dobrze, to zarowno z 1M jak i 512 wynik jest odpowiedni.
Akurat. Masz tam baterie do write-back cache?
Pokazesz wyniki z roznymi bs (512, 1024, 2048 itd)?
--
Krzysztof Halasa
Bo tu jest to robione sprytniej - odtwarzanie wykorzystuje ca�e dost�pe IO
w idlu. W trakcie pracy prawie nie wida� narzutu zwi�zanego z przebudow�
i jest tylko nieznacznie wolniej jedynie z powodu zdegradowania macierzy.
Dzi�ki temu proces przebudoy ma szans� sko�czy� si� do�� szybko, o ile oczywi�cie
IO nie jest non stop wysycone w 100%.
Nie twierdz� oczywi�cie, �e sprz�towe kontrolery RAID nie maj� sensu,
szczego�nie takie z bateryjk� i odpowiednim CPU, ale takie ta�sze
w przypadku Linuksa cz�sto niewiele daj� bo sam system oferuje
wy�mienite rozwi�zanie.
Pozdrawiam,
Krzysztof Oledzki
--
Krzysztof Ol�dzki
e-mail address: ole(a-t)ans(d-o-t)pl
Registered User: Linux - 189200, BSD - 51140
Nick Handles: KO60-RIPE, KO581 (Network Solutions)
> Bo tu jest to robione sprytniej - odtwarzanie wykorzystuje ca�e dost�pe IO
> w idlu. W trakcie pracy prawie nie wida� narzutu zwi�zanego z przebudow�
> i jest tylko nieznacznie wolniej jedynie z powodu zdegradowania macierzy.
> Dzi�ki temu proces przebudoy ma szans� sko�czy� si� do�� szybko, o ile oczywi�cie
> IO nie jest non stop wysycone w 100%.
Wlasnie. Z tym "nieznacznie", zwlaszcza dla RAID-5, to bym nie
przesadzal, ale generalnie tak to wlasnie jest.
Tyle ze nie ma zadnego powodu by dokladnie tak samo nie dzialaly
specjalizowane karty RAID.
To, ze macierz byla praktycznie nieuzywalna sugeruje, ze przebudowa
uzywala praktycznie calego pasma (bez interesowania sie obciazeniem
zapewne). To jeszcze pol biedy, natomiast czas przebudowy, sugerujacy
sekwencyjny dostep do poszczegolnych dyskow (zawsze do jednego), to juz
jakas wieksza porazka.
> Nie twierdz� oczywi�cie, �e sprz�towe kontrolery RAID nie maj� sensu,
> szczego�nie takie z bateryjk� i odpowiednim CPU, ale takie ta�sze
> w przypadku Linuksa cz�sto niewiele daj� bo sam system oferuje
> wy�mienite rozwi�zanie.
Dokladnie rzecz biorac, takie "tansze" niewiele zabieraja, i raczej nic
nie daja. Mam wrazenie ze ich jedynym celem jest umozliwienie
bezbolesnego startu MS Windows (bo chyba nie pracy, Windows maja chyba
jakiegos RAIDa?). Ciekawym przykladem sa takie "zero channel".
--
Krzysztof Halasa