Google Groups no longer supports new Usenet posts or subscriptions. Historical content remains viewable.
Dismiss

[e1] raid5 mit größeren Platten schrittweise erweitern

0 views
Skip to first unread message

Fabian Törner

unread,
Mar 1, 2023, 3:59:54 AM3/1/23
to
Hallo zusammen,

leider scheint mir, bei meinem raid5, eine hdd zu sterben. Das raid5 ist
mit 4x 2TB WD red ausgeführt. Nun würde ich gern schrittweise auf 4x 4TB
WDred plus erweitern.
Mir ist bekannt das die kleinste Platte immer die Größe vorgibt.
Aber wie verhält sich das System beim Tausch der letzten 4TB Platte,
wird das System dann automatisch größer?
Oder sollte ich besser nen Backup machen und das raid5 komplett mit
neuen 4x 4TB Platten neu aufsetzen?

Vielen Dank für eure Meinungen und Kommentare dazu.

Viele Grüße
Fabian


--
Diese E-Mail wurde von AVG-Antivirussoftware auf Viren geprüft.
www.avg.com

Hans Bachner

unread,
Mar 1, 2023, 4:58:38 AM3/1/23
to
Hallo Fabian,

Fabian Törner schrieb am 01.03.2023 um 09:59:
> Hallo zusammen,
>
> leider scheint mir, bei meinem raid5, eine hdd zu sterben. Das raid5 ist
> mit 4x 2TB WD red ausgeführt. Nun würde ich gern schrittweise auf 4x 4TB
> WDred plus erweitern.
> Mir ist bekannt das die kleinste Platte immer die Größe vorgibt.
> Aber wie verhält sich das System beim Tausch der letzten 4TB Platte,
> wird das System dann automatisch größer?
> Oder sollte ich besser nen Backup machen und das raid5 komplett mit
> neuen 4x 4TB Platten neu aufsetzen?

Standard-Antwort Nr. 1: das kommt darauf an.

Wie wird das Raid-Array gebildet? Hardware-Raid-Controller oder
Software? welches Modell/welche Software(/welche Version)?

Ich verwende hier NAS4free Software mit dem ZFS Dateisystem und bin
damit schon einmal auf größere Platten umgestiegen. Eine nach der
anderen getauscht, dazwischen natürlich immer wieder synchronisiert. Da
die Platten in meinem (schon in die Jahre gekommenen) HP MicroServer
nicht hot-plug-fähig sind, musste ich das gute Stück für jeden
Plattentausch herunterfahren.

Ob ich am Ende die Kapazität manuell erhöhen musste oder ob das
automatisch geschah, kann ich jetzt nicht mehr sagen. Vermutlich ging
das über das Web-Interface; evt. hätte ich den zusätzlichen Platz auch
für einen zweiten Pool verwenden können. Aber da müsste ich jetzt im
Detail nachforschen, das ganze ist schon ein paar Jahre her.

Bei anderen Raid-Implementierungen kann das aber ganz anders aussehen.

Hans.

Thomas Zweifel

unread,
Mar 1, 2023, 8:40:02 AM3/1/23
to
Hallo Fabian

Am 01.03.23 um 09:59 schrieb Fabian Törner:
> leider scheint mir, bei meinem raid5, eine hdd zu sterben. Das raid5 ist
> mit 4x 2TB WD red ausgeführt. Nun würde ich gern schrittweise auf 4x 4TB
> WDred plus erweitern.
> Mir ist bekannt das die kleinste Platte immer die Größe vorgibt.
> Aber wie verhält sich das System beim Tausch der letzten 4TB Platte,
> wird das System dann automatisch größer?
> Oder sollte ich besser nen Backup machen und das raid5 komplett mit
> neuen 4x 4TB Platten neu aufsetzen?
>
> Vielen Dank für eure Meinungen und Kommentare dazu.

Wie Hans schon schrieb, das kommt drauf an.


Beim Linux-Softraid partitionierst Du die Platten jeweils mit einer
grösseren Partition für das grössere Raid.

Nach dem letzten Resync muss das Raid auf die gesammte Kapazität
vergrössert werden, was den resync vom zusätzlichen Platz startet.

Das Dateisystem kann danach ebenfalls online auf die neue Grösse
ausgedehnt werden.


Finde ich zumindest einfacher, als die Daten hin- und herkopieren ;-)



Gruss Thomas

Kay Martinen

unread,
Mar 1, 2023, 10:50:02 AM3/1/23
to
Am 01.03.23 um 09:59 schrieb Fabian Törner:

> leider scheint mir, bei meinem raid5, eine hdd zu sterben. Das raid5 ist
> mit 4x 2TB WD red ausgeführt. Nun würde ich gern schrittweise auf 4x 4TB
> WDred plus erweitern.

Warum eigentlich Schrittweise?

> Mir ist bekannt das die kleinste Platte immer die Größe vorgibt.
> Aber wie verhält sich das System beim Tausch der letzten 4TB Platte,
> wird das System dann automatisch größer?

Das weiß ich jetzt auch nicht.

> Oder sollte ich besser nen Backup machen und das raid5 komplett mit
> neuen 4x 4TB Platten neu aufsetzen?

Ich sag mal so. Wenn du die 4*4TB Platten schon hast, dann ziehe dir ein
Backup und tausche dann alle 2 TB gegen 4 TB aus und lege damit das Raid
5 neu an. Das dürfte deutlich schneller gehen und evtl. auch ungünstig
belegte Dateien/Blöcke wieder in eine reihe bringen.

Denn wenn du die Platten schrittweise wechselst wird das so laufen.

1. Platte Wechseln und ReSync Ende abwarten.
2. Platte Wechseln und ReSync Ende abwarten.
3. Platte Wechseln und ReSync Ende abwarten.
4. Platte Wechseln und ReSync Ende abwarten.

Dabei dürfte der nötige Resync Div. Stunden dauern - Pro Platte und
abhängig vom Füllungsgrad des Arrays.

= Backup und Restore dürfte DEUTLICH schneller gehen!

Bye/
/Kay

--
"Kann ein Wurstbrot die Welt retten?" :-)

Fabian Törner

unread,
Mar 2, 2023, 1:19:54 PM3/2/23
to
Hallo Hans,

Am 01.03.2023 um 10:58 schrieb Hans Bachner:
>
> Standard-Antwort Nr. 1: das kommt darauf an.
>
> Wie wird das Raid-Array gebildet? Hardware-Raid-Controller oder
> Software? welches Modell/welche Software(/welche Version)?

SW-raid5 mit mdadm

> Ob ich am Ende die Kapazität manuell erhöhen musste oder ob das
> automatisch geschah, kann ich jetzt nicht mehr sagen. Vermutlich ging
> das über das Web-Interface; evt. hätte ich den zusätzlichen Platz auch
> für einen zweiten Pool verwenden können. Aber da müsste ich jetzt im
> Detail nachforschen, das ganze ist schon ein paar Jahre her.

nein musst Du nicht ;) ich werde es wohl doch in einem Rutsch neu
machen. Kay hat nicht ganz unrecht mit den ganzen syncs.
Ich mache ein Backup und kopiere dann wieder zurück.

Vielen Dank & viele Grüße

Fabian Törner

unread,
Mar 2, 2023, 1:19:54 PM3/2/23
to
Hallo Thomas,

Am 01.03.2023 um 14:30 schrieb Thomas Zweifel:

> Wie Hans schon schrieb, das kommt drauf an.
>
> Beim Linux-Softraid partitionierst Du die Platten jeweils mit einer
> grösseren Partition für das grössere Raid.

ja habs Hans auch schon geschrieben - SW-raid5 mit mdadm

> Nach dem letzten Resync muss das Raid auf die gesammte Kapazität
> vergrössert werden, was den resync vom zusätzlichen Platz startet.
>
> Das Dateisystem kann danach ebenfalls online auf die neue Grösse
> ausgedehnt werden.

zumindest hätte die Idee funktioniert ;)

>
> Finde ich zumindest einfacher, als die Daten hin- und herkopieren ;-)

ja wäre möglicherweise über die Zeit günstiger gewesen.
Aber 4x sync so wie Kay schreibt ist auch ne Menge an Zeit.

Habe mich nun doch dazu entschlossen, alle vier Platten auf einmal zu
tauschen und dann die Daten ein mal hin und her zu kopieren :/

Trotzdem vielen Dank für die Info das es zumindest geklappt hätte ;)

Fabian Törner

unread,
Mar 2, 2023, 1:29:54 PM3/2/23
to
Hallo Kay,

Am 01.03.2023 um 16:46 schrieb Kay Martinen:
> Warum eigentlich Schrittweise?

um die Kosten zu verteilen und die Platten schrittweise "sterben" zu
lassen. So lange die anderen funktionieren warum wechseln ;)
Schrittweise wäre dann in dem Fall wahrscheinlich über die nächsten
Jahre, aber wenn mir zwei Platten ausfallen dann ist das raid5 auch "tot"

> Denn wenn du die Platten schrittweise wechselst wird das so laufen.
>
> 1. Platte Wechseln und ReSync Ende abwarten.
> 2. Platte Wechseln und ReSync Ende abwarten.
> 3. Platte Wechseln und ReSync Ende abwarten.
> 4. Platte Wechseln und ReSync Ende abwarten.
>
> Dabei dürfte der nötige Resync Div. Stunden dauern - Pro Platte und
> abhängig vom Füllungsgrad des Arrays.
>
> = Backup und Restore dürfte DEUTLICH schneller gehen!

das hier ist der eigentliche Punkt.
Ich werde nun das SW-raid leer räumen und es ersetzen.

Vielen Dank & viele Grüße

Kay Martinen

unread,
Mar 2, 2023, 2:00:02 PM3/2/23
to
Am 02.03.23 um 19:20 schrieb Fabian Törner:
> Hallo Kay,
>
> Am 01.03.2023 um 16:46 schrieb Kay Martinen:
>> Warum eigentlich Schrittweise?
>
> um die Kosten zu verteilen und die Platten schrittweise "sterben" zu
> lassen. So lange die anderen funktionieren warum wechseln ;)

Vielleicht irre ich mich im Konkreten Fall aber, bei einem Raid 5 darf
maximal EINE Platte ausfallen. Warum hast du eigentlich 4 statt der
Üblichen 3? AFAIR soll die Leistung des Arrays bei 3 Disks besser sein
als bei 4. Ist die 4. Evtl. nur ein Hot Spare?

> Schrittweise wäre dann in dem Fall wahrscheinlich über die nächsten
> Jahre, aber wenn mir zwei Platten ausfallen dann ist das raid5 auch "tot"

Jep. Nicht zu vergessen: Das Eintrittsrisiko dafür ist besonders groß
bei einem/jedem Rebuild. Weil dort auf die neue Platte geschrieben wird
es aber; in einem Raid 5 von allen anderen intensiv gelesen wird. Und
das wären einige... S.u.

>> Denn wenn du die Platten schrittweise wechselst wird das so laufen.
>>
>> 1. Platte Wechseln und ReSync Ende abwarten.
>> 2. Platte Wechseln und ReSync Ende abwarten.
>> 3. Platte Wechseln und ReSync Ende abwarten.
>> 4. Platte Wechseln und ReSync Ende abwarten.
>>
>> Dabei dürfte der nötige Resync Div. Stunden dauern - Pro Platte und
>> abhängig vom Füllungsgrad des Arrays.
>>
>> = Backup und Restore dürfte DEUTLICH schneller gehen!
>
> das hier ist der eigentliche Punkt.
> Ich werde nun das SW-raid leer räumen und es ersetzen.

Ist Vermutlich auch Platten- und Nerven-schonender. :-)

Thomas Zweifel

unread,
Mar 3, 2023, 8:20:02 AM3/3/23
to
Hallo Kay

Am 02.03.23 um 19:57 schrieb Kay Martinen:
> Am 02.03.23 um 19:20 schrieb Fabian Törner:
>> Am 01.03.2023 um 16:46 schrieb Kay Martinen:
>>> Warum eigentlich Schrittweise?
>>
>> um die Kosten zu verteilen und die Platten schrittweise "sterben" zu
>> lassen. So lange die anderen funktionieren warum wechseln ;)
>
> Vielleicht irre ich mich im Konkreten Fall aber, bei einem Raid 5 darf
> maximal EINE Platte ausfallen. Warum hast du eigentlich 4 statt der
> Üblichen 3? AFAIR soll die Leistung des Arrays bei 3 Disks besser sein
> als bei 4. Ist die 4. Evtl. nur ein Hot Spare?

Kann bei HW-Raid durchaus sein, bei SW-Raid dürfte das keine grosse
Rolle spielen, bei halbwegs aktueller CPU-Leistung.


Ab 2TB Platten würde ich ohnehin Raid6 nehmen.



Gruss Thomas

Fabian Törner

unread,
Mar 3, 2023, 3:59:54 PM3/3/23
to
Hallo Kay,

evtl. habe ich mich etwas undeutlich ausgedrückt :)

Am 02.03.2023 um 19:57 schrieb Kay Martinen:
> Am 02.03.23 um 19:20 schrieb Fabian Törner:
>> Hallo Kay,
>>
>> Am 01.03.2023 um 16:46 schrieb Kay Martinen:
>>> Warum eigentlich Schrittweise?
>>
>> um die Kosten zu verteilen und die Platten schrittweise "sterben" zu
>> lassen. So lange die anderen funktionieren warum wechseln ;)
>
> Vielleicht irre ich mich im Konkreten Fall aber, bei einem Raid 5 darf
> maximal EINE Platte ausfallen. Warum hast du eigentlich 4 statt der
> Üblichen 3? AFAIR soll die Leistung des Arrays bei 3 Disks besser sein
> als bei 4. Ist die 4. Evtl. nur ein Hot Spare?

nun ja umso mehr Platten umso weniger Verlust beim Gesamtarray. Man kann
ja auch mehr als vier Platten zu einem raid5-Array vereinen.
Letztlich verliert man bei vier Platten nur 1/4 der Gesamtkapazität bei
sechs Platten schließlich 1/6 Du verstehst was ich meine? :)
Richtig EINE Platte darf maximal ausfallen im raid5 - mit schrittweise
sterben meinte ich, sobald EINE Platte zu sterben beginnt (wie jetzt im
aktuellen Fall) mit einer größeren 4TB Platte tauschen. Dann den sync
machen, raid ist wieder voll da. Da die anderen drei HD's dann noch
älteren Datums sind, dürfte die Wahrscheinlichkeit hoch sein das in
absehbarer Zeit die nächste ausfällt, die würde man dann wieder mit
einer größeren Platte (gleicher Bauart) ersetzen wieder den sync machen
und wieder abwarten bis die nächste ausfällt. Das kann ja unter
Umständen weitere Jahre dauern...
Da es ein SW-Raid ist hängt die Performance eh von der CPU und dem Board
ab. Bisher war ich mit der Leistung zufrieden. Die 4. Platte ist kein
Hot-Spare.

Dispatched from mdadm Agent on Server 'eis'
Current Date: 2023-03-02 Time: 10:00:03

Host : eis
MD Device :
Event : Status message

/proc/mdstat dump:
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5]
[raid4] [multipath]
md0 : active raid5 sdc1[2] sde1[3] sdd1[0] sdb1[1] (mismatch_cnt=0)
(NOTE: No hotspare?!)
5860532736 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
bitmap: 0/233 pages [0KB], 4096KB chunk

unused devices: <none>


Aus der (meiner) Logik heraus müsste doch ein Sw-raid5 mit mehr Platten
performanter sein als mit min. drei Platten, da mehr verlagert (die
Last/Parität auf mehr Platten verteilt) werden kann?!
Aber evtl. bin ich da mit meiner Logik auch auf dem Holzweg ;)

Fabian Törner

unread,
Mar 3, 2023, 4:10:02 PM3/3/23
to
Guten Abend Thomas,

Am 03.03.2023 um 14:11 schrieb Thomas Zweifel:

> Ab 2TB Platten würde ich ohnehin Raid6 nehmen.

kannst Du das bitte etwas näher erläutern?
Ich habe mich ja nun für 4x 4TB WD red plus Platten entschieden.
Wäre da in dem Fall aus Deiner Sicht ebenfalls raid6 sinnvoll und wenn
ja, warum?

Kay Martinen

unread,
Mar 3, 2023, 6:30:02 PM3/3/23
to
Am 03.03.23 um 22:09 schrieb Fabian Törner:
> Guten Abend Thomas,
>
> Am 03.03.2023 um 14:11 schrieb Thomas Zweifel:
>
>> Ab 2TB Platten würde ich ohnehin Raid6 nehmen.
>
> kannst Du das bitte etwas näher erläutern?
> Ich habe mich ja nun für 4x 4TB WD red plus Platten entschieden.
> Wäre da in dem Fall aus Deiner Sicht ebenfalls raid6 sinnvoll und wenn
> ja, warum?

AFAIR: Bei Raid 6 können 2 Platten ausfallen und die Daten bleiben lesbar.

<https://de.wikipedia.org/wiki/RAID#RAID_6:_Block-Level_Striping_mit_doppelt_verteilter_Parit%C3%A4tsinformation>

"mindestens 4 Platten" Du könntest also auch Raid 6 benutzen.

Bei HP heißt das IMHO Advanced Data Guarding = ADG

Heißt: Wenn eine Platte stirbt und beim Rebuild die nächste Hops geht
hast du immer noch Chance die Daten zu Retten - oder das Array wieder
flott zu machen, durch Geld ähh Platten-einwurf.

Ein Notnagel für den Notnagel.

Thomas Zweifel

unread,
Mar 4, 2023, 8:00:02 AM3/4/23
to
Hallo Kay, Fabian

Am 04.03.23 um 00:20 schrieb Kay Martinen:
Nicht nur das, ich habe auch keine Lust Platten auf Vorrat herumliegen
zu haben, da kann es durchaus ein paar Tage dauern bis Ersatz da ist und
ich den Rebuild starten kann... ;-)



> Ein Notnagel für den Notnagel.

Ich finde es eher ein Praktisches Feature und kein Notnagel ;-)



Gruss Thomas

Thomas Zweifel

unread,
Mar 4, 2023, 8:30:03 AM3/4/23
to
Hallo Fabian

Am 03.03.23 um 21:58 schrieb Fabian Törner:

> nun ja umso mehr Platten umso weniger Verlust beim Gesamtarray. Man kann
> ja auch mehr als vier Platten zu einem raid5-Array vereinen.
> Letztlich verliert man bei vier Platten nur 1/4 der Gesamtkapazität bei
> sechs Platten schließlich 1/6 Du verstehst was ich meine? :)
> Richtig EINE Platte darf maximal ausfallen im raid5 - mit schrittweise
> sterben meinte ich, sobald EINE Platte zu sterben beginnt (wie jetzt im
> aktuellen Fall) mit einer größeren 4TB Platte tauschen. Dann den sync
> machen, raid ist wieder voll da. Da die anderen drei HD's dann noch
> älteren Datums sind, dürfte die Wahrscheinlichkeit hoch sein das in
> absehbarer Zeit die nächste ausfällt,

Kann, aber Muss nicht sein:

=== START OF INFORMATION SECTION ===
Model Family: Hitachi Deskstar 5K3000
User Capacity: 2,000,398,934,016 bytes [2.00 TB]
.....
4 Start_Stop_Count 0x0012 100 100 000 Old_age
Always - 117
5 Reallocated_Sector_Ct 0x0033 100 100 005 Pre-fail
Always - 0
9 Power_On_Hours 0x0012 087 087 000 Old_age
Always - 95893
196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always
- 0
197 Current_Pending_Sector 0x0022 100 100 000 Old_age Always
- 0
198 Offline_Uncorrectable 0x0008 100 100 000 Old_age
Offline - 0

Zwei von den vier Platten sind nach ca. 5-6 Jahren ausgefallen, die
anderen rennen heute noch.




> Dispatched from mdadm Agent on Server 'eis'
> Current Date: 2023-03-02 Time: 10:00:03
>
> Host : eis
> MD Device :
> Event : Status message
>
> /proc/mdstat dump:
> Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5]
> [raid4] [multipath]
> md0 : active raid5 sdc1[2] sde1[3] sdd1[0] sdb1[1] (mismatch_cnt=0)
> (NOTE: No hotspare?!)
> 5860532736 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
> bitmap: 0/233 pages [0KB], 4096KB chunk
>
> unused devices: <none>
>
>
> Aus der (meiner) Logik heraus müsste doch ein Sw-raid5 mit mehr Platten
> performanter sein als mit min. drei Platten, da mehr verlagert (die
> Last/Parität auf mehr Platten verteilt) werden kann?!
> Aber evtl. bin ich da mit meiner Logik auch auf dem Holzweg ;)

Beim Raid5/6 gibt es den sogenannten "Write-Penalty", das heisst beim
schreiben von Daten muss gegebenenfalls von anderen Platten Daten
gelesen werden damit die Redundanz neu berechnet und aktualisiert werden
kann. Dabei sind alle Platten lesend oder schreibend involviert.
Vor allem bei viel Kleinkram wird das Raid deutlich langsamer beim
schreiben sein.

Lesen von Daten geschieht dann ähnlich einem Raid0 viel performanter als
eine einzelne Platte.
In dem Fall siehst Du das durchaus richtig: Mehr Platten - Mehr Speed ;-)



Gruss Thomas

Alexander Dahl

unread,
Mar 5, 2023, 2:42:02 PM3/5/23
to
Hallo Hans,
Ich hab das gerade durchgespielt. raidz2 mit vorher 3×1TB + 1×3TB auf
3×4TB + 1×3TB gewechselt, d.h. alle 1TB durch 4TB ersetzt und die 3TB
gelassen. Nach dem Einbau der letzten neuen Platte kommt's drauf an, ob
auf dem zpool das Property "autoexpand" auf on oder auf off gesetzt ist.
Bei 'on' hast Du nach dem Resilver automatisch die größere Kapazität.
Wenn nicht, musst Du das noch manuell anschubsen. So war's bei mir und
ich hab dann mit `zpool offline pool device` eine Platte kurz offline
genommen und dann mit `zpool online -e pool device` das -e für expand
mitgegeben und danach war die Kapazität dann angepasst.

All das ist aber definitiv spezifisch für ZFS!

Grüße
Alex

>
> Bei anderen Raid-Implementierungen kann das aber ganz anders aussehen.
>
> Hans.


--
***** http://blog.antiblau.de/ *****************************
GnuPG-FP: C28E E6B9 0263 95CF 8FAF 08FA 34AD CD00 7221 5CC6

Hans Bachner

unread,
Mar 5, 2023, 2:57:37 PM3/5/23
to
Hallo Alex,
Danke für die Details und fürs der-Erinnerung-auf-die-Sprünge-helfen :-)

Hans.
0 new messages