Google Groups no longer supports new Usenet posts or subscriptions. Historical content remains viewable.
Dismiss

SAS RAID Controller und SSDs

1 view
Skip to first unread message

Ulli Horlacher

unread,
Sep 24, 2021, 4:23:28 AM9/24/21
to
Ich hab mehrere SAS SSDs, die ich in Standard-PCs betreiben will.
Ein passender Controller waere zB Fujitsu D2616 LSI 2108 9261-8i SATA /
SAS RAID

Der bietet Linux dann ein virtuelles SCSI Laufwerk an, was intern ein RAID
ist.

Wie steht es aber nun mit TRIM, was gerade bei SSDs wichtig ist: wird
das korrekt durchgereicht?

Oder sollte ich besser einen SAS Controller nehmen, der die SSDs 1:1 an
Linux durchreicht (HBA/IT Modus) und dann das RAID mit Linux mdadm machen?


--
Ullrich Horlacher Server und Virtualisierung
Rechenzentrum TIK
Universitaet Stuttgart E-Mail: horl...@tik.uni-stuttgart.de
Allmandring 30a Tel: ++49-711-68565868
70569 Stuttgart (Germany) WWW: http://www.tik.uni-stuttgart.de/

Gerald E:scher

unread,
Sep 24, 2021, 10:21:46 AM9/24/21
to
Ulli Horlacher schrieb am 24/9/2021 10:23:

> Ich hab mehrere SAS SSDs, die ich in Standard-PCs betreiben will.
> Ein passender Controller waere zB Fujitsu D2616 LSI 2108 9261-8i SATA /
> SAS RAID
>
> Der bietet Linux dann ein virtuelles SCSI Laufwerk an, was intern ein RAID
> ist.
>
> Wie steht es aber nun mit TRIM, was gerade bei SSDs wichtig ist: wird
> das korrekt durchgereicht?

Sieht nicht danach aus:
<https://www.broadcom.com/support/knowledgebase/1211161496937/trim-and-sgunmap-support-for-lsi-hbas-and-raid-controllers>

> Oder sollte ich besser einen SAS Controller nehmen, der die SSDs 1:1 an
> Linux durchreicht (HBA/IT Modus) und dann das RAID mit Linux mdadm machen?

Oder hoffen, dass die SSD ausreichend Over-Provisioning verwendet oder
einen Teil der SSD frei lassen (nicht partitionieren) und in beiden
Fällen der Garbage Collection vertrauen.

--
Gerald

Kay Martinen

unread,
Sep 24, 2021, 12:10:01 PM9/24/21
to
Am 24.09.21 um 16:21 schrieb Gerald E:scher:
> Ulli Horlacher schrieb am 24/9/2021 10:23:
>
>> Ich hab mehrere SAS SSDs, die ich in Standard-PCs betreiben will.
>> Ein passender Controller waere zB Fujitsu D2616 LSI 2108 9261-8i SATA /
>> SAS RAID
>>
>> Der bietet Linux dann ein virtuelles SCSI Laufwerk an, was intern ein RAID
>> ist.
>>
>> Wie steht es aber nun mit TRIM, was gerade bei SSDs wichtig ist: wird
>> das korrekt durchgereicht?

Frage:
Ich denke in dem Fall muß der Controller das selbst zu den einzelnen
Drives senden - wenn er es kann. Ob ein Trim vom Host zum HBA-Raiddevice
von diesem dann an die Einzellaufwerke des Verbundgerätes weiter
geleitet werden soll... macht das wirklich sinn? Bei einem R1
vielleicht, bei einem R0 weiß ich nicht recht und bei R5 wird parity
doch eh über alle laufwerke verteilt. Vermutung: Alle oder keiner?

> Sieht nicht danach aus:
> <https://www.broadcom.com/support/knowledgebase/1211161496937/trim-and-sgunmap-support-for-lsi-hbas-and-raid-controllers>

Ich würde das hier...

> You can also use sg_unmap

... so verstehen als man damit quasi auch manuell TRIM zum "Laufwerk"
schicken könnte. Muß man das den oft machen oder reicht da nicht ein
cronjob.

Und das da drüber als würde es gehen wenn der Controller die Richtige
Firmware (IT) hat und die Laufwerke die richtigen Capabilitys haben
(Data Set Management TRIM u.a.) außer es ist eine Samsung 850 Pro die's
nicht kann.


>> Oder sollte ich besser einen SAS Controller nehmen, der die SSDs 1:1 an
>> Linux durchreicht (HBA/IT Modus) und dann das RAID mit Linux mdadm machen?

Mir ist unklar worin sich die Firmware unterscheidet. Wenn der einen
(IT) das HW-Raid fehlt kann der Controller die Laufwerke doch nur noch
einzeln 1:1 durchreichen. Obiges würde dann bedeuten das dies die
einzigen Limits wären und du generell ein SoftRaid bauen mußt. Und den
Rest lese ich so das der Controller da nichts raus filtert, nur das
Laufwerk muß es können. Richtig?

> Oder hoffen, dass die SSD ausreichend Over-Provisioning verwendet oder
> einen Teil der SSD frei lassen (nicht partitionieren) und in beiden
> Fällen der Garbage Collection vertrauen.

Bei einem meiner HP Storageworks Controller (P400i?) ist mir eine
SSD-Gauge genannte Funktion aufgefallen und das Stichwort Trim
assoziiere ich auch in dem Zusammenhang. Ich hab aber nur Dreheisen dran
und kann dazu nichts weiter sagen. Drum die Fragen die ich oben aufwerfe.

Ｂｙｅ／
／Ｋａｙ

--
🅟🅞🅢🅣🅔🅓 🅥🅘🅐 🅛🅔🅐🅕🅝🅞🅓🅔

Gerald E:scher

unread,
Sep 24, 2021, 1:24:09 PM9/24/21
to
Kay Martinen schrieb am 24/9/2021 18:04:

> Am 24.09.21 um 16:21 schrieb Gerald E:scher:
>> Ulli Horlacher schrieb am 24/9/2021 10:23:
>>
>>> Ich hab mehrere SAS SSDs, die ich in Standard-PCs betreiben will.
>>> Ein passender Controller waere zB Fujitsu D2616 LSI 2108 9261-8i SATA /
>>> SAS RAID
>>>
>>> Der bietet Linux dann ein virtuelles SCSI Laufwerk an, was intern ein RAID
>>> ist.
>>>
>>> Wie steht es aber nun mit TRIM, was gerade bei SSDs wichtig ist: wird
>>> das korrekt durchgereicht?
>
> Frage:
> Ich denke in dem Fall muß der Controller das selbst zu den einzelnen
> Drives senden - wenn er es kann. Ob ein Trim vom Host zum HBA-Raiddevice
> von diesem dann an die Einzellaufwerke des Verbundgerätes weiter
> geleitet werden soll... macht das wirklich sinn?

Dass der Controller im RAID-Modus TRIMt, ist in diesem Fall ohnehin
unwahrscheinlich. Die Firmware dieser LSI Controller stammt von 2014,
2015, und damals waren SAS-SSDs sowas von überschweineteuer, dass die
wohl kaum jemand an solche Controller gehängt hat.

>> Sieht nicht danach aus:
>> <https://www.broadcom.com/support/knowledgebase/1211161496937/trim-and-sgunmap-support-for-lsi-hbas-and-raid-controllers>
>
> Ich würde das hier...
>
>> You can also use sg_unmap
>
> ... so verstehen als man damit quasi auch manuell TRIM zum "Laufwerk"
> schicken könnte.

Kann man wohl, mit blkdiscard oder fstrim geht's aber einfacher :-) Das
Dokument dürfte längst nicht mehr am neuesten Stand sein, wichtig war
mir vor allem die Zeile
| LSI SAS HBAs with IR firmware do not support TRIM.

> Mir ist unklar worin sich die Firmware unterscheidet. Wenn der einen
> (IT) das HW-Raid fehlt kann der Controller die Laufwerke doch nur noch
> einzeln 1:1 durchreichen.

Die IT-Firmware der LSI HBAs reicht die Laufwerke durch und jedes kann
mit einer eigenen Gerätedatei angesprochen werden. Die IR-Firmware
kann nur einfache RAIDs (RAID0, RAID1, ...).
Für RAID5 wird ein LSI MegaRAID Controller wie der obige Fujitsu
benötigt, der kann dann aber nur RAID. Die einzelnen Laufwerke
durchreichen ist mit dem D2616 (baugleich LSI 9261-8i) nicht möglich.

--
Gerald

Marcel Mueller

unread,
Sep 24, 2021, 4:10:47 PM9/24/21
to
Am 24.09.21 um 10:23 schrieb Ulli Horlacher:
> Ich hab mehrere SAS SSDs, die ich in Standard-PCs betreiben will.
> Ein passender Controller waere zB Fujitsu D2616 LSI 2108 9261-8i SATA /
> SAS RAID
>
> Der bietet Linux dann ein virtuelles SCSI Laufwerk an, was intern ein RAID
> ist.

> Oder sollte ich besser einen SAS Controller nehmen, der die SSDs 1:1 an
> Linux durchreicht (HBA/IT Modus) und dann das RAID mit Linux mdadm machen?

Das hat vor allem den Vorteil, dass man die SSD auch dann noch lesen
kann, wenn mal der Controller verreckt.

Solange man keine extravaganten RAID-Konfigurationen hat, gibt es kaum
noch gute Gründe für Hardware RAID. Spätestens wenn Verschlüselung im
Spiel ist, ist das bisschen RAID-Overhead völlig vernachlässigbar.


Marcel

Gerald E:scher

unread,
Sep 24, 2021, 4:32:48 PM9/24/21
to
Marcel Mueller schrieb am 24/9/2021 22:10:

> Am 24.09.21 um 10:23 schrieb Ulli Horlacher:
>> Ich hab mehrere SAS SSDs, die ich in Standard-PCs betreiben will.
>> Ein passender Controller waere zB Fujitsu D2616 LSI 2108 9261-8i SATA /
>> SAS RAID
>>
>> Der bietet Linux dann ein virtuelles SCSI Laufwerk an, was intern ein RAID
>> ist.
>
>> Oder sollte ich besser einen SAS Controller nehmen, der die SSDs 1:1 an
>> Linux durchreicht (HBA/IT Modus) und dann das RAID mit Linux mdadm machen?
>
> Das hat vor allem den Vorteil, dass man die SSD auch dann noch lesen
> kann, wenn mal der Controller verreckt.

In diesem Fall kein Vorteil, weil eine SAS-SSD ohne SAS-Controller
ohnehin nicht lesbar ist.

--
Gerald

Kay Martinen

unread,
Sep 24, 2021, 5:10:01 PM9/24/21
to
Am 24.09.21 um 22:32 schrieb Gerald E:scher:
> Marcel Mueller schrieb am 24/9/2021 22:10:
>
>> Am 24.09.21 um 10:23 schrieb Ulli Horlacher:
>>> Oder sollte ich besser einen SAS Controller nehmen, der die SSDs 1:1 an
>>> Linux durchreicht (HBA/IT Modus) und dann das RAID mit Linux mdadm machen?
>>
>> Das hat vor allem den Vorteil, dass man die SSD auch dann noch lesen
>> kann, wenn mal der Controller verreckt.
>
> In diesem Fall kein Vorteil, weil eine SAS-SSD ohne SAS-Controller
> ohnehin nicht lesbar ist.

Wieso? Nimmst'e halt einen anderen SAS Controller der NonRaid kennt.

Ｂｙｅ／
／Ｋａｙ

--
🅟🅞🅢🅣🅔🅓 🅥🅘🅐 🅛🅔🅐🅕🅝🅞🅓🅔

Marcel Mueller

unread,
Sep 25, 2021, 1:13:28 AM9/25/21
to
Am 24.09.21 um 23:02 schrieb Kay Martinen:
Oder halt ein anderes Modell bzw. Fabrikat. Genau das funktioniert bei
Hardware RAID mangels Standards nur sehr begrenzt.


Marcel

Marcel Mueller

unread,
Sep 25, 2021, 1:18:43 AM9/25/21
to
Am 24.09.21 um 19:24 schrieb Gerald E:scher:
> Dass der Controller im RAID-Modus TRIMt, ist in diesem Fall ohnehin
> unwahrscheinlich. Die Firmware dieser LSI Controller stammt von 2014,
> 2015, und damals waren SAS-SSDs sowas von überschweineteuer, dass die
> wohl kaum jemand an solche Controller gehängt hat.

Sicher, dich nicht im Jahr vertan zu haben?
Ich habe seit ca. 2010 praktisch nur noch SSDs gekauft und eklatant über
100€ habe ich noch nie für eine SSD bezahlt.

Das soll nicht heißen, dass der Controller TRIM kann, wohl eher nicht,
aber die Begründung haut auch nicht hin.


Marcel

Ulli Horlacher

unread,
Sep 25, 2021, 3:37:56 AM9/25/21
to
Marcel Mueller <news.5...@spamgourmet.org> wrote:
> Am 24.09.21 um 19:24 schrieb Gerald E:scher:
> > Dass der Controller im RAID-Modus TRIMt, ist in diesem Fall ohnehin
> > unwahrscheinlich. Die Firmware dieser LSI Controller stammt von 2014,
> > 2015, und damals waren SAS-SSDs sowas von überschweineteuer, dass die
> > wohl kaum jemand an solche Controller gehängt hat.
>
> Sicher, dich nicht im Jahr vertan zu haben?
> Ich habe seit ca. 2010 praktisch nur noch SSDs gekauft und eklatant über
> 100€ habe ich noch nie für eine SSD bezahlt.

Du hast das "SAS" ueberlesen.
Die SSDs die ich einsetzen will werden gebraucht immer noch um die 3 kEuro
gehandelt.

Ulli Horlacher

unread,
Sep 25, 2021, 3:40:00 AM9/25/21
to
Wie liest man eine(!) RAID5 SSD an einem anderen Controller?

Gerald E:scher

unread,
Sep 25, 2021, 5:59:42 AM9/25/21
to
In bezahlbar gibt es SAS-Controller ohnehin nur mit Chips und Firmware
(MegaRAID oder IT/IR) von LSI/Broadcom. Jedenfalls sind mir noch keine
anderen Chips untergekommen.

--
Gerald

Kay Martinen

unread,
Sep 25, 2021, 8:10:01 AM9/25/21
to
Am 25.09.21 um 09:40 schrieb Ulli Horlacher:
> Kay Martinen <use...@martinen.de> wrote:
>> Am 24.09.21 um 22:32 schrieb Gerald E:scher:
>>> Marcel Mueller schrieb am 24/9/2021 22:10:
>>>
>>>> Am 24.09.21 um 10:23 schrieb Ulli Horlacher:
>>>>> Oder sollte ich besser einen SAS Controller nehmen, der die SSDs 1:1 an
>>>>> Linux durchreicht (HBA/IT Modus) und dann das RAID mit Linux mdadm machen?
>>>>
>>>> Das hat vor allem den Vorteil, dass man die SSD auch dann noch lesen
>>>> kann, wenn mal der Controller verreckt.
>>>
>>> In diesem Fall kein Vorteil, weil eine SAS-SSD ohne SAS-Controller
>>> ohnehin nicht lesbar ist.
>>
>> Wieso? Nimmst'e halt einen anderen SAS Controller der NonRaid kennt.
>
> Wie liest man eine(!) RAID5 SSD an einem anderen Controller?

Da ging es nicht um eine HW-Raid5 SSD sondern um eine SoftRaid5 SSD an
"beliebigem" SAS Controller der sie 1:1 durchreicht.

Die Antwort ist also: Man bindet sie mit mdadm ein.

Solltest du wissen Ulli. Von dir kam doch die Idee mit dem NonRaid
Controller.

Ｂｙｅ／
／Ｋａｙ

--
🅟🅞🅢🅣🅔🅓 🅥🅘🅐 🅛🅔🅐🅕🅝🅞🅓🅔

Ulli Horlacher

unread,
Sep 25, 2021, 12:36:17 PM9/25/21
to
Kay Martinen <use...@martinen.de> wrote:

> >> Wieso? Nimmst'e halt einen anderen SAS Controller der NonRaid kennt.
> >
> > Wie liest man eine(!) RAID5 SSD an einem anderen Controller?
>
> Da ging es nicht um eine HW-Raid5 SSD sondern um eine SoftRaid5 SSD an
> "beliebigem" SAS Controller der sie 1:1 durchreicht.
>
> Die Antwort ist also: Man bindet sie mit mdadm ein.

Hast du das schon mal (erfolgreich!) probiert?
Glaubichnicht :-)

Um eine RAID5 Platte zu lesen, braucht man wenigstens 2 davon, weil die
Daten verteilt sind.

Oder willst du nur den Controller ersetzen?
Ja, DAS geht, aber der Fall "Controller kaputt" ist um Groessenordnungen
seltener als "Platte kaputt" oder "PC kaputt".

Kay Martinen

unread,
Sep 25, 2021, 2:20:02 PM9/25/21
to
Am 25.09.21 um 18:36 schrieb Ulli Horlacher:
> Kay Martinen <use...@martinen.de> wrote:
>
>>>> Wieso? Nimmst'e halt einen anderen SAS Controller der NonRaid kennt.
>>>
>>> Wie liest man eine(!) RAID5 SSD an einem anderen Controller?
>>
>> Da ging es nicht um eine HW-Raid5 SSD sondern um eine SoftRaid5 SSD an
>> "beliebigem" SAS Controller der sie 1:1 durchreicht.
>>
>> Die Antwort ist also: Man bindet sie mit mdadm ein.
>
> Hast du das schon mal (erfolgreich!) probiert?
> Glaubichnicht :-)

Manno. Stellst du dich jetzt absichtlich dämlich? :)

> Um eine RAID5 Platte zu lesen, braucht man wenigstens 2 davon, weil die
> Daten verteilt sind.

Ich wollte noch dazu schreiben das man mindestens 2 Platten des Verbunds
braucht und das Array dann im Degraded-Status zusammen bauen müsste -
oder mit allen dreien. Ich hatte aber angenommen das gerade DU das eh
weißt und die Info obsolet ist.

> Oder willst du nur den Controller ersetzen?

Hier ging es doch speziell um den Fall NonRaid Controller ersetzen gegen
anderen. Vom Zustand der angeschlossenen Platten war bisher nie die rede.

> Ja, DAS geht, aber der Fall "Controller kaputt" ist um Groessenordnungen
> seltener als "Platte kaputt" oder "PC kaputt".

Ey, jetzt bleib mal auf dem Teppich. Sicher stimmt das aber wenn
Platte(n) UND Controller kaputt sind und das gleichzeitig, dann hast du
wohl andere Probleme und brauchst eh dein Backup. Du hast doch eines
oder? ;-)

Das sowas nur funktionieren kann wenn du einen NonRaid SAS Controller
als Ersatz UND mindestens 2 Intakte Drives deines Raid 5 hast war so
klar das ich es nicht weiter erwähnte.

Oder willst du jetzt Trollen? Oder den Advocatus Diaboli aus packen? ;-)


Ｂｙｅ／
／Ｋａｙ

--
🅟🅞🅢🅣🅔🅓 🅥🅘🅐 🅛🅔🅐🅕🅝🅞🅓🅔
0 new messages