LSI Logic / Symbios Logic SAS2008 PCI-Express

[ein]

Jestem w ciężkim szoku jeżeli chodzi o wydajność I/O w zapisie i
odczycie sekwencyjnym w tak mocno budżetowym sprzęcie, więc publikuje
wyniki, może komuś się przyda.

root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=22000000+0
records in
2000000+0 records out
8192000000 bytes (8.2 GB) copied, 38.4861 s, 213 MB/s


root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=2000000
2000000+0 records out
8192000000 bytes (8.2 GB) copied, 46.4666 s, 176 MB/s


Wyniki prawie 2 razy lepsze w porównaniu z programowym rozwiązaniem (mdadm).

root@debian:~# lspci
00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v2/Ivy Bridge DRAM
Controller (rev 09)
00:01.0 PCI bridge: Intel Corporation Xeon E3-1200 v2/3rd Gen Core
processor PCI Express Root Port (rev 09)
00:1a.0 USB controller: Intel Corporation 6 Series/C200 Series Chipset
Family USB Enhanced Host Controller #2 (rev 04)
00:1c.0 PCI bridge: Intel Corporation 6 Series/C200 Series Chipset
Family PCI Express Root Port 1 (rev b4)
00:1c.4 PCI bridge: Intel Corporation 6 Series/C200 Series Chipset
Family PCI Express Root Port 5 (rev b4)
00:1d.0 USB controller: Intel Corporation 6 Series/C200 Series Chipset
Family USB Enhanced Host Controller #1 (rev 04)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev a4)
00:1f.0 ISA bridge: Intel Corporation C202 Chipset Family LPC Controller
(rev 04)
00:1f.2 SATA controller: Intel Corporation 6 Series/C200 Series Chipset
Family SATA AHCI Controller (rev 04)
00:1f.3 SMBus: Intel Corporation 6 Series/C200 Series Chipset Family
SMBus Controller (rev 04)
01:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic
SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)
03:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5722
Gigabit Ethernet PCI Express
04:03.0 VGA compatible controller: Matrox Electronics Systems Ltd. MGA
G200eW WPCM450 (rev 0a)

cat /proc/cpuinfo:
model name : Intel(R) Xeon(R) CPU E3-1220 V2 @ 3.10GHz

dmidecode:
Dell PowerEdge T110 II

W środku dwa dyski Seagate 1 TB ES.3 7200 SATA (złożone w RAID1).
Najtaniej jak znalazłem: 3'500 zł.

Typ obudowy serwera Tower
Nazwa rodziny produktów PowerEdge T110 II
Ilość zainstalowanych procesorów 1 szt.
Maksymalna ilość procesorów 1 szt.
Typ zainstalowanego procesora Intel Xeon /Quad-Core/
Kod procesora E3-1220
Częstotliwość procesora 3,1 GHz
Częstotliwość szyny QPI/DMI 5 GT/s
Pojemność pamięci cache [L3] 8 MB
Technologia Hyperthreading Nie
Ilość zainstalowanych dysków 2 szt.
Maksymalna ilość dysków 4 szt.
Pojemność zainstalowanego dysku

1 TB
1 TB

Typ zainstalowanego dysku SATA III
Sterownik macierzy PERC H200 RAID 0,1,10
Pojemność zainstalowanej pamięci 4096 MB
Maksymalna pojemność pamięci 32768 MB
Rodzaj zainstalowanej pamięci DDR3
Częstotliwość szyny pamięci 1600 MHz
Ilość banków pamięci 4 szt.
Ilość wolnych banków pamięci 3 szt.
Ilość slotów PCI-E 8x 2 szt.
Ilość slotów PCI-E 4x 1 szt.
Ilość slotów PCI-E 1x 1 szt.
Typ karty graficznej Matrox G200eW [8MB]
Karta sieciowa 10/100/1000 Mbit/s
Napędy wbudowane (zainstalowane) DVD-RW
Ilość zasilaczy 1 szt.
Moc zasilacza (zasilaczy) 305 Wat
Szerokość 189,35 mm
Wysokość 463,82 mm
Głębokość 420,3 mm

[ein]

ein wrote:
> Jestem w ciężkim szoku jeżeli chodzi o wydajność I/O w zapisie i
> odczycie sekwencyjnym w tak mocno budżetowym sprzęcie, więc publikuje
> wyniki, może komuś się przyda.

Konfiguracja Debiana 7:
LVM+ext4 z domyślnymi ust.

[ein]

Dyski to: ST1000NM0033-9ZMGA04

[Krzysztof Halasa]

ein <e...@no.spam> writes:

> Jestem w ciężkim szoku jeżeli chodzi o wydajność I/O w zapisie i
> odczycie sekwencyjnym w tak mocno budżetowym sprzęcie, więc publikuje
> wyniki, może komuś się przyda.
>
> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=22000000+0
> records in
> 2000000+0 records out
> 8192000000 bytes (8.2 GB) copied, 38.4861 s, 213 MB/s
>
>
> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=2000000
> 2000000+0 records out
> 8192000000 bytes (8.2 GB) copied, 46.4666 s, 176 MB/s
>
>
> Wyniki prawie 2 razy lepsze w porównaniu z programowym rozwiązaniem
> (mdadm).

Lepsze? Raczej dają (prawie) dwukrotnie szybsze pojedyncze liniowe
transfery. Linux w swoim RAID-1 nie robi strippingu, zamiast tego
balansuje obciążenie, co pozwala podwoić liczbę operacji / sekundę
(i to jest typowo istotne).

Ale przecież możesz użyć RAID-10 z layoutem "far", będziesz miał tak jak
tam. No może trochę wydajniej, te powyższe wyniki jakieś zaniżone.

BTW obydwa rozwiązania są programowe.

> W środku dwa dyski Seagate 1 TB ES.3 7200 SATA (złożone w RAID1).
> Najtaniej jak znalazłem: 3'500 zł.
>
> Typ obudowy serwera Tower
> Nazwa rodziny produktów PowerEdge T110 II

Jasne że to słabiutka maszynka, ale w takim teście liczy się głównie
wydajność dysków, i ich konfiguracja.
--
Krzysztof Hałasa

[ein]

Krzysztof Halasa wrote:
> ein <e...@no.spam> writes:
>
>> Jestem w ciężkim szoku jeżeli chodzi o wydajność I/O w zapisie i
>> odczycie sekwencyjnym w tak mocno budżetowym sprzęcie, więc publikuje
>> wyniki, może komuś się przyda.
>>
>> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=22000000+0
>> records in
>> 2000000+0 records out
>> 8192000000 bytes (8.2 GB) copied, 38.4861 s, 213 MB/s
>>
>>
>> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=2000000
>> 2000000+0 records out
>> 8192000000 bytes (8.2 GB) copied, 46.4666 s, 176 MB/s
>>
>> Wyniki prawie 2 razy lepsze w porównaniu z programowym rozwiązaniem
>> (mdadm).
>
> Lepsze? Raczej dają (prawie) dwukrotnie szybsze pojedyncze liniowe
> transfery.

O to mi właśnie chodzi, w programowym (mdadm) niestety to tak nie
chodzi, a szkoda.

> Linux w swoim RAID-1 nie robi strippingu, zamiast tego
> balansuje obciążenie, co pozwala podwoić liczbę operacji / sekundę
> (i to jest typowo istotne).

Zależy od zastosowania. Ja większość czasu czekam jednak na zakończenie
jednego procesu, w wirtualizacji ma to również spore znaczenie,
przynajmniej dla mnie, gdzie gość jest obok nudzącego się gospodarza.

> Ale przecież możesz użyć RAID-10 z layoutem "far", będziesz miał tak jak
> tam. No może trochę wydajniej, te powyższe wyniki jakieś zaniżone.

Moim celem było porównanie tego kontrolera skonfigurowanego w RAID1 z
jego programowym odpowiednikiem. Zgodzę się, że RAID-10 w Linuksie ma
naprawdę spore możliwości.

Zgodzę się, że 10-15 % wciąż mi brakuje. Jutro wyciągnę jeden z tych
dysków i sprawdzę jak to faktycznie wygląda.

> BTW obydwa rozwiązania są programowe.

Nie rozumiem do czego się Panie Krzysztofie odnosisz.

>> W środku dwa dyski Seagate 1 TB ES.3 7200 SATA (złożone w RAID1).
>> Najtaniej jak znalazłem: 3'500 zł.
>>
>> Typ obudowy serwera Tower
>> Nazwa rodziny produktów PowerEdge T110 II
>
> Jasne że to słabiutka maszynka, ale w takim teście liczy się głównie
> wydajność dysków, i ich konfiguracja.

Porównując maszynki o podobnej cenie np. HP ML110 G5/6/7/8 ichni
kontroler (tam jest gł. AFAIR MegaRAID 1xx/2xx) wypada to naprawdę
słabo. Na tyle słabo, że w ogóle nie opłaca się stosować sprzętowego
rozwiązania. Przemawiają za tym dwie kwestie:
- sekwencyjna prędkość odczytu RAID1 sprzętowego dla jednego procesu
jest o jakieś 10-15 % mniejszy w porównaniu z programowym,
- dla dwóch czytających procesów, nie ma striping-u, co powoduje, że
każdy z tych dwóch procesów otrzymuje jakieś 35-45 % sumarycznego transferu.

[Krzysztof Halasa]

ein <e...@no.spam> writes:

>> Ale przecież możesz użyć RAID-10 z layoutem "far", będziesz miał tak jak
>> tam. No może trochę wydajniej, te powyższe wyniki jakieś zaniżone.
>
> Moim celem było porównanie tego kontrolera skonfigurowanego w RAID1 z
> jego programowym odpowiednikiem. Zgodzę się, że RAID-10 w Linuksie ma
> naprawdę spore możliwości.

Tak jak pisałem, oba rozwiązania są programowe. Kwestia procesora, na
którym się program wykonuje. Może to być główny CPU, i wtedy mamy np.
Linux MD, albo procesor (typowo dużo słabszy, ale często wystarczający)
na karcie (itp.) RAID, i wtedy to jest kontroler RAID.

Akurat w tym przypadku zapewne odpowiednikiem danego trybu tego
kontrolera jest tryb MD RAID-10 z layoutem "far", a nie RAID-1. Chyba że
to jakiś tryb adaptacyjny, z pseudo strippingiem albo balansowaniem
obciążenia zależnie od sytuacji(?).

> Porównując maszynki o podobnej cenie np. HP ML110 G5/6/7/8 ichni
> kontroler (tam jest gł. AFAIR MegaRAID 1xx/2xx) wypada to naprawdę
> słabo. Na tyle słabo, że w ogóle nie opłaca się stosować sprzętowego
> rozwiązania. Przemawiają za tym dwie kwestie:
> - sekwencyjna prędkość odczytu RAID1 sprzętowego dla jednego procesu
> jest o jakieś 10-15 % mniejszy w porównaniu z programowym,

Typowe zachowanie takich mirrorów. Słabszy CPU, większe opóźnienia.
Aczkolwiek ruch na szynie np. PCIe jest 2x mniejszy niż z Linux MD.

> - dla dwóch czytających procesów, nie ma striping-u, co powoduje, że
> każdy z tych dwóch procesów otrzymuje jakieś 35-45 % sumarycznego transferu.

Sumarycznego transferu 2 dysków bez RAIDa, jak rozumiem. Normalne
zachowanie RAID. Ale w typowych warunkach, gdzie na dyskach wisi więcej
niż podwójne obciążenie (a typowo jest dużo więcej), taki RAID-1 jest
wydajniejszy. Oczywiście nie od MD RAID-1, chyba że wliczamy baterię
i flushe do podtrzymywanej pamięci.

Z MD także są różne sytuacje, np. starsze maszynki oparte na CPU Intela
miały bardzo wąskie gardło pomiędzy CPU i SATA (w praktyce grubo poniżej
500 MB/s), i momentalnie się to wysycało. Z kartą z RAID-1 takiego
problemu nie było (2x mniejsze wymagania, poza tym karty PCIe można
podpiąć też do mostu północnego).

W tej chwili, i właściwie praktycznie zawsze wydajność dysków była
ograniczona liczbą operacji/sekundę. Stąd przewaga RAID-1,
i nieistotność braku strippingu. To właśnie dlatego dyski SCSI/SAS były
dużo wydajniejsze niż IDE/SATA, mimo teoretycznie niewiele większych
transferów liniowych.

Oczywiście od tej zasady były wyjątki, teraz może mniej istotne.
Np. jednym z nich była praca z video, np. z DV (25 Mbit/s) albo
z nieskompresowanymi strumieniami np. z frame grabbera (np. PAL 704x576
50i to ok. 20 MB/s). Obecnie pojedynczy dysk bez trudu zapisze kilka
strumieni np. YUV420 jednocześnie, a takich DV lub np. H.264 nawet HD,
jest w stanie zapisać jeszcze więcej. Kiedyś, żeby zapisać jeden
strumień (nieskompresowany, bo kompresorów realtime praktycznie nie
było) trzeba było użyć nawet kilku dysków w strippingu.
--
Krzysztof Hałasa

[Krystian]

ein wrote:

a sprawdza�e� taki parametr jak
/proc/sys/dev/raid/speed_limit_max

zazwyczaj jest ustawiony na 200000 i dopiero modyfikacja go pomaga od�y�
RAID-owi,

pozdrawiam Krystian


> Jestem w ci�kim szoku je�eli chodzi o wydajno�� I/O w zapisie i
> odczycie sekwencyjnym w tak mocno bud�etowym sprz�cie, wi�c publikuje
> wyniki, mo�e komu� si� przyda.

>
> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=22000000+0
> records in
> 2000000+0 records out
> 8192000000 bytes (8.2 GB) copied, 38.4861 s, 213 MB/s
>
>
> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=2000000
> 2000000+0 records out
> 8192000000 bytes (8.2 GB) copied, 46.4666 s, 176 MB/s
>
>

> Wyniki prawie 2 razy lepsze w por�wnaniu z programowym rozwi�zaniem (mdadm).

> W �rodku dwa dyski Seagate 1 TB ES.3 7200 SATA (z�o�one w RAID1).
> Najtaniej jak znalaz�em: 3'500 z�.
>
> Typ obudowy serwera Tower
> Nazwa rodziny produkt�w PowerEdge T110 II
> Ilo�� zainstalowanych procesor�w 1 szt.
> Maksymalna ilo�� procesor�w 1 szt.

> Typ zainstalowanego procesora Intel Xeon /Quad-Core/
> Kod procesora E3-1220

> Cz�stotliwo�� procesora 3,1 GHz
> Cz�stotliwo�� szyny QPI/DMI 5 GT/s
> Pojemno�� pami�ci cache [L3] 8 MB
> Technologia Hyperthreading Nie
> Ilo�� zainstalowanych dysk�w 2 szt.
> Maksymalna ilo�� dysk�w 4 szt.
> Pojemno�� zainstalowanego dysku

>
> 1 TB
> 1 TB
>
> Typ zainstalowanego dysku SATA III
> Sterownik macierzy PERC H200 RAID 0,1,10

> Pojemno�� zainstalowanej pami�ci 4096 MB
> Maksymalna pojemno�� pami�ci 32768 MB
> Rodzaj zainstalowanej pami�ci DDR3
> Cz�stotliwo�� szyny pami�ci 1600 MHz
> Ilo�� bank�w pami�ci 4 szt.
> Ilo�� wolnych bank�w pami�ci 3 szt.
> Ilo�� slot�w PCI-E 8x 2 szt.
> Ilo�� slot�w PCI-E 4x 1 szt.
> Ilo�� slot�w PCI-E 1x 1 szt.

> Typ karty graficznej Matrox G200eW [8MB]
> Karta sieciowa 10/100/1000 Mbit/s

> Nap�dy wbudowane (zainstalowane) DVD-RW
> Ilo�� zasilaczy 1 szt.

> Moc zasilacza (zasilaczy) 305 Wat

> Szeroko�� 189,35 mm
> Wysoko�� 463,82 mm
> G��boko�� 420,3 mm

[ein]

Krystian wrote:
> ein wrote:
>
> a sprawdzałeś taki parametr jak
> /proc/sys/dev/raid/speed_limit_max
>
> zazwyczaj jest ustawiony na 200000 i dopiero modyfikacja go pomaga odżyć
> RAID-owi,

Albo nie doczytałeś tematu albo nie rozumiesz parametru:

The /proc/sys/dev/raid/speed_limit_min is config file that reflects the
current “goal” rebuild speed for times when non-rebuild activity is
current on an array. The speed is in Kibibytes per second, and is a
per-device rate, not a per-array rate . The default is 1000.

The /proc/sys/dev/raid/speed_limit_max is config file that reflects the
current “goal” rebuild speed for times when no non-rebuild activity is
current on an array. The default is 100,000.


Nie ma to żadnego związku z odczytem, bądź zapisem sekwencyjnym/losowym
z maksymalną prędkością.