Synchronizacja macierzy RAID1 (linux kernel mdadm) a jajko

[ein]

Dobry wieczór,

Mam serwerek na standardowym Slacku 13.0 architektura x86 a na nim
programowy RAID1 oparty o jajkowy mdadm. Dyski (2 szt.) jakie tam siedzą
to 1TB WD Green-y: WDC WD10EARS-00Y5B1.

~# uname -a
2.6.29.6-smp #2 SMP Mon Dec 7 16:02:16 CST 2009 i686 Quad-Core AMD
Opteron(tm) Processor 1352 AuthenticAMD GNU/Linux
~# cat /etc/slackware-version
Slackware 13.0.0.0.0
~# hdparm -i /dev/sdd
/dev/sdd:
Model=WDC WD10EARS-00Y5B1 , FwRev=80.00A80,
SerialNo= WD-WCAV5S411785
Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=50
BuffType=unknown, BuffSize=0kB, MaxMultSect=16, MultSect=?0?
CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=1953525168
IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
PIO modes: pio0 pio3 pio4
DMA modes: mdma0 mdma1 mdma2
UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
AdvancedPM=no WriteCache=enabled
Drive conforms to: Unspecified: ATA/ATAPI-1,2,3,4,5,6,7
* signifies the current active mode

Do testów powierzchni (tylko /dev/sdd, ale o tym niżej) jakie robiłem
wykorzystałem: MHDD, WD safe guard (long), badblocks -w. Nie wykryły błędów.

Do wyników S.M.A.R.T. przyczepić się nie mogę:

=== START OF INFORMATION SECTION ===
Device Model: WDC WD10EARS-00Y5B1
Serial Number: WD-WCAV5S411785
Firmware Version: 80.00A80
User Capacity: 1,000,204,886,016 bytes
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: 8
ATA Standard is: Exact ATA specification draft version not indicated
Local Time is: Wed Nov 23 22:48:53 2011 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE
UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always
- 0
3 Spin_Up_Time 0x0027 224 188 021 Pre-fail Always
- 4783
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always
- 37
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always
- 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always
- 0
9 Power_On_Hours 0x0032 097 097 000 Old_age Always
- 2626
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always
- 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always
- 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always
- 30
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always
- 26
193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always
- 226
194 Temperature_Celsius 0x0022 121 098 000 Old_age Always
- 26
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always
- 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always
- 0
198 Offline_Uncorrectable 0x0030 200 200 000 Old_age
Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always
- 0
200 Multi_Zone_Error_Rate 0x0008 200 200 000 Old_age
Offline - 0

SMART Error Log Version: 1
No Errors Logged

A mimo wszystko podczas synchronizacji macierzy... (fragment):

md: recovery of RAID array md2
md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
md: using maximum available idle IO bandwidth (but not more than 200000
KB/sec) for recovery.
md: using 128k window, over a total of 976759936 blocks.
ata4: EH in SWNCQ mode,QC:qc_active 0x7FFFFFFF sactive 0x7FFFFFFF
ata4: SWNCQ:qc_active 0x2 defer_bits 0x7FFFFFFD last_issue_tag 0x1
dhfis 0x2 dmafis 0x2 sdbfis 0x0
ata4: ATA_REG 0x40 ERR_REG 0x0
ata4: tag : dhfis dmafis sdbfis sacitve
ata4: tag 0x1: 1 1 0 1
ata4.00: exception Emask 0x0 SAct 0x7fffffff SErr 0x0 action 0x6 frozen
ata4.00: cmd 61/80:00:3f:d6:03/00:00:26:00:00/40 tag 0 ncq 65536 out
res 40/00:00:09:4f:c2/00:00:74:00:00/00 Emask 0x4 (timeout)
ata4.00: status: { DRDY }

[...]

end_request: I/O error, dev sdd, sector 637789247
sd 5:0:0:0: [sdd] Result: hostbyte=0x00 driverbyte=0x08
sd 5:0:0:0: [sdd] Sense Key : 0xb [current] [descriptor]
Descriptor sense data with sense descriptors (in hex):
72 0b 00 00 00 00 00 0c 00 0a 80 00 00 00 00 00
00 00 00 00
sd 5:0:0:0: [sdd] ASC=0x0 ASCQ=0x0
end_request: I/O error, dev sdd, sector 637789375
ata4: EH complete
ata4.00: detaching (SCSI 5:0:0:0)
sd 5:0:0:0: [sdd] Synchronizing SCSI cache
sd 5:0:0:0: [sdd] Result: hostbyte=0x04 driverbyte=0x00
sd 5:0:0:0: [sdd] Stopping disk
sd 5:0:0:0: [sdd] START_STOP FAILED
sd 5:0:0:0: [sdd] Result: hostbyte=0x04 driverbyte=0x00
RAID1 conf printout:
--- wd:1 rd:2
disk 0, wo:0, o:1, dev:sdc1
disk 1, wo:1, o:0, dev:sdd1

Wszystko jest jeszcze na gwarancji tylko nie ma się do czego przyczepić.
Ma ktoś jakiś pomysł?

Pozdrawiam.

[ein]

Zapomniałem dodać:
1. 'kabelkologie sprawdzałem'. Inne kanały, kable itd.
2. Testy powierzchni były robione na kilku różnych fizycznych maszynach.
3. Serwerem jest HP Proliant ML 110 chyba G5 z RAMem ECC (testów nie
robiłem, bo maszyna jest daleko, ale inne wszystko działa).
4. Na tym serwerze jest jeszcze zrobiony RAID1 na WD Black 250 GB i nie
ma problemu.

I z góry dzięki za pomoc. :)

[ein]

5. Mam dokładnie jeszcze jedną taką samą konfigurację (dyski te same,
różnica że HPek to G6) u tego samego klienta tylko Slackware jest 13.1
x64, działa bez problemu.

[bartek szurgot]

faktycznie wygląda to dziwnie. na myśl przychodzą mi następujące
scenariusze/testy:
1. podpięcie innego dysku >=1TB (np. z innego serwera) i próba
synchronizowania z nim.
2. być może zasilacz się nie wyrabia pod dużym obciążeniem i elektronika
dysku głupieje? w takim wypadku wymiana zasilacza na mocniejszy
rozwiązałaby sprawę.
3. problem może być też z softem - mogłeś trafić na jakiś nietypowy
błąd, występujący przy bardzo specyficznych warunkach. najprościej
byłoby uruchomić system na nowszym jajku i zobaczyć czy problem nadal
występuje.

--
pozdrawiam serdecznie / best regards,
bartek szurgot
/* http://www.baszerr.org */

[J-23]

W dniu 23.11.2011 22:56, ein pisze:

Zamień kontrorery na dyskach i zobacz czy problem będzie występował
dalej pod ata4. Jeśli tak to nie jest to wina dysku tylko albo jest
problem z jajkiem albo sprzętem.

Pozdrawiam

[Krzysztof Halasa]

ein <e...@no.spam> writes:

> md: recovery of RAID array md2
> md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
> md: using maximum available idle IO bandwidth (but not more than 200000
> KB/sec) for recovery.
> md: using 128k window, over a total of 976759936 blocks.
> ata4: EH in SWNCQ mode,QC:qc_active 0x7FFFFFFF sactive 0x7FFFFFFF
> ata4: SWNCQ:qc_active 0x2 defer_bits 0x7FFFFFFD last_issue_tag 0x1
> dhfis 0x2 dmafis 0x2 sdbfis 0x0
> ata4: ATA_REG 0x40 ERR_REG 0x0
> ata4: tag : dhfis dmafis sdbfis sacitve
> ata4: tag 0x1: 1 1 0 1
> ata4.00: exception Emask 0x0 SAct 0x7fffffff SErr 0x0 action 0x6 frozen
> ata4.00: cmd 61/80:00:3f:d6:03/00:00:26:00:00/40 tag 0 ncq 65536 out
> res 40/00:00:09:4f:c2/00:00:74:00:00/00 Emask 0x4 (timeout)
> ata4.00: status: { DRDY }

SATA - NVidia wczesniejsza niz AHCI?
Jesli tak, to pamietam ze niektore dyski mialy z tym problem
(w polaczeniu z NCQ). Kwestia bledow w firmware dyskow, niektorzy
producenci dyskow mieli na to patche.

Wylacznie NCQ takze powinno pomoc.
--
Krzysztof Halasa

[ein]

On 11/26/2011 03:57 PM, Krzysztof Halasa wrote:
> ein <e...@no.spam> writes:
>
>> md: recovery of RAID array md2
>> md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
>> md: using maximum available idle IO bandwidth (but not more than 200000
>> KB/sec) for recovery.
>> md: using 128k window, over a total of 976759936 blocks.
>> ata4: EH in SWNCQ mode,QC:qc_active 0x7FFFFFFF sactive 0x7FFFFFFF
>> ata4: SWNCQ:qc_active 0x2 defer_bits 0x7FFFFFFD last_issue_tag 0x1
>> dhfis 0x2 dmafis 0x2 sdbfis 0x0
>> ata4: ATA_REG 0x40 ERR_REG 0x0
>> ata4: tag : dhfis dmafis sdbfis sacitve
>> ata4: tag 0x1: 1 1 0 1
>> ata4.00: exception Emask 0x0 SAct 0x7fffffff SErr 0x0 action 0x6 frozen
>> ata4.00: cmd 61/80:00:3f:d6:03/00:00:26:00:00/40 tag 0 ncq 65536 out
>> res 40/00:00:09:4f:c2/00:00:74:00:00/00 Emask 0x4 (timeout)
>> ata4.00: status: { DRDY }

O! O! O!!! ;)

> SATA - NVidia wczesniejsza niz AHCI?

00:05.0 IDE interface: nVidia Corporation MCP55 SATA Controller (rev a3)
00:05.1 IDE interface: nVidia Corporation MCP55 SATA Controller (rev a3)
00:05.2 IDE interface: nVidia Corporation MCP55 SATA Controller (rev a3)

Przepraszam za pomyłkę, ale ze względu na brak dostępu to jest inny
serwer niż podałem (ML115):

System Information
Manufacturer: HP
Product Name: ProLiant ML115 G5
Version:
Serial Number: CZC94743QJ
UUID: 07C26188-1715-1DD2-11B2-0025B3E64AC8
Wake-up Type: Power Switch
SKU Number: 470064-894

Jego specyfikacja techniczna:
http://h18000.www1.hp.com/products/quickspecs/13013_na/13013_na.HTML

> Jesli tak, to pamietam ze niektore dyski mialy z tym problem
> (w polaczeniu z NCQ). Kwestia bledow w firmware dyskow, niektorzy
> producenci dyskow mieli na to patche.
>
> Wylacznie NCQ takze powinno pomoc.

Zrobiłem tak:
~# echo 1 > /sys/block/sdd/device/queue_depth
~# echo 1 > /sys/block/sdc/device/queue_depth
(dla dysków wchodzących w skład problematycznej macierzy)

Czekam na wyniki.

Dziękuję wszystkim za zainteresowanie i analizę. Pozdrawiam.

[ein]

On 11/27/2011 11:43 AM, ein wrote:
> On 11/26/2011 03:57 PM, Krzysztof Halasa wrote:

[...]

>> Wylacznie NCQ takze powinno pomoc.
>
> Zrobiłem tak:
> ~# echo 1 > /sys/block/sdd/device/queue_depth
> ~# echo 1 > /sys/block/sdc/device/queue_depth
> (dla dysków wchodzących w skład problematycznej macierzy)

To nie tak, jeszcze będę szukał.