100% iowait

Геннадий Ковалёв

unread,

Aug 30, 2018, 3:00:03 AM8/30/18

to

Здоровья всем побольше!

Подскажите, пожалуйста, где копать. Периодически возникает загрузка
iowait 100%.

Debian stretch + backports.

> uname -a
Linux wide 4.17.0-0.bpo.3-amd64 #1 SMP Debian 4.17.17-1~bpo9+1 (2018-
08-27) x86_64 GNU/Linux

В машине 4 винта: sda, sdb, sdc и nvme0 (SSD). Последние два не
используются.

Поверх sda и sdb заведёны три md (0 - root, 1 - boot, 2 - lxc). Поверх
md2 заведён lvm, который используется для контейнеров lxc. Всего три
контейнера.

> smartctl -a /dev/sda | egrep "(^Device\sMo|Sector\sSize)"
Device
Model: WDC WD5000AAKX-001CA0
Sector Size: 512 bytes
logical/physical

> smartctl -a /dev/sdb | egrep "(^Device\sMo|Sector\sSize)"
Device Model: WDC WD5003ABYX-01WERA2
Sector Size: 512 bytes logical/physical

После установки ядра из backports (понадобилось для поддержки фикса mtu
в nftables), периодически (раз в 1-2 часа) началось 100% iowait, фризы
в системе. Через несколько минут отлагивает.

Если в момент фризов запустить iostat, то везде видны нули, кроме:

Device aqu-sz %util
nvme0n1 0,00 0,00
sda 0,00 0,00
sdb 0,00 0,00
sdc 0,00 0,00
md2 0,00 0,00
md0 0,00 0,00
md1 0,00 0,00
dm-0 0,00 0,00
dm-1 0,00 0,00
dm-2 0,00 0,00
dm-3 0,00 0,00
dm-4 0,00 0,00
dm-5 2,00 100,00
dm-6 3,00 100,00
dm-7 1,00 100,00

dm-5,6,7 - это как раз контейнеры lxc на lvm. Контейнеры пересоздал,
даже fs на ext3 там пересоздал на всякий случай.

Без фризов статистика адекватная, везде есть разумные цифири.

В логах иногда сыпится

INFO: task kworker/u8:5:196 blocked for more than 120 seconds.
Not tainted 4.17.0-0.bpo.3-amd64 #1 Debian 4.17.17-1~bpo9+1

Задачи разные. Ну это понятно io-подсистема зависла, у процессов
сложности.

Куда копать?

Alexander Gerasiov

unread,

Aug 30, 2018, 6:20:03 AM8/30/18

to

Hello Геннадий,

On Thu, 30 Aug 2018 00:12:08 +0300
Геннадий Ковалёв <g...@bigur.ru> wrote:

> Здоровья всем побольше!
>
> Подскажите, пожалуйста, где копать. Периодически возникает загрузка
> iowait 100%.
>
> Debian stretch + backports.
>
> > uname -a
> Linux wide 4.17.0-0.bpo.3-amd64 #1 SMP Debian 4.17.17-1~bpo9+1 (2018-
> 08-27) x86_64 GNU/Linux
>

...

> Задачи разные. Ну это понятно io-подсистема зависла, у процессов
> сложности.
>
>
> Куда копать?

На стабильное ядро откатиться посмотреть не вариант?
Больше ничего в dmesg подозрительного нет? smartctl -a?

--
Best regards,
Alexander Gerasiov

Contacts:
e-mail: g...@cs.msu.su WWW: http://gerasiov.net TG/Skype: gerasiov
PGP fingerprint: 04B5 9D90 DF7C C2AB CD49 BAEA CA87 E9E8 2AAC 33F1

Aleksandr Sytar

unread,

Aug 31, 2018, 3:30:02 AM8/31/18

to

чт, 30 авг. 2018 г. в 9:56, Геннадий Ковалёв <g...@bigur.ru>:

Здоровья всем побольше!

Подскажите, пожалуйста, где копать. Периодически возникает загрузка
iowait 100%.

IO-wait говорит о том что проц ждет когда диски прочихаются. Смотреть на диски, на ядерную статистику по ним в /sys/block/sda/stat

Если система с флешки грузится - то и по ней тоже надо смотреть

Геннадий Ковалёв

unread,

Sep 3, 2018, 5:10:02 PM9/3/18

to

В Чт, 30/08/2018 в 14:54 +0300, Геннадий Ковалёв пишет:
> В Чт, 30/08/2018 в 13:06 +0300, Alexander Gerasiov пишет:

> > На стабильное ядро откатиться посмотреть не вариант?
> > Больше ничего в dmesg подозрительного нет? smartctl -a?
>

> Откатываться совсем на старое ядро рассматриваю как самый запасной
> вариант. Погнались за модой, за nftables, который в ядрах до 4.14 не

Короче для истории... Не победил, откатился. Со старым ядром всё ок.
Заменил nftables обратно на iptables.

Aleksey

unread,

Sep 6, 2018, 4:10:02 PM9/6/18

to

Аналогичная ерунда сразу обновления до buster.

$ uname -a
Linux main01 4.17.0-3-amd64 #1 SMP Debian 4.17.17-1 (2018-08-18) x86_64
GNU/Linux

04.09.2018 00:02, Геннадий Ковалёв пишет:

Aleksey

unread,

Oct 25, 2018, 4:20:03 PM10/25/18

to

04.09.2018 00:02, Геннадий Ковалёв пишет:

В общем, вдруг кому-то поможет:
Я не уверен, что причина в этом, но проблема исчезла сразу, как только я
отключил apparmor для thunderbird. Перевести в complain режим у меня не
вышло, просто отключил, может позже разберусь. Вот уже несколько дней
проблема не проявляется а до этого было пару раз за день. А если учесть,
что "From Linux 4.13.10-1, AppArmor is enabled by default", то
становится понятным почему помогает откат на более старую версию ядра.
Скорее всего проблема проявляется только с md разделами.

Что еще заметил: если система заморозилась, то достаточно из консоли
сделать smartctl -a /dev/sdX , где sdX один из физических дисков в
составе md раздела.