periodikus load megugrás
Dologh Ervin
Üdv!
Adott egy Debian (Jessie, rendszeresen frissített) virtuális szerver, 100+ felhasználóval,
akik vékony kliensről csatlakoznak föl, és általában szokásos programokat használnak
(többnyire Libreoffice, Iceweasel, de van még néhány). A virtuális gép 4 processzorral
és 24 GB memóriával rendelkezik, a felhasználói könyvtárak és a virtuális gép image is
iscsi-n keresztül látszik.
A load normálisan 3-5 között ingadozik, néha fölmegy 6-7-re. Azonban kb.1235
másodpercenként jön egy hirtelen tüske, ami 30-40-es load-ot jelent, majd szépen
exponenciálisan visszacsökken a normál szintre. Ezek a megugrások nem okoznak
fennakadást a munkában, de úgy gondolom, mégis jó lenne tudni az okát. Próbáltam
megnézni, hogy melyik processz eszik hirtelen több cpu-t vagy memóriát: egyik sem.
A wait állapotok is teljesen normálisak. Egyszerűen semmit nem találtam, ami magyarázná
a jelenséget.
A load megugrás nagysága némileg függ az aktuálisan bejelentkezett felhasználók
számától, azonban a periódusa nem. Sőt, a jelenség éjszaka is jelentkezik, de alig
észrevehető amplitúdóval, valamint egy másik szerveren is (Debian Wheezy, nem
virtualizált, 8 processzor, 32GB ram, 0 terhelés mert jelenleg nincs használatban),
pontosan azonos periódussal.
Neten kerestem infót, de nem találtam. Arra gyanakszom, hogy valamilyen garbage
collection folyamat, vagy hasonló lehet.
Tudja valaki, hogy mi ez, meg lehet-e szüntetni, kell-e félni tőle, stb.?
Előre is köszönöm a segítséget.
--
Ervin
--
linux++ mailing list
lin...@mlf.linux.rulez.org
http://mlf.linux.rulez.org/mailman/listinfo/linux++
PÁSZTOR György
"Dologh Ervin" <dol...@freemail.hu> írta 2015-06-10 13:20-kor:
> A load megugrás nagysága némileg függ az aktuálisan bejelentkezett felhasználók
> számától, azonban a periódusa nem. Sőt, a jelenség éjszaka is jelentkezik, de alig
> észrevehető amplitúdóval, valamint egy másik szerveren is (Debian Wheezy, nem
> virtualizált, 8 processzor, 32GB ram, 0 terhelés mert jelenleg nincs használatban),
> pontosan azonos periódussal.
Tippelhetek?
Ez is ugyanarról az iscsi storage-ról kap maga alá lemezt?
> Neten kerestem infót, de nem találtam. Arra gyanakszom, hogy valamilyen garbage
> collection folyamat, vagy hasonló lehet.
>
> Tudja valaki, hogy mi ez, meg lehet-e szüntetni, kell-e félni tőle, stb.?
Első körben, ha még nincs, akkor én tennék munin-node -ot mindkettőre, és
ha van rá keret, akkor egy külön gépről munin-nal monitoroznám őket.
Megnézném, hogy ezekkel a ca. 20 percenkénti load fickándozásokkal mi esik
egybe.
Én, a fenti iscsi-s teóriám mentén, arra tippelnék, hogy ilyenkor a
lemezeken az iowait-ek is megnőnek / latency, vagy valami hasonló mérőszám.
Próbálna olvasni a lemezről, vár... Picit megakad, majd továbblendül.
Ha sikerül ezt igazolnod, akkor következő lépés, kideríteni a root-cause-t:
-> A storage servered "matat" ilyenkor valamit, vagy "útközben" torlódik
össze valami.
Azt sem árt nem elfelejteni, hogy iscsi tcp-n megy. tcp-nek is lehet
érdekes működése, és sok apró paraméter tudja befolyásolni a pontos valódi
működését, kezdve pl. avval, hogy milyen congestion avoidance algoritmust
használsz.
Üdv,
Gyu
Dologh Ervin
"PÁSZTOR György" <pas...@linux.gyakg.u-szeged.hu> írta:
>Hi,
>
>"Dologh Ervin" <dol...@freemail.hu> írta 2015-06-10 13:20-kor:
>> A load megugrás nagysága némileg függ az aktuálisan bejelentkezett felhasználók
>> számától, azonban a periódusa nem. Sőt, a jelenség éjszaka is jelentkezik, de alig
>> észrevehető amplitúdóval, valamint egy másik szerveren is (Debian Wheezy, nem
>> virtualizált, 8 processzor, 32GB ram, 0 terhelés mert jelenleg nincs használatban),
>> pontosan azonos periódussal.
>
>Tippelhetek?
>Ez is ugyanarról az iscsi storage-ról kap maga alá lemezt?
Sajnos nem nyert. A wheezy egy teljesen önállóan, saját háttértárról futó gép. Igaz, hogy a felhasználói könyvtárakat nfs-en keresztül a jessie-ről mountolja, de a load csúcsok nincsenek feltétlenül szinkronban. Ha pl az egyiket újraindítom, a csúcsok időpontjai a két gépen elcsúsznak egymáshoz képest.
>> Neten kerestem infót, de nem találtam. Arra gyanakszom, hogy valamilyen garbage
>> collection folyamat, vagy hasonló lehet.
>>
>> Tudja valaki, hogy mi ez, meg lehet-e szüntetni, kell-e félni tőle, stb.?
>
>Első körben, ha még nincs, akkor én tennék munin-node -ot mindkettőre, és
>ha van rá keret, akkor egy külön gépről munin-nal monitoroznám őket.
>Megnézném, hogy ezekkel a ca. 20 percenkénti load fickándozásokkal mi esik
>egybe.
>Én, a fenti iscsi-s teóriám mentén, arra tippelnék, hogy ilyenkor a
>lemezeken az iowait-ek is megnőnek / latency, vagy valami hasonló mérőszám.
>Próbálna olvasni a lemezről, vár... Picit megakad, majd továbblendül.
Top-pal néztem, semmi nem látszik, csak annyi, hogy a load megugrik, miközben minden más lényegében változatlan. De igazad van, figyelni fogom a targetet is, hátha...
Azonban az iscsi-vel semilyen kapcsolatban sem lévő szerver ellentmond a teóriának. :(
>Ha sikerül ezt igazolnod, akkor következő lépés, kideríteni a root-cause-t:
>-> A storage servered "matat" ilyenkor valamit, vagy "útközben" torlódik
>össze valami.
>Azt sem árt nem elfelejteni, hogy iscsi tcp-n megy. tcp-nek is lehet
>érdekes működése, és sok apró paraméter tudja befolyásolni a pontos valódi
>működését, kezdve pl. avval, hogy milyen congestion avoidance algoritmust
>használsz.
Bevallom, fogalmam sincs. :( Gondolom, van valami alapértelmezett a kernelben beállítva.
A tcp forgalom szabályozása eredményezhet ennyire periodikus működést? A csúcsok elég pontosan követik egymást, a forgalom viszont teljesen szabálytalanul ingadozik.
--
Ervin