Czy swap jest potrzebny?
tomjas
Proste pytanie - czy swap jest potrzebny? Komputer tupy desktop do
zastosowan "domowych" (tv, filmy, muza, itp.). System chyba nie ma tu
wiekszego znaczenia - Athlon 2500+ (1833MHz), 1,25GB ramu. Ram caly
zajety, ale linux zezre ile by mu nie dac. Do tej pory obywalem sie bez
swapa, ale czy slusznie? Czy zauwaze jakas roznice dodajac swapa?
Ewentualnie ile dodac - tradycyjnie 2xram?
Z gory dzieki i pozdrawiam.
Dominik & Co
> Proste pytanie - czy swap jest potrzebny? Komputer tupy desktop do
Tak. Chociażby do hibernacji się przydaje.
> wiekszego znaczenia - Athlon 2500+ (1833MHz), 1,25GB ramu. Ram caly
> zajety, ale linux zezre ile by mu nie dac. Do tej pory obywalem sie bez
A przeczytałeś, co gada free -m w pozycji +- buffers/cache?
> Ewentualnie ile dodac - tradycyjnie 2xram?
To zależy od zapotrzebowania. Dla hibernacji wystarczy 1xram.
--
Dominik (& kąpany)
"Wszyscy chcą naszego dobra. Nie dajmy go sobie zabrać." (S.J. Lec)
Wyrażam wyłącznie prywatne poglądy zgodnie z Art. 54 Konstytucji RP
tomjas
> W dniu 01-03-2011 10:56, tomjas rzecze:
>
>> Proste pytanie - czy swap jest potrzebny? Komputer tupy desktop do
>
> Tak. Chociażby do hibernacji się przydaje.
Nie hibernuje:)
>
>> wiekszego znaczenia - Athlon 2500+ (1833MHz), 1,25GB ramu. Ram caly
>> zajety, ale linux zezre ile by mu nie dac. Do tej pory obywalem sie bez
>
> A przeczytałeś, co gada free -m w pozycji +- buffers/cache?
>
uzytkownikiem, ktory uzywa linuksa z powodow ideologicznych. Raczej
oczekuje odpowiedzi typu "tak, jest potrzebny swap, bo..." lub "nie, nie
ma sensu, bo...", biorac pod uwage podana przeze mnie wczesniej
konfiguracje i zastosowanie.
Pozdrawiam.
Mariusz Kruk
>> A przeczytałeś, co gada free -m w pozycji +- buffers/cache?
>Szczerze powiedziawszy nie - nie jestem administratorem tylko zwyklym
>uzytkownikiem,
To zapytaj swojego administratora.
>ktory uzywa linuksa z powodow ideologicznych. Raczej
>oczekuje odpowiedzi typu
http://rtfm.killfile.pl/#zanim
--
d'`'`'`'`'`'`'`'`'`'`'`'`'Yb
`b Kr...@epsilon.eu.org d'
d' http://epsilon.eu.org/ Yb
`b,-,.,-,.,-,.,-,.,-,.,-,.d'
or...@pwr.wroc.pl
Prosta odpowiedź na to pytanie nie istnieje.
Po pierwsze: linux był projektowany tak by miał swap. Pozbawianie go
przestrzeni wymiany powoduje, że kilka założeń staje się nieaktualnych
co może spowodować gorsze działanie.
Ale... jeśli nigdy nie zauważyłeś w logach(albo w inny sposób) problemów
z ilością pamieći(oom_killer zabija wtedy procesy) to dodanie swapa w
zależności od konfiguracji jądra może spowodować, że system zacznie
działać wolniej(bo bufory i cache wypchną Ci jakąś aplikację na swap-a).
Do tego dochodzi jeszcze swap-trashing który może unieruchomić
maszynę, gdy masz dużo swapa i kernel będzie chciał za dużo zrzucać na
dysk - wtedy na oom_killer-a możesz sobie czekać...
W sieci znajdziesz miliony powodów dla których swap powinien być i dla
których nie powinno go być. Ja powiem tylko, że 1,25GB to trochę mało
jak na desktop(w zależności od środowiska graficznego i co tam
uruchamiasz) i spodziewałbym się tutaj interwencji oom_killera których
możesz uniknąć dodając swap.
Ilość RAM x 2 jest sztuczna i archaiczna. Ja daje 2GB na desktop(1/2
RAMu), ale to chodzi o ilość a nie stosunek RAM/SWAP - po prostu nie
potrzebuje używać więcej niż 6GB(alokować czasami zdarza się więcej:/)
Na serwerach swap mam zawsze wyłączony(tutaj to też kwestia ilości).
--
Pozdrawiam
orcus
Łukasz Jagiełło
> Proste pytanie - czy swap jest potrzebny? Komputer tupy desktop do
> zastosowan "domowych" (tv, filmy, muza, itp.). System chyba nie ma tu
> wiekszego znaczenia - Athlon 2500+ (1833MHz), 1,25GB ramu. Ram caly
> zajety, ale linux zezre ile by mu nie dac. Do tej pory obywalem sie bez
> swapa, ale czy slusznie? Czy zauwaze jakas roznice dodajac swapa?
1,25GB ramu to niewiele, jeżeli nie będziesz miał swap-a, a jakiś proces
będzie chciał zająć więcej pamięci niż będzie wolne to pewnie OOM Killer
ubije Ci ten proces.
Zdarza się, że z jakiegoś powodu system potrzebuje chwilowo tylko więcej
pamięci niż posiada fizycznie. Warto mieć swap-a w takim wypadku.
> Ewentualnie ile dodac - tradycyjnie 2xram?
Można.
--
Pozdrawiam,
Łukasz Jagiełło
Lemat
> On Tue, 01 Mar 2011 11:10:59 +0100, Dominik & Co wrote:
>> A przeczytałeś, co gada free -m w pozycji +- buffers/cache?
>>
> Szczerze powiedziawszy nie - nie jestem administratorem tylko zwyklym
> uzytkownikiem
tak więc zwykły user różni się od admina tym, że ten drugi umie czytać ;)
jak nie umiesz czytać, to przynajmniej zapuść coś zasobożernego na systemie
i wklej wynik ww polecenia.
--
Pozdrawiam
Lemat
Mariusz Kruk
>Po pierwsze: linux był projektowany tak by miał swap. Pozbawianie go
>przestrzeni wymiany powoduje, że kilka założeń staje się nieaktualnych
>co może spowodować gorsze działanie.
Na przykład?
>Ale... jeśli nigdy nie zauważyłeś w logach(albo w inny sposób) problemów
>z ilością pamieći(oom_killer zabija wtedy procesy) to dodanie swapa w
>zależności od konfiguracji jądra może spowodować, że system zacznie
>działać wolniej(bo bufory i cache wypchną Ci jakąś aplikację na swap-a).
Rze co???
--
Kruk@ -\ |
}-> epsilon.eu.org |
http:// -/ |
|
Dominik & Co
>> Po pierwsze: linux był projektowany tak by miał swap. Pozbawianie go
>> przestrzeni wymiany powoduje, że kilka założeń staje się nieaktualnych
>> co może spowodować gorsze działanie.
>
> Na przykład?
Teoretycy zapodają jako przykład wycieki pamięci, które zalegają
w RAM zamiast, jak należy, w swapie ;-)
Smok Eustachy
/../
> Rze co???
to właśnie. Ie dotyczy to tylko Linuxa ale Windows też.
or...@pwr.wroc.pl
Podam Ci akademicki przykład który gdzieś kiedyś widziałem:
- Mamy maszynke z 2GB RAMu
- Uruchamiasz interaktywną aplikację która zjada Ci 1GB, ale sięga do
niej tylko gdy np. ruszysz myszką(i potrzebuje jej od razu).
- Przy okazji zaczynasz ciągnąć torrenty.
- Zostawiasz na noc.
Pytanie: czy wstając z rana powinieneś czekać aż twoja interaktywna
aplikacji wróci ze SWAP-a, czy operacja IO wywołane torrentami powinny
mieścić sie w mniejszej pamieci?
Jeśli ktoś mało wie i źle skonfiguruje to może okazać się, że system
działa dla niego "wolniej" w sensie ma dłuższy czas reakcji.
Brak SWAP-a powoduje, że nigdy Twoja interaktywna aplikacje nie poleci
na dysk...
Można sobie to odpowiednio skonfigurować, tylko pytanie ilu użytkowników
desktopów będzie to potrafiło?
--
Pozdrawiam
orcus
Stachu 'Dozzie' K.
> W dniu 01-03-2011 11:38, Mariusz Kruk rzecze:
>
>>> Po pierwsze: linux był projektowany tak by miał swap. Pozbawianie go
>>> przestrzeni wymiany powoduje, że kilka założeń staje się nieaktualnych
>>> co może spowodować gorsze działanie.
>>
>> Na przykład?
>
> Teoretycy zapodają jako przykład wycieki pamięci, które zalegają
> w RAM zamiast, jak należy, w swapie ;-)
Jak jest wyciek pamięci, to w końcu się uruchamia OOM killer. Swap przed
tym nie chroni. Zresztą ciebie akurat podejrzewam o to że sam to wiesz.
--
Secunia non olet.
Stanislaw Klekot
Mariusz Kruk
>> Rze co???
>to właśnie. Ie dotyczy to tylko Linuxa ale Windows też.
Mylisz niebo z odbiciem w jeziorze.
Nieużywane strony zostają wyswapowane, a wolna pamięć jest
wykorzystywana na cache/bufory. To w tę stronę działa.
Mariusz Kruk
>>>z ilością pamieći(oom_killer zabija wtedy procesy) to dodanie swapa w
>>>zależności od konfiguracji jądra może spowodować, że system zacznie
>>>działać wolniej(bo bufory i cache wypchną Ci jakąś aplikację na swap-a).
>> Rze co???
>Podam Ci akademicki przykład który gdzieś kiedyś widziałem:
>- Mamy maszynke z 2GB RAMu
>- Uruchamiasz interaktywną aplikację która zjada Ci 1GB, ale sięga do
> niej tylko gdy np. ruszysz myszką(i potrzebuje jej od razu).
>- Przy okazji zaczynasz ciągnąć torrenty.
>- Zostawiasz na noc.
>
>Pytanie: czy wstając z rana powinieneś czekać aż twoja interaktywna
>aplikacji wróci ze SWAP-a, czy operacja IO wywołane torrentami powinny
>mieścić sie w mniejszej pamieci?
Na beznadziejnie napisane aplikacje nie pomoże nic. Ale to nie powód
żeby negować sprawdzone rozwiązania.
>Jeśli ktoś mało wie i źle skonfiguruje to może okazać się, że system
>działa dla niego "wolniej" w sensie ma dłuższy czas reakcji.
>
>Brak SWAP-a
To nie jest skrótowiec. "swapa"
>powoduje, że nigdy Twoja interaktywna aplikacje nie poleci
>na dysk...
Natomiast przez pozostałą część czasu system będzie znacząco mniej
responsywny (albo w ogóle nieużywalny) ponieważ torrent będzie majtał po
dysku (albo zabraknie mu pamięci).
Nie ma jak dobry przykład.
--
[------------------------]
[ Kr...@epsilon.eu.org ]
[ http://epsilon.eu.org/ ]
[------------------------]
bo...@nano.pl
> On 01.03.2011, tomjas <tom...@WYTNIJTOpoczta.onet.pl> wrote:
>> Proste pytanie - czy swap jest potrzebny? Komputer tupy desktop do
>> zastosowan "domowych" (tv, filmy, muza, itp.). System chyba nie ma tu
>> wiekszego znaczenia - Athlon 2500+ (1833MHz), 1,25GB ramu. Ram caly
>> zajety, ale linux zezre ile by mu nie dac. Do tej pory obywalem sie bez
>> swapa, ale czy slusznie? Czy zauwaze jakas roznice dodajac swapa?
>> Ewentualnie ile dodac - tradycyjnie 2xram?
>
> Prosta odpowiedź na to pytanie nie istnieje.
>
> Po pierwsze: linux był projektowany tak by miał swap. Pozbawianie go
> przestrzeni wymiany powoduje, że kilka założeń staje się nieaktualnych
> co może spowodować gorsze działanie.
>
> Ale... jeśli nigdy nie zauważyłeś w logach(albo w inny sposób) problemów
> z ilością pamieći(oom_killer zabija wtedy procesy) to dodanie swapa w
> zależności od konfiguracji jądra może spowodować, że system zacznie
> działać wolniej(bo bufory i cache wypchną Ci jakąś aplikację na swap-a).
Problem w tym, że zabija losowe. I nie wiadomo co w danym momencie uwali.
--
wer <",,)~~
http://szumofob.eu
Kamil Jońca
[...]
>
> Podam Ci akademicki przykład który gdzieś kiedyś widziałem:
> - Mamy maszynke z 2GB RAMu
> - Uruchamiasz interaktywną aplikację która zjada Ci 1GB, ale sięga do
> niej tylko gdy np. ruszysz myszką(i potrzebuje jej od razu).
OIDP w Linuksie można zażądać "przypięcia" pamięci. W tym momencie
przykład się sypie.
KJ
--
http://blogdebart.pl/2010/03/17/dalsze-przygody-swinki-w-new-jersey/
EMACS = Each Manual's Audience is Completely Stupified
or...@pwr.wroc.pl
>
> To nie jest skrótowiec. "swapa"
OK, przepraszam za użycie dużych liter. Natomiast '-a' jest jak
najbardizej uzasadnione(bez myślinka też jest poprawnie).
>>powoduje, że nigdy Twoja interaktywna aplikacje nie poleci
>>na dysk...
>
> Natomiast przez pozostałą część czasu system będzie znacząco mniej
> responsywny (albo w ogóle nieużywalny) ponieważ torrent będzie majtał po
> dysku (albo zabraknie mu pamięci).
> Nie ma jak dobry przykład.
Właśnie wychodzi akademickość dyskusji. Otóż jest tyle samo za i
przeciw. Masz rację. Pytanie tylko czy ta inteaktywna aplikacja jest dla
nas ważniejsza...
Poza tym wystarczy odpwiednio ustawić swapiness i mamy bardzo podobną
sytuację nawet ze swap-em.
Ja nie opowiadam się bezpośrednio za którąś opcją. Zwracam jedynie
uwagę, że problem nie jest trywialny.
--
Pozdrawiam
orcus
Dominik & Co
>> Teoretycy zapodaj� jako przyk�ad wycieki pami�ci, kt�re zalegaj�
>> w RAM zamiast, jak nale�y, w swapie ;-)
>
> Jak jest wyciek pami�ci, to w ko�cu si� uruchamia OOM killer. Swap przed
> tym nie chroni. Zreszt� ciebie akurat podejrzewam o to �e sam to wiesz.
Chodzi o to, �e jak program zarezerwuje pami��, kt�rej potem
nie zwolni, to ta- jako nieu�ywana- trafia do swap, oszcz�dzaj�c
"cenny RAM". Oczywi�cie, swap te� si� kiedy� przepe�ni...
A "wag�" problemu podkre�li�em smileyem.
--
Dominik (& k�pany)
"Wszyscy chcďż˝ naszego dobra. Nie dajmy go sobie zabraďż˝." (S.J. Lec)
Wyra�am wy��cznie prywatne pogl�dy zgodnie z Art. 54 Konstytucji RP
Smok Eustachy
> epsilon$ while read LINE; do echo \>"$LINE"; done < "Smok Eustachy"
>>> Rze co???
>>to właśnie. Ie dotyczy to tylko Linuxa ale Windows też.
>
> Mylisz niebo z odbiciem w jeziorze.
> Nieużywane strony zostają wyswapowane, a wolna pamięć jest
> wykorzystywana na cache/bufory. To w tę stronę działa.
Albo używane.
Algorytmy były tworzone jakiś czas temu, kiedy pamięci było mniej. Stąd
agresywne nawyki.
Teraz sprzęt trochę odskoczył i mieści się w RAM wszystko i po co grzebać?
or...@pwr.wroc.pl
To teraz kolejny przykład:
- mamy maszynę z 24GB pamięci i tyle samo swap-a
- uruchamiamy 4 aplikację alokujące po 12GB i w kółko sięgające do
pamięci
Czy nue byłoby lepiej gdyby 2 z nich zostały zabite przez oom_killer-a?
--
Pozdrawiam
orcus
Piotr Siudak
> On Tue, 01 Mar 2011 11:10:59 +0100, Dominik& Co wrote:
>> W dniu 01-03-2011 10:56, tomjas rzecze:
>>
>>> Proste pytanie - czy swap jest potrzebny? Komputer tupy desktop do
>>
>> Tak. Chociażby do hibernacji się przydaje.
> Dzieki za odpowiedz.
> Nie hibernuje:)
to znaczy wogóle nie wyłączasz czy robisz kompletny boot za kazdym razem?
--
Piotr Siudak
siu...@xz.pl
Mariusz Kruk
>> To nie jest skrótowiec. "swapa"
>OK, przepraszam za użycie dużych liter. Natomiast '-a' jest jak
>najbardizej uzasadnione(bez myślinka też jest poprawnie).
Ę? Możesz podać link do opinii językoznawców w kwestii takiej pisowni?
(z dywizem). Poważnie pytam.
>>>powoduje, że nigdy Twoja interaktywna aplikacje nie poleci
>>>na dysk...
>> Natomiast przez pozostałą część czasu system będzie znacząco mniej
>> responsywny (albo w ogóle nieużywalny) ponieważ torrent będzie majtał po
>> dysku (albo zabraknie mu pamięci).
>
>Właśnie wychodzi akademickość dyskusji.
Ano właśnie. Przykłady od czapy pokazują głównie odczapistość
przykładów.
>Otóż jest tyle samo za i
>przeciw. Masz rację. Pytanie tylko czy ta inteaktywna aplikacja jest dla
>nas ważniejsza...
Jeżeli masz bardzo specyficzną sytuację, owszem - wyłączenie swapu
w cholerę może i może przełożyć się na wzrost responsywności systemu
(choć "ogólna" wydajność niekoniecznie musi wzrosnąć). Jednak poza
bardzo specyficznymi przypadkami swapowanie jednak daje radę.
--
/\-\/\-\/\-\/\-\/\-\/\-\/\
\ Kr...@epsilon.eu.org /
/ http://epsilon.eu.org/ \
\/-/\/-/\/-/\/-/\/-/\/-/\/
Dominik & Co
> to znaczy wogóle nie wyłączasz czy robisz kompletny boot za kazdym razem?
Może robi suspend-to-ram (S3), ja tak czynię z domowym desktopem...
Mariusz Kruk
>>>> Rze co???
>>>to właśnie. Ie dotyczy to tylko Linuxa ale Windows też.
>> Mylisz niebo z odbiciem w jeziorze.
>> Nieużywane strony zostają wyswapowane, a wolna pamięć jest
>> wykorzystywana na cache/bufory. To w tę stronę działa.
>Albo używane.
Jak się ma nadgorliwy VMM, albo za mało pamięci, to się tak ma.
>Algorytmy były tworzone jakiś czas temu, kiedy pamięci było mniej. Stąd
>agresywne nawyki.
Pamięci nigdy dosyć.
--
\------------------------/
| Kr...@epsilon.eu.org |
| http://epsilon.eu.org/ |
/------------------------\
Smok Eustachy
/../
> To teraz kolejny przykład:
> - mamy maszynę z 24GB pamięci i tyle samo swap-a - uruchamiamy 4
> aplikację alokujące po 12GB i w kółko sięgające do
> pamięci
>
> Czy nue byłoby lepiej gdyby 2 z nich zostały zabite przez oom_killer-a?
Nie bo nie będą działać.
tomjas
na dobe a czasem nie jest uzywany przez 3-4 dni.
Stachu 'Dozzie' K.
No lepiej. I zabije w tym przypadku. OOM killer działa również
w przypadku gdy proces szamocze się między RAM-em i swapem.
Ale dopuszczenie do takiej sytuacji to w ogóle jest błąd administratora.
Zużycie pamięci, przy tak pamięciożernych procesach, powinno być
monitorowane.
or...@pwr.wroc.pl
> On 2011-03-01, or...@pwr.wroc.pl <or...@pwr.wroc.pl> wrote:
>> On 01.03.2011, Stachu 'Dozzie' K. <doz...@go.eat.some.screws.spammer.invalid> wrote:
>>> On 2011-03-01, Dominik & Co <dominik.alasz...@com.invalid> wrote:
>>>> Teoretycy zapodają jako przykład wycieki pamięci, które zalegają
>>>> w RAM zamiast, jak należy, w swapie ;-)
>>>
>>> Jak jest wyciek pamięci, to w końcu się uruchamia OOM killer. Swap przed
>>> tym nie chroni. Zresztą ciebie akurat podejrzewam o to że sam to wiesz.
>>
>> To teraz kolejny przykład:
>> - mamy maszynę z 24GB pamięci i tyle samo swap-a
>> - uruchamiamy 4 aplikację alokujące po 12GB i w kółko sięgające do
>> pamięci
>>
>> Czy nue byłoby lepiej gdyby 2 z nich zostały zabite przez oom_killer-a?
>
> No lepiej. I zabije w tym przypadku. OOM killer działa również
> w przypadku gdy proces szamocze się między RAM-em i swapem.
To mnie trochę zasokoczyłeś. Bo z mojego doświadczenia wynika, że po 48h
nadal takie procesy skaczą pomiędzy pamięcią i dyskiem. Powodowało to
taki load, że nie dało się doczekać otwarcia nowej sesji przez ssh.
To był główny powód wyłączenia swap-a. Inna sprawa, że na tych
maszynach(serwery obliczeniowe) nie powinno działać nic co się swap-uje.
> Ale dopuszczenie do takiej sytuacji to w ogóle jest błąd administratora.
> Zużycie pamięci, przy tak pamięciożernych procesach, powinno być
> monitorowane.
Ok - pytanie jak to monitorować?
--
Pozdrawiam
orcus
Stachu 'Dozzie' K.
Systemy monitorowania to jedno z podstawowych narzędzi administratora.
Poszukaj trochę samodzielnie.
ToMasz
> Witam.
> Proste pytanie - czy swap jest potrzebny? Komputer tupy desktop do
> wiekszego znaczenia - Athlon 2500+ (1833MHz), 1,25GB ramu. Ram caly
> zajety, ale linux zezre ile by mu nie dac. Do tej pory obywalem sie bez
> swapa, ale czy slusznie? Czy zauwaze jakas roznice dodajac swapa?
> Ewentualnie ile dodac - tradycyjnie 2xram?
Do wszystkich kolegów:
załóżmy ze mamy 2 podobne komputery różniące sie tylko ramem:
a: 2giga ram+2giga swap
b: 4 giga ram + 0 swap.
Z listów napisanych wcześniej wypływa wniosek ze komp "a" bedzie działał
lepiej, gdyż mam swap. Tak będzie, jak linuks jest od zarania dziejów
zepsuty. JA wiem ze był pisany by działać ze swapem, ale o ile ja mam
jako takie doświadczenie jako użytkownik, to jeden i drugi OS działa
responsywniej, gdy MA DUŻO pamieci i zero swapu. moim zdaniem na
ZWYKŁEGO desktopa wystarczy 4giga ramu. U mnie, na kompie (suse,
FF+thunderird)działającym od wielu godzin jest tak:
Panieć:3,4 GB
Wolna pamięć: 1,9 GB
(+ bufory 841,8 MB)
ToMasz
ps
Jeśli w normalnym desktopie jest COŚ co zadziała lepiej ze swapem,
chętnie zmienie przyzwyczajenia. Tyle ze nie mam potrzeby otwierania
weikszyk obrazków niż z "cyfrówki" i arkuszy które mają wiecej niż 1500
pozycji ( 80kb)
Kamil Jońca
> tomjas pisze:
>> Witam.
>> Proste pytanie - czy swap jest potrzebny? Komputer tupy desktop do
>> zastosowan "domowych" (tv, filmy, muza, itp.). System chyba nie ma tu
>> wiekszego znaczenia - Athlon 2500+ (1833MHz), 1,25GB ramu. Ram caly
>> zajety, ale linux zezre ile by mu nie dac. Do tej pory obywalem sie bez
>> swapa, ale czy slusznie? Czy zauwaze jakas roznice dodajac swapa?
>> Ewentualnie ile dodac - tradycyjnie 2xram?
>> Z gory dzieki i pozdrawiam.
> Do wszystkich kolegów:
>
> załóżmy ze mamy 2 podobne komputery różniące sie tylko ramem:
>
> a: 2giga ram+2giga swap
> b: 4 giga ram + 0 swap.
>
> Z listów napisanych wcześniej wypływa wniosek ze komp "a" bedzie działał
> lepiej, gdyż mam swap. Tak będzie, jak linuks jest od zarania dziejów
Możesz przedstawić tok rozumowania który doprowadził Cię do takiego
wniosku?
Bo ja mam wrażenie, ze rozmawiamy o sytuacji
a) X RAM
b) X RAM +Y swap
Pewnie że najlepiej mieć tyle pamięci co dysku i trzymać wszystko w
pamięci tylko jakby koszty duże.
KJ
--
http://blogdebart.pl/2009/12/22/mamy-chorych-dzieci/
Keyboard error press F1 continue
Lukasz Czarnowski
> > Ale... jeśli nigdy nie zauważyłeś w logach(albo w inny sposób)
> > problemów z ilością pamieći(oom_killer zabija wtedy procesy) to
> > dodanie swapa w zależności od konfiguracji jądra może spowodować,
> > że system zacznie działać wolniej(bo bufory i cache wypchną Ci
> > jakąś aplikację na swap-a).
>
> Problem w tym, że zabija losowe. I nie wiadomo co w danym momencie
> uwali.
Niby tak, ale nie do końca ;o) Pewnymi prawidłami ten algorytm się
rządzi.
http://linux-mm.org/OOM_Killer
http://www.held.org.il/blog/2007/09/out-of-memory-in-linux-or-oom-killer/
http://lwn.net/Articles/391222/
Proces, który ma szanse "dostać w czapę", dość łatwo wytypować,
zwłaszcza w środowiskach, gdzie mamy regularnie uruchomione te same
znane procesy (serwery). Na desktopie (nie wnikając w szczegóły)
możemy faktycznie odnieść wrażenie, że co się nawinie to dostanie ;o)
Pozdrawiam
--
Łukasz Czarnowski
or...@pwr.wroc.pl
Proszę więc o przykład systemu monitorowania który wyłapie sytuację
gdy aplikacja zabiera zbyt dużo pamięci, zwłaszcza gdy system przestanie
odpowiadać bo jest zajęty przewalaniem stron pomiędzy dyskiem i
pamięcią. System ten musi ogarnąć sporą ilość maszyn...
Aplikację są takie jak podałem - zabierają dużo pamíęci i cały czas po
niej skrobią. Czas pracy aplikacji od 1h do 3tyg - przez ten czas
alokują i zwalniają pamięć. Sytuacja w której aplikacja zabiera więcej
pamięci niż zadeklarowała w 80% zostanie zabita w rozsądnym czasie(przez
system kolejkowy).
W pozostałych przypadkach nie mam czasu aż oom_kiler zorientuje się że
coś lata na swap i spowrotem bo to czasem trwa ponad 24h.
BTW: Moje pytanie nie bierze się z tego, że nie wiem o istnieniu
systemów monitorowania, tylko po prostu nie znam takiego który obsługuje
powyższą sytuację. Co więcej nie widzę za bardzo jak miałby ją obsłużyć
w systemie który 95% czasu spędza na przerzucaniu danych między dyskiem
i pamięcią, a przez pozostałe 5% nie jest w stanie obsłużyć nawet
otwiarcia nowej sesji.
--
Pozdrawiam
orcus
Stachu 'Dozzie' K.
> On 01.03.2011, Stachu 'Dozzie' K. <doz...@go.eat.some.screws.spammer.invalid> wrote:
>> On 2011-03-01, or...@pwr.wroc.pl <or...@pwr.wroc.pl> wrote:
>>>> Ale dopuszczenie do takiej sytuacji to w ogóle jest błąd administratora.
>>>> Zużycie pamięci, przy tak pamięciożernych procesach, powinno być
>>>> monitorowane.
>>>
>>> Ok - pytanie jak to monitorować?
>>
>> Systemy monitorowania to jedno z podstawowych narzędzi administratora.
>> Poszukaj trochę samodzielnie.
>
> Proszę więc o przykład systemu monitorowania który wyłapie sytuację
> gdy aplikacja zabiera zbyt dużo pamięci, zwłaszcza gdy system przestanie
> odpowiadać bo jest zajęty przewalaniem stron pomiędzy dyskiem i
> pamięcią. System ten musi ogarnąć sporą ilość maszyn...
Eeee... dowolny który umie rysować wykresy?
> Aplikację są takie jak podałem - zabierają dużo pamíęci i cały czas po
> niej skrobią. Czas pracy aplikacji od 1h do 3tyg - przez ten czas
> alokują i zwalniają pamięć. Sytuacja w której aplikacja zabiera więcej
> pamięci niż zadeklarowała w 80% zostanie zabita w rozsądnym czasie(przez
> system kolejkowy).
> W pozostałych przypadkach nie mam czasu aż oom_kiler zorientuje się że
> coś lata na swap i spowrotem bo to czasem trwa ponad 24h.
>
> BTW: Moje pytanie nie bierze się z tego, że nie wiem o istnieniu
> systemów monitorowania, tylko po prostu nie znam takiego który obsługuje
> powyższą sytuację.
Znaczy jaką? Proces niby nagle rośnie z kilku megabajtów do nastu giga
i jeszcze zdąży taką ilość pamięci w ogóle zapisać i zwolnić między
kolejnymi sprawdzeniami systemu monitoringu? O_o
> Co więcej nie widzę za bardzo jak miałby ją obsłużyć
> w systemie który 95% czasu spędza na przerzucaniu danych między dyskiem
> i pamięcią, a przez pozostałe 5% nie jest w stanie obsłużyć nawet
> otwiarcia nowej sesji.
Nie widzę czego tu nie rozumiesz. Obserwujesz *tendencje* zużycia
pamięci i reagujesz *zanim* się pojawi problem. I nie wmówisz mi że
proces jest w stanie zeżreć (wypełnić sensownymi danymi) kilkanaście
gigabajtów pamięci w mniej niż minutę, chyba że przedstawisz obliczenia
na to wskazujące.
or...@pwr.wroc.pl
> On 2011-03-01, or...@pwr.wroc.pl <or...@pwr.wroc.pl> wrote:
>> On 01.03.2011, Stachu 'Dozzie' K. <doz...@go.eat.some.screws.spammer.invalid> wrote:
>>> On 2011-03-01, or...@pwr.wroc.pl <or...@pwr.wroc.pl> wrote:
>>>>> Ale dopuszczenie do takiej sytuacji to w ogóle jest błąd administratora.
>>>>> Zużycie pamięci, przy tak pamięciożernych procesach, powinno być
>>>>> monitorowane.
>>>>
>>>> Ok - pytanie jak to monitorować?
>>>
>>> Systemy monitorowania to jedno z podstawowych narzędzi administratora.
>>> Poszukaj trochę samodzielnie.
>>
>> Proszę więc o przykład systemu monitorowania który wyłapie sytuację
>> gdy aplikacja zabiera zbyt dużo pamięci, zwłaszcza gdy system przestanie
>> odpowiadać bo jest zajęty przewalaniem stron pomiędzy dyskiem i
>> pamięcią. System ten musi ogarnąć sporą ilość maszyn...
>
> Eeee... dowolny który umie rysować wykresy?
Jesteś w stanie ogarnąć 700 wykresów i zaregować gdy któryś skacze do
góry? Przez 24/7? I zareagować zanim system przestanie odpowiadać?
>
>> Aplikację są takie jak podałem - zabierają dużo pamíęci i cały czas po
>> niej skrobią. Czas pracy aplikacji od 1h do 3tyg - przez ten czas
>> alokują i zwalniają pamięć. Sytuacja w której aplikacja zabiera więcej
>> pamięci niż zadeklarowała w 80% zostanie zabita w rozsądnym czasie(przez
>> system kolejkowy).
>> W pozostałych przypadkach nie mam czasu aż oom_kiler zorientuje się że
>> coś lata na swap i spowrotem bo to czasem trwa ponad 24h.
>>
>> BTW: Moje pytanie nie bierze się z tego, że nie wiem o istnieniu
>> systemów monitorowania, tylko po prostu nie znam takiego który obsługuje
>> powyższą sytuację.
>
> Znaczy jaką? Proces niby nagle rośnie z kilku megabajtów do nastu giga
> i jeszcze zdąży taką ilość pamięci w ogóle zapisać i zwolnić między
> kolejnymi sprawdzeniami systemu monitoringu? O_o
Tak dokładnie taką. Co ile czasu chcesz wysyłać dane do systemu
monitoringu?
>> Co więcej nie widzę za bardzo jak miałby ją obsłużyć
>> w systemie który 95% czasu spędza na przerzucaniu danych między dyskiem
>> i pamięcią, a przez pozostałe 5% nie jest w stanie obsłużyć nawet
>> otwiarcia nowej sesji.
>
> Nie widzę czego tu nie rozumiesz. Obserwujesz *tendencje* zużycia
> pamięci i reagujesz *zanim* się pojawi problem. I nie wmówisz mi że
> proces jest w stanie zeżreć (wypełnić sensownymi danymi) kilkanaście
> gigabajtów pamięci w mniej niż minutę, chyba że przedstawisz obliczenia
> na to wskazujące.
Obliczenia? Wystarczy, że wyciągne stare testy gaussiana(taki kombajn
dla chemików i fizyków) - w ciągu 21 sekund skoczył z ~3GB do ~16GB.
Poza tym jak input do zadania ma 20GB to wystarczy go wczytać(albo
zmapować).
Normalną sytuacją jest dla mnie, że proces startuje na serwerze z 12
rdzeniami i 24GB RAMu i od razu całość alokuje i zapełnia danymi. Skąd
mam wiedzieć, że on akurat ma takie "widzi mi się" i zechce zaalokować
i zacząć używać 30GB?
--
Pozdrawiam
orcus
Michoo
> Normalną sytuacją jest dla mnie, że proces startuje na serwerze z 12
> rdzeniami i 24GB RAMu i od razu całość alokuje i zapełnia danymi. Skąd
> mam wiedzieć, że on akurat ma takie "widzi mi się" i zechce zaalokować
> i zacząć używać 30GB?
--
Pozdrawiam
Michoo
or...@pwr.wroc.pl
Dobrze więc - pomijając fakt, że musiałbym się nagimnastykować to ulimit
działa per process. Nic nie szkodzi na przeszkodzie by użytkownik
wystartował 12 procesów po 2GB i jest to tak samo częste jak 1 proces z
24GB. Deklaracja pamięci jest niestety sumaryczna.
--
Pozdrawiam
orcus
Kamil Jońca
To jeszcze są administratorzy nie używający pam-limits 8-0?
KJ
--
http://blogdebart.pl/2009/12/22/mamy-chorych-dzieci/
Biologia poucza, ze jeśli cię coś ugryzło, to niemal pewne, ze była to samica.
or...@pwr.wroc.pl
> or...@pwr.wroc.pl writes:
>
>> On 02.03.2011, Michoo <micho...@vp.pl> wrote:
>>> W dniu 01.03.2011 23:32, or...@pwr.wroc.pl pisze:
>>>> Normalną sytuacją jest dla mnie, że proces startuje na serwerze z 12
>>>> rdzeniami i 24GB RAMu i od razu całość alokuje i zapełnia danymi. Skąd
>>>> mam wiedzieć, że on akurat ma takie "widzi mi się" i zechce zaalokować
>>>> i zacząć używać 30GB?
>>> Ten, tego, a ulimit?
>>
>> Dobrze więc - pomijając fakt, że musiałbym się nagimnastykować to ulimit
>> działa per process. Nic nie szkodzi na przeszkodzie by użytkownik
>> wystartował 12 procesów po 2GB i jest to tak samo częste jak 1 proces z
>> 24GB. Deklaracja pamięci jest niestety sumaryczna.
> To jeszcze są administratorzy nie używający pam-limits 8-0?
Otóż administratorzy używaja pam-limits. Używają też systemu kolejkowego
który ma to do sibie, że użytkownik może zachcieć uruchomić kilkaset
zadań, każde wymagające po jednym rdzeniu i 1MB pamięci jak i
równie dobrze kilkaset rdzeni i kilakaset GB pamięci. I takich
użytkowników jest sporo.
Proszę - darujcie sobie kąśliwe uwagi. Nie wszystkie prawidła i metody
dotyczące serwerów usugowych uogólniają się na wszystkie systemy
linuxowe.
Najlepsze jest to, że ja na prawdę wierzę, że mimo tej całej
zgryźliwości coś wyciągne z dyskusji. Mimo, że swap-a zwyczajnie
włączyć nie mogę.
--
Pozdrawiam
orcus
Kajetan Staszkiewicz
Wtedy rezygnujemy z usług oom_killera i wyłączamy możliwość overcommitowania
pamięci. Możemy nawet włączyć swap.
Alokacja nie powiedzie się, a program powinien albo ładnie to obsłużyć
(jeśli dobrze napisany) albo po prostu zdechnąć.
Dlaczego to rozwiązanie jest dobre? Pojedynczy program, który próbuje
zaalokować zbyt dużo pamięci nie jest w stanie ubić systemu - doprowadzić do
sytuacji gdzie programy się w kółko swapują, a oom_killer ubija losowe
programy typu wiszące screeny.
Podsumowując, przy serwerach obciążonych dużą (czasem zbyt dużą) ilością
chodzących zadań mamy do wyboru:
- pozwolić programom na alokowanie pamięci ile chcą, łatać to wyłączaniem
swapu i liczyć się z tym, że co pewien czas serwer trzeba będzie zrobić
twardy reset, zabijając też niewinne programy, w efekcie przerywając dużo
zadań i tracąc wyniki pracy ich wszystkich
- ustawić sobie po ludzku overcommitowanie pamięci i zabijać pojedyncze
programy, które przeginają, zapewniając stabilne działanie całej reszty
programów.
--
| pozdrawiam / greetings | powered by SUSE, CentOS and FreeBSD |
| Kajetan Staszkiewicz | jabber,email: vegeta()tuxpowered net |
| Vegeta | www: http://vegeta.tuxpowered.net |
`------------------------^--------------------------------------'
or...@pwr.wroc.pl
> Dnia środa, 2 marca 2011 08:20, or...@pwr.wroc.pl napisał(a):
>
>> On 02.03.2011, Michoo <micho...@vp.pl> wrote:
>>> W dniu 01.03.2011 23:32, or...@pwr.wroc.pl pisze:
>>>> Normalną sytuacją jest dla mnie, że proces startuje na serwerze z 12
>>>> rdzeniami i 24GB RAMu i od razu całość alokuje i zapełnia danymi. Skąd
>>>> mam wiedzieć, że on akurat ma takie "widzi mi się" i zechce zaalokować
>>>> i zacząć używać 30GB?
>>> Ten, tego, a ulimit?
>>
>> Dobrze więc - pomijając fakt, że musiałbym się nagimnastykować to ulimit
>> działa per process. Nic nie szkodzi na przeszkodzie by użytkownik
>> wystartował 12 procesów po 2GB i jest to tak samo częste jak 1 proces z
>> 24GB. Deklaracja pamięci jest niestety sumaryczna.
>>
>
> Wtedy rezygnujemy z usług oom_killera i wyłączamy możliwość overcommitowania
> pamięci. Możemy nawet włączyć swap.
To jest świetne rozwiązanie - w teorii. Niestety większość softu to
niestety oprogramowanie pisane od wielu lat metodą mistrzowskich
poprawek i to co alokują nijak ma się do tego co używają.
Poza tym jeśli zrezygnujemy z overbookingu pamięci to mogą się pojawić
problemy np. przy forkowaniu jeśli aplikacje są źle napisane. Niestety są
bardzo źle i nic z tym nie da się zrobić.
--
Pozdrawiam
orcus
or...@pwr.wroc.pl
Dorzuce jeszcze dwa rozwiązania które wydają się sensowne:
- wirtualizacja(spadek wydajności o 5 do 10% jest akceptowalny).
Niestety żaden z darmowych systemów nie radzi sobie z urządzeniami
świadomymi virtualizacji pamięci i odciążającymi CPU(infiniband a
niedługo karty graficzne czy RDMA over ethernet).
- rozwiązanie o którym miałem nadzieję, że ktoś coś sensownego napisze
bo nasuwa się samo a jest skolejkowane do sprawdzenia - cgroups i
limitowanie zasobów(zarówno rdzeni jak i pamięci). Jak widać chyba
nikt tego nie używa.
--
Pozdrawiam
orcus
Kajetan Staszkiewicz
Najpierw spróbuj, potem skrytykuj. U mnie w firmie po zastosowaniu tego
tricku ogólna stabilność serwerów zajmujących się wykonywaniem dużej ilości
robót w tle poprawiła się. Po prostu jeśli program rzeczywiście robi coś
głupiego (np. alokacja n-dziesiąt GiB pamięci i nie sprawdzenie, czy
alokacja się powiodła), to nie ma możliwości zagwarantowania jego pracy!
Natomiast jeśli nie pociągnie za sobą całego serwera, to wychodzimy na plus.
Czasem trzeba to wyjaśnić co bardziej topornym użytkownikom (którzy wychodzą
z założenia, że lepiej by się coś robiło tydzień, rzeźbiąc po swapie), ale
cała reszta będzie zadowolona.
or...@pwr.wroc.pl
> Dnia czwartek, 3 marca 2011 05:29, or...@pwr.wroc.pl napisał(a):
>> Poza tym jeśli zrezygnujemy z overbookingu pamięci to mogą się pojawić
>> problemy np. przy forkowaniu jeśli aplikacje są źle napisane. Niestety są
>> bardzo źle i nic z tym nie da się zrobić.
>
> Najpierw spróbuj, potem skrytykuj. U mnie w firmie po zastosowaniu tego
> tricku ogólna stabilność serwerów zajmujących się wykonywaniem dużej ilości
> robót w tle poprawiła się. Po prostu jeśli program rzeczywiście robi coś
> głupiego (np. alokacja n-dziesiąt GiB pamięci i nie sprawdzenie, czy
> alokacja się powiodła), to nie ma możliwości zagwarantowania jego pracy!
> Natomiast jeśli nie pociągnie za sobą całego serwera, to wychodzimy na plus.
> Czasem trzeba to wyjaśnić co bardziej topornym użytkownikom (którzy wychodzą
> z założenia, że lepiej by się coś robiło tydzień, rzeźbiąc po swapie), ale
> cała reszta będzie zadowolona.
Niestety próbowałem. Problem jest tego typu, że większość
klientów nie pisze softu sama. Co więcej nie jesteśmy w stanie zapewnić
im dobrze napisanego softu(bo taki nie istnieje).
Poprawianie isniejącego jest często niemożliwe(za względów licencyjnych).
Jak kiedyś śmiałem się z informatyków-fizyków czy informatyków-chemików
to teraz widzę dla nich ogromny rynek...
Niestety często programy alokują sporą ilość pamięci, forkują się i
sporą część zwalniają i dopiero sięgają po to co im zostało. W trakcie
testów doszliśmy do wniosku, że heurystyczny overcommit pamięci(czyli
ustawienie domyślne) jest najlepszym wyjściem.
Mam świadomość, że taki soft jest źle napisany. Niestety nie mogę go
olać - to byłby strzał w stopę. Nie ja dobieram uruchamiane aplikację.
Ja tylko dostarczam czas procesora i pamięć.
Dzięki wyłączeniu swap-a taka aplikacja nie ciągnie za sobą serwera(bo
szybko interweniuje oom_killer).
--
Pozdrawiam
orcus