swap à 100% ⇒ Système à genou

[Jo Engo]

Alors donc quand le swap est à 100% mon système est à genou, une commande
de shell par exemple met des minutes à s'éxécuter, une tentative de
connexion distante (ssh) échoue (time out). Si j'arrive à tuer le
processus le plus gourmand en mémoire (firefox-esr), linux repart comme en
14. Qu'est-ce que je peux faire pour éviter ça ? Qui est en faute ff-esr
ou linux ou autre ?



--
Le plus âne des trois n'est pas celui qu'on pense.
-+- Jean de La fontaine,
Le Meunier, son Fils et l'Âne (Fables III.1) -+-

[Thomas Dupond]

Jo Engo <y...@icite.fr> writes:

> Alors donc quand le swap est à 100% mon système est à genou, une commande
> de shell par exemple met des minutes à s'éxécuter, une tentative de
> connexion distante (ssh) échoue (time out). Si j'arrive à tuer le
> processus le plus gourmand en mémoire (firefox-esr), linux repart comme en
> 14. Qu'est-ce que je peux faire pour éviter ça ? Qui est en faute ff-esr
> ou linux ou autre ?

Je pense que tu expériences du "thrashing", ça bloque complètement le
système. Une solution simple est de rajouter de la RAM ou d'augmenter
la taille du swap.

Après, à qui jeter la pierre c'est difficile. Si le système est souvent
en rade de mémoire c'est aussi qu'il n'est tout simplement pas assez
armé pour faire tourner firefox.

[Jo Engo]

Le Sun, 13 Feb 2022 16:34:33 +0100, Thomas Dupond a écrit :

> Je pense que tu expériences du "thrashing", ça bloque complètement le
> système. Une solution simple est de rajouter de la RAM

$ free -h

total utilisé libre partagé tamp/cache
disponible
Mem: 11Gi 2,6Gi 3,8Gi 434Mi 4,7Gi
7,8Gi
Partition d'échange: 3,4Gi 0B 3,4Gi

> ou d'augmenter
> la taille du swap.

Je vais galérer, j'ai partitionné comme un cochon.



--
L'imagination est plus importante que la connaissance.
-+- Albert Einstein -+-

[Christophe PEREZ]

Le Sun, 13 Feb 2022 16:34:33 +0100,

Thomas Dupond <tho...@dupond.eu> a écrit :

> Je pense que tu expériences du "thrashing", ça bloque complètement le
> système. Une solution simple est de rajouter de la RAM ou d'augmenter
> la taille du swap.

Si le system "swape" c'est qu'il manque de RAM pour l'usage qu'on en
fait.
Et augmenter la taille du swap n'y changera strictement rien.

Alors soit on rajoute de la RAM, si on peut, soit on allège son usage,
en lançant des applications moins gourmandes, ou en fermant des
applications avant d'en lancer d'autres (ou moins d'onglets dans
firefox, ou régulièrement fermer firefox pour le rouvrir puisqu'il a
une fâcheuse tendance à consommer de plus en plus de mémoire).

L'autre solution, est d'avoir le swap sur un disque plus rapide (genre
SSD au lieu d'un HD) et dans ce cas, on aura toujours autant de "swaps",
mais ça devrait être "moins" pénalisant.
Mais le "moins" est très relatif à plusieurs critères, donc ça peut
aller de "beaucoup moins" ou "à peine moins".

[pehache]

Le 13/02/2022 à 17:17, Jo Engo a écrit :
> Le Sun, 13 Feb 2022 16:34:33 +0100, Thomas Dupond a écrit :
>
>> Je pense que tu expériences du "thrashing", ça bloque complètement le
>> système. Une solution simple est de rajouter de la RAM
>
> $ free -h
>
> total utilisé libre partagé tamp/cache
> disponible
> Mem: 11Gi 2,6Gi 3,8Gi 434Mi 4,7Gi
> 7,8Gi
> Partition d'échange: 3,4Gi 0B 3,4Gi
>

Je ne comprends pas très bien ton tableau...

11Gio de RAM au total ? Ce n'est pas usuel comme chiffre, mais pourquoi
pas si tu as mixé des barrettes de taille très variées (dont une de 1Gio).

2,6Gio utilisés et 3,8Gio de libre ? Donc où est le problème s'il y a
presque 4Gio de libre ?? A moins que ce soit après avoir tué FF ? Mais
je vois aussi 4,7Gio de cache, c'est à dire de la RAM qui peut être
libérée à tout moment par l'OS si besoin.

Bref, je ne comprends pas pourquoi tout ça coince.

Et comment faut-il lire la ligne "Partition d'échange" ? le premier
3,4Gio c'est le "Total" ? Si oui il y aurait 0B d'utilisé en fait ?? Tu
es sûr que ton fichier de swap est utilisé ?

Dans le fichier /etc/sysctl.conf qu'as-tu comme valeur pour vm.swappiness ?

--
"...sois ouvert aux idées des autres pour peu qu'elles aillent dans le
même sens que les tiennes.", ST sur fr.bio.medecine
ST passe le mur du çon : <j3nn2h...@mid.individual.net>

[Nicolas George]

pehache , dans le message <j6suh6...@mid.individual.net>, a écrit :

> 11Gio de RAM au total ? Ce n'est pas usuel comme chiffre, mais pourquoi
> pas si tu as mixé des barrettes de taille très variées (dont une de 1Gio).

Ou s'il a un contrôleur vidéo qui squatte une quantité déraisonnable de RAM.
Les Ryzen laissent apparaître 5.8 Go sur 8, ils pourraient laisser 11 Go sur
16.

[tth]

On 2/13/22 17:17, Jo Engo wrote:

>> ou d'augmenter
>> la taille du swap.
>
> Je vais galérer, j'ai partitionné comme un cochon.

En cas de besoin, c'est assez facile de rajouter du swap
dans un fichier, c'est expliqué dans le man : MKSWAP(8)
mais je ne pense pas que ça règle ton souci de Firefox :(

tTh


--
+-------------------------------------------------------------------+
| sphinx of black quartz, judge my vow. |
+-------------------------------------------------------------------+

[Jo Engo]

Le Sun, 13 Feb 2022 18:47:17 +0100, pehache a écrit :

> Dans le fichier /etc/sysctl.conf qu'as-tu comme valeur pour
> vm.swappiness ?

Je n'ai pas ça dans ce fichier ni dans /etc/sysctl.d

la chaine "swap" est absentes de ces emplacements.

(au fait J'ai 4Go+8Go de RAM je sais pas où est passé le Go qui manque) et
je ne peux pas l'augmenter (à moins de remplacer la barrette de 8 par une
de 16)

--
Un conducteur dangereux, c'est celui qui vous dépasse malgré tous vos
efforts pour l'en empêcher.
-+- Woody Allen -+-

[ptilou]

Le dimanche 13 février 2022 à 14:55:06 UTC+1, Jo Engo a écrit :
> Alors donc quand le swap est à 100% mon système est à genou, une commande
> de shell par exemple met des minutes à s'éxécuter, une tentative de
> connexion distante (ssh) échoue (time out). Si j'arrive à tuer le
> processus le plus gourmand en mémoire (firefox-esr), linux repart comme en
> 14. Qu'est-ce que je peux faire pour éviter ça ? Qui est en faute ff-esr
> ou linux ou autre ?
>
>
>

Y a un module dont le nom m’échappe avec de la swap dynamique et donc ça la redimensionne via un processus du kernel …

[Jo Engo]

Le Sun, 13 Feb 2022 20:09:38 +0100, tth a écrit :

> En cas de besoin, c'est assez facile de rajouter du swap
> dans un fichier, c'est expliqué dans le man : MKSWAP(8)

Je vais faire ça inch Allah, et je vais agrandir une partoche avec
l'ancien swap

> mais je ne pense pas que ça règle ton souci de Firefox

Suis-je le seul à avoir ce souci avec FF ? Je me souviens avoir trouvé une
page qui le faisait réclamer de la mémoire jusqu'au thrash, en fait je
crois que c'est les pages qui sont codées avec les pieds, pas firefox
(enfin si, il ne devrait pas laisser faire)

--
On n'est jamais si heureux ni si malheureux qu'on s'imagine.
-+- François de La Rochefoucauld (1613-1680), Maximes 49 -+-

[pehache]

Le 13/02/2022 à 21:15, Jo Engo a écrit :
> Le Sun, 13 Feb 2022 18:47:17 +0100, pehache a écrit :
>
>> Dans le fichier /etc/sysctl.conf qu'as-tu comme valeur pour
>> vm.swappiness ?
>
> Je n'ai pas ça dans ce fichier ni dans /etc/sysctl.d
>
> la chaine "swap" est absentes de ces emplacements.

Ah, bizarre... ça dépend peut-être des distribs (?)

Et si tu tapes ça tu as quoi :
sudo sysctl vm.swappiness

>
> (au fait J'ai 4Go+8Go de RAM je sais pas où est passé le Go qui manque) et
> je ne peux pas l'augmenter (à moins de remplacer la barrette de 8 par une
> de 16)

OK.

Et pour mes autres questions/remarques ? Ca ne te parait pas bizarre
d'avoir apparemment plein de RAM libre et une occupation du swap nulle ?

[Jo Engo]

Le Mon, 14 Feb 22 08:11:19 +0000, pehache a écrit :

> Et si tu tapes ça tu as quoi :
> sudo sysctl vm.swappiness

vm.swappiness = 60

<snip>

> Et pour mes autres questions/remarques ? Ca ne te parait pas bizarre
> d'avoir apparemment plein de RAM libre et une occupation du swap nulle ?

Je venais de redémarrer, maintenant j'ai :

total utilisé libre partagé tamp/cache
disponible

Mem: 11Gi 4,4Gi 1,9Gi 334Mi 4,9Gi
6,1Gi
Partition d'échange: 3,4Gi 416Mi 3,0Gi


(jusqu'ici tout va bien)

--
Ares, etc. essore, etc.
A levé, rêvé l'acte, Eros secte sera.
-- Roche, Jean

[yamo']

Salut,
Jo Engo a écrit :

> Le Mon, 14 Feb 22 08:11:19 +0000, pehache a écrit :

>> Et si tu tapes ça tu as quoi :
>> sudo sysctl vm.swappiness

> vm.swappiness = 60

Je le passerais à 10. (configuration qui souvent fonctionne bien chez moi,
j'espère que tu auras des réponses plus étayées).

Mais, avec autant de RAM, c'est étonnant que tu sois impacté. Ton swap est
peut-être trop petit.
C'est possible d'avoir plusieurs partitions de swap par contre, je ne sais
pas si c'est une bonne idée...

--
Stéphane

[bilou]

Le 13/02/2022 à 14:55, Jo Engo a écrit :
> Alors donc quand le swap est à 100% mon système est à genou, une commande
> de shell par exemple met des minutes à s'éxécuter, une tentative de
> connexion distante (ssh) échoue (time out). Si j'arrive à tuer le
> processus le plus gourmand en mémoire (firefox-esr), linux repart comme en
> 14. Qu'est-ce que je peux faire pour éviter ça ? Qui est en faute ff-esr
> ou linux ou autre ?
>
>
>

Dans mon cas je ne me suis pas compliqué la vie j'ai augmenté le swap.
Ca a parfaitement fonctionné et une partition SWAP de 8 Go sur un disque
moderne c'est peanuts.
J'ai remarqué que mes soucis étaient liés avec des
lectures/enregistrement vidéo.
Avec la généralisation de la HD c'est plutôt logique.

[pehache]

Le 14/02/2022 à 10:40, Jo Engo a écrit :
> Le Mon, 14 Feb 22 08:11:19 +0000, pehache a écrit :
>
>> Et si tu tapes ça tu as quoi :
>> sudo sysctl vm.swappiness
>
> vm.swappiness = 60
>

OK, valeur "normale"...

> <snip>
>
>> Et pour mes autres questions/remarques ? Ca ne te parait pas bizarre
>> d'avoir apparemment plein de RAM libre et une occupation du swap nulle ?
>
> Je venais de redémarrer, maintenant j'ai :
>
> total utilisé libre partagé tamp/cache
> disponible
> Mem: 11Gi 4,4Gi 1,9Gi 334Mi 4,9Gi
> 6,1Gi
> Partition d'échange: 3,4Gi 416Mi 3,0Gi
>
>
> (jusqu'ici tout va bien)

Oui, enfin, c'est quand ça ne va pas bien qu'il faut voir ce qu'il en
est... Et relever l'occupation mémoire de FF à ce moment là, aussi.

Au vu de ces chiffres, si FF arrive à provoquer une saturation on peut
suspecter qu'il s'emballe au niveau de l'occupation mémoire.

[Marc SCHAEFER]

pehache <peha...@gmail.com> wrote:
> Au vu de ces chiffres, si FF arrive à provoquer une saturation on peut
> suspecter qu'il s'emballe au niveau de l'occupation mémoire.

Dans ce cas, peut-être que jouer avec les ulimit pourrait être une bonne
idée (Firefox crasherait sans ralentir le système).

Malgré cela, avec une Debian buster et Firefox 97.0-x86_64, je n'observe
pas les symptômes décrits:

schaefer@reliand:~$ free
total used free shared buff/cache available
Mem: 3973124 1403544 766448 292604 1803132 2006332
Swap: 8257532 41728 8215804

Oui, 4GB de RAM sur un laptop qui a dix ans, c'est mon outil de travail
principal :)

[Jo Engo]

lèLe Sun, 13 Feb 2022 20:09:38 +0100, tth a écrit :

> En cas de besoin, c'est assez facile de rajouter du swap
> dans un fichier, c'est expliqué dans le man : MKSWAP(8)

Problème ce n'est apparemment pas persistant, il me faut refaire :
sudo swapon /chemin/vers/mon-fichier-de-swap à chaque redémarrage

> mais je ne pense pas que ça règle ton souci de Firefox

On verra, là j'ai (en me plantant sur la taille de bloc) fait un fichier
deux fois plus gros que ma RAM, je l'ai laissé comme ça. Pas de
ralentissement pour le moment.
LANG=C free -h

total used free shared buff/cache
available

Mem: 11Gi 4.7Gi 5.2Gi 327Mi 1.2Gi
5.7Gi
Swap: 25Gi 2.4Gi 23Gi



--
Il ne suffit pas d'être heureux, encore faut il que les autres soient
malheureux.
-+- Pierre Desproges -+-

[Pascal Hambourg]

Le 24/03/2022 à 11:23, Jo Engo a écrit :
> lèLe Sun, 13 Feb 2022 20:09:38 +0100, tth a écrit :
>
>> En cas de besoin, c'est assez facile de rajouter du swap
>> dans un fichier, c'est expliqué dans le man : MKSWAP(8)

Note : ce n'est pas supporté par tous les systèmes de fichiers.

> Problème ce n'est apparemment pas persistant, il me faut refaire :
> sudo swapon /chemin/vers/mon-fichier-de-swap à chaque redémarrage

Il faut le déclarer dans /etc/fstab comme n'importe quel swap.

[tth]

On 3/24/22 14:21, Pascal Hambourg wrote:
> Le 24/03/2022 à 11:23, Jo Engo a écrit :
>> lèLe Sun, 13 Feb 2022 20:09:38 +0100, tth a écrit :
>>
>>> En cas de besoin, c'est assez facile de rajouter du swap
>>>      dans un fichier, c'est expliqué dans le man : MKSWAP(8)
>
> Note : ce n'est pas supporté par tous les systèmes de fichiers.

Ah, j'ignorais ça. Je suppoe que c'est lié à des soucis
avec le mapping pages mémoire/blocs du fichier. Et
j'aimerais bien avoir plus de détails, pour éviter
un futur piège.

>> Problème ce n'est apparemment pas persistant, il me faut refaire :
>> sudo swapon /chemin/vers/mon-fichier-de-swap à chaque redémarrage
>
> Il faut le déclarer dans /etc/fstab comme n'importe quel swap.

[Jo Engo]

Le Thu, 24 Mar 2022 14:21:22 +0100, Pascal Hambourg a écrit :

>> lèLe Sun, 13 Feb 2022 20:09:38 +0100, tth a écrit :
>>
>>> En cas de besoin, c'est assez facile de rajouter du swap
>>> dans un fichier, c'est expliqué dans le man : MKSWAP(8)
>
> Note : ce n'est pas supporté par tous les systèmes de fichiers.

Là c'est passé crème (Ext4)

>
>> Problème ce n'est apparemment pas persistant, il me faut refaire :
>> sudo swapon /chemin/vers/mon-fichier-de-swap à chaque redémarrage
>
> Il faut le déclarer dans /etc/fstab comme n'importe quel swap.

Avec quelle syntaxe ??

uuid=XXX none swap sw

j'ai vu en regardant mkswap qu'on pouvait y mettre un uuid, mais je ne
sais plus ni si c'est automatique ni comment le retrouver… sinon je peux
essayer :
/mon/swap none swap sw mais ça me plaît modérément

--
TAG

M : Je vais devenir célèbre... ma pisse va faire le tour du périph !
P : Je serais toi, j'irais pisser sur les pneus de la navette spatiale...

[Pascal Hambourg]

Le 24/03/2022 à 20:49, tth a écrit :
> On 3/24/22 14:21, Pascal Hambourg wrote:
>> Le 24/03/2022 à 11:23, Jo Engo a écrit :
>>> Le Sun, 13 Feb 2022 20:09:38 +0100, tth a écrit :
>>>
>>>> En cas de besoin, c'est assez facile de rajouter du swap
>>>>      dans un fichier, c'est expliqué dans le man : MKSWAP(8)
>>
>> Note : ce n'est pas supporté par tous les systèmes de fichiers.
>
>   Ah, j'ignorais ça. Je suppoe que c'est lié à des soucis
>   avec le mapping pages mémoire/blocs du fichier. Et
>   j'aimerais bien avoir plus de détails, pour éviter
>   un futur piège.

C'est lié à la capacité de mapper un fichier en blocs du périphérique
bloc sous-jacent, car le noyau ne passe pas par le système de fichiers
pour lire et écrire dans le swap. Par exemple pendant longtemps, il
n'était pas possible d'utiliser un fichier de swap sur btrfs qui
refusait le mapping. C'est devenu possible depuis la version 5.0 du
noyau mais avec des restrictions, le fichier de swap ne doit pas être de
type copy-on-write. Je suppose qu'un système de fichiers avec
chiffrement ou compression intégré n'est pas non plus compatible car il
n'existe pas de mapping direct entre un fichier et le périphérique
sous-jacent.

[Pascal Hambourg]

Le 24/03/2022 à 21:53, Jo Engo a écrit :
> Le Thu, 24 Mar 2022 14:21:22 +0100, Pascal Hambourg a écrit :
>
>>> lèLe Sun, 13 Feb 2022 20:09:38 +0100, tth a écrit :
>>>
>>>> En cas de besoin, c'est assez facile de rajouter du swap
>>>> dans un fichier, c'est expliqué dans le man : MKSWAP(8)
>>

>>> Problème ce n'est apparemment pas persistant, il me faut refaire :
>>> sudo swapon /chemin/vers/mon-fichier-de-swap à chaque redémarrage
>>
>> Il faut le déclarer dans /etc/fstab comme n'importe quel swap.
>
> Avec quelle syntaxe ??

Avec la syntaxe classique de fstab, on remplace le périphérique /dev/xxx
par le chemin du fichier.

> uuid=XXX none swap sw

Non, cette notation n'est utilisable qu'avec un périphérique bloc. Tu
imagines s'il fallait scruter tous les fichiers pour trouver celui dont
l'UUID correspond ?

> /mon/swap none swap sw mais ça me plaît modérément

Et pourtant...