zkontrolujte si huge pages

[Pavel Stehule]

Ahoj

u jednoho zakaznika jsem se docela potrapil s optimalizaci dotazu, a stejne pri vetsi zatezi sel server do kolen (je tam cela rada problemu), brutalne vysoky load. Nakonec se ukazalo - doufam, ze duvodem bylo poddimenzovana velikost huge pages. Ten system se choval fakticky silene, ze jsem i silne podezrival hw problemy s chlazenim.

Tak kdybyste nekdy resili neco podobneho

https://franckpachot.medium.com/did-you-forget-to-allocate-huge-pages-on-your-postgresql-server-7a97e7727b03

Pavel

[do...@dobo.sk]

cat /proc/$(ps -fu postgres | grep /usr/lib/postgres | awk '{print
$2}')/status | grep VmPeak | awk '{printf("%d\n",$2/2048 + 0.9)}' >>
/etc/sysctl.d/huge_pages.conf

sysctl -p /etc/sysctl.d/huge_pages.conf


dobo



Dne 2022-02-09 08:38, Pavel Stehule napsal:

> --
> Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru
> skupiny „PostgreSQL-cz“ ve Skupinách Google.
> Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze
> skupiny, zašlete e-mail na adresu
> postgresql-c...@googlegroups.com.
> Chcete-li tuto diskusi zobrazit na webu, navštivte
> https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRBA0D_5YppGCSRPUdYKXFOYYaEADuyEgrtQrcTpjAYfsA%40mail.gmail.com
> [1].
>
>
> Links:
> ------
> [1]
> https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRBA0D_5YppGCSRPUdYKXFOYYaEADuyEgrtQrcTpjAYfsA%40mail.gmail.com?utm_medium=email&utm_source=footer

--
https://dobo.sk/

[Aleš Zelený]

Mimochodem, hezky clanek nejen o hugepages ma na webu EDB: https://www.enterprisedb.com/postgres-tutorials/introduction-postgresql-performance-tuning-and-optimization

Ales

Dne středa 9. února 2022 v 11:19:20 UTC+1 uživatel dobo napsal:

[Jan Marek]

Ahoj,

díval jsem se na stránky:

https://wiki.postgresql.org/wiki/Tuning_Your_PostgreSQL_Server

a našel jsem tam nástroj:

https://github.com/jfcoz/postgresqltuner

Zajímavý nástroj - doporučil mi nastavit Huge pages na 1GB
(server je na KVM virtualizaci, což si taky dokázal zjistit) a
doporučil přenastavit paměť...

Zdraví
Honza Marek

Dne St, úno 09, 2022 at 08:38:54 CET napsal(a) Pavel Stehule:

> Pavel
>
> --
> Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny
> „PostgreSQL-cz“ ve Skupinách Google.
> Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete
> e-mail na adresu postgresql-c...@googlegroups.com.
> Chcete-li tuto diskusi zobrazit na webu, navštivte
> https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRBA0D_5YppGCSRPUdYKXFOYYaE

> ADuyEgrtQrcTpjAYfsA%40mail.gmail.com.

--
Ing. Jan Marek
University of South Bohemia
Academic Computer Centre
Phone: +420389032080
http://www.gnu.org/philosophy/no-word-attachments.cs.html

[Pavel Stehule]

Ahoj

čt 5. 10. 2023 v 10:20 odesílatel 'Jan Marek' via PostgreSQL-cz <postgr...@googlegroups.com> napsal:

Ahoj,

díval jsem se na stránky:

https://wiki.postgresql.org/wiki/Tuning_Your_PostgreSQL_Server

a našel jsem tam nástroj:

https://github.com/jfcoz/postgresqltuner

Zajímavý nástroj - doporučil mi nastavit Huge pages na 1GB
(server je na KVM virtualizaci, což si taky dokázal zjistit) a
doporučil přenastavit paměť...

Zdraví
Honza Marek

Dne St, úno 09, 2022 at 08:38:54 CET napsal(a) Pavel Stehule:
> Ahoj
> u jednoho zakaznika jsem se docela potrapil s optimalizaci dotazu, a stejne pri
> vetsi zatezi sel server do kolen (je tam cela rada problemu), brutalne vysoky
> load. Nakonec se ukazalo - doufam, ze duvodem bylo poddimenzovana velikost huge
> pages. Ten system se choval fakticky silene, ze jsem i silne podezrival hw
> problemy s chlazenim.
> Tak kdybyste nekdy resili neco podobneho
> https://franckpachot.medium.com/did-you-forget-to-allocate-huge-pages-on-your-po
> stgresql-server-7a97e7727b03
> Pavel

ono - jak se ukazalo posleze, tak problem nebyl v huge pages, ale v nasaveni cache IO operaci v proxmoxu viz https://pve.proxmox.com/wiki/Performance_Tweaks

Brutalne vysoky load byl zpusobeny nevhodnou konfiguraci cache, ktera pri vetsim vyuziti IO vedla k priskrcovani CPU

>
> --
> Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny
> „PostgreSQL-cz“ ve Skupinách Google.
> Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete
> e-mail na adresu postgresql-c...@googlegroups.com.
> Chcete-li tuto diskusi zobrazit na webu, navštivte
> https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRBA0D_5YppGCSRPUdYKXFOYYaE
> ADuyEgrtQrcTpjAYfsA%40mail.gmail.com.

--
Ing. Jan Marek
University of South Bohemia
Academic Computer Centre
Phone: +420389032080
http://www.gnu.org/philosophy/no-word-attachments.cs.html

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny PostgreSQL-cz ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.

Chcete-li zobrazit tuto diskusi na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/20231005082007.ylvtmorkt3yxnapl%40hazard.jcu.cz.

[Pavel Stehule]

čt 5. 10. 2023 v 10:30 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:

jeste doplnim, pokud by nekdo pouzival proxmox - dobre funguje varianta https://pve.proxmox.com/wiki/File:Cache_mode_writethrough.png

Kdybych to ale nastavoval podle dokumentace, tak o tomhle nastaveni bych dost pochyboval. Ale funguje to. I kdyz muze dost zalezet na typu zateze.

[Jan Marek]

Dd,

Dne Čt, říj 05, 2023 at 10:30:55 CEST napsal(a) Pavel Stehule:

> Ahoj
> čt 5. 10. 2023 v 10:20 odesílatel 'Jan Marek' via PostgreSQL-cz
> <postgr...@googlegroups.com> napsal:
>
> >

> https://franckpachot.medium.com/did-you-forget-to-allocate-huge-pages-on-your-po
> > stgresql-server-7a97e7727b03
> > Pavel
>
> ono - jak se ukazalo posleze, tak problem nebyl v huge pages, ale v nasaveni
> cache IO operaci v proxmoxu viz https://pve.proxmox.com/wiki/Performance_Tweaks
> Brutalne vysoky load byl zpusobeny nevhodnou konfiguraci cache, ktera pri vetsim
> vyuziti IO vedla k priskrcovani CPU

to mě zajímá, protože též provozuju Postgresql na ProxMox-u.
Všude mám nastaveno cache="writeback". Mělo by to být (podle mého
chápání) nejrychlejší, ale přesto ještě bezpečné nastavení?

Zdraví
Honza Marek

[Pavel Stehule]

čt 5. 10. 2023 v 10:39 odesílatel 'Jan Marek' via PostgreSQL-cz <postgr...@googlegroups.com> napsal:

Dd,

Dne Čt, říj 05, 2023 at 10:30:55 CEST napsal(a) Pavel Stehule:
> Ahoj
> čt 5. 10. 2023 v 10:20 odesílatel 'Jan Marek' via PostgreSQL-cz
> <postgr...@googlegroups.com> napsal:
>
> >
> https://franckpachot.medium.com/did-you-forget-to-allocate-huge-pages-on-your-po
> > stgresql-server-7a97e7727b03
> > Pavel
>
> ono - jak se ukazalo posleze, tak problem nebyl v huge pages, ale v nasaveni
> cache IO operaci v proxmoxu viz https://pve.proxmox.com/wiki/Performance_Tweaks
> Brutalne vysoky load byl zpusobeny nevhodnou konfiguraci cache, ktera pri vetsim
> vyuziti IO vedla k priskrcovani CPU

to mě zajímá, protože též provozuju Postgresql na ProxMox-u.
Všude mám nastaveno cache="writeback". Mělo by to být (podle mého
chápání) nejrychlejší, ale přesto ještě bezpečné nastavení?

podle dokumentace si myslím, že by to mělo být ok

Zdraví
Honza Marek
--
Ing. Jan Marek
University of South Bohemia
Academic Computer Centre
Phone: +420389032080
http://www.gnu.org/philosophy/no-word-attachments.cs.html

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny PostgreSQL-cz ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.

Chcete-li zobrazit tuto diskusi na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/20231005083854.6huedy6uo4ngacri%40hazard.jcu.cz.