feature za whisky

54 views
Skip to first unread message

Pavel Stehule

unread,
Jun 6, 2020, 2:28:13 AM6/6/20
to PostgreSQL-cz
Ahoj

vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.

Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu.

Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu.

Cil - commitnuty patch s implementaci pohledu pg_stat_progress_copy.
Cena - 10y skotska whisky a volna vstupenka na P2D2.

Pro abstinenty - alternativni cena - pozvanka na veceri pro prednasejici na P2D2

Pavel

Josef Šimánek

unread,
Jun 6, 2020, 4:06:06 AM6/6/20
to postgr...@googlegroups.com


so 6. 6. 2020 v 8:28 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
Ahoj
Ahoj 
vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.

Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu. 
 
Já jsem akorát v tejdnu přidal do mého todo-listu pár návrhů pro změny v pg_stat_progress_create_index pro který bych chtěl připravit patch k diskuzi. Předběžně jsem koukal do kódu a snad to nebude problém.

Potom se můžu klidně zkusit podívat na tohle. Jestli si spráně pamatuju (a nešálil mě zrak při sledování pg_stat_activity), tak COPY se někdy použije i při "klonování tabulky" (CREATE TABLE .. AS SELECT ...) a tam už by to bylo dost zajímavý.

V práci používáme COPY na zpracování CSV souborů do dočasných tabulek, ale bohužel i při milionech řádcích v CSV souboru to je tak rychlý, že progress je zbytečnej :)

 
Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu. 
 
Já tam patch mám, ale jen dokumentační, tak nevím jestli by to nebyl problém. Kořalku případně oželím.

Cil - commitnuty patch s implementaci pohledu pg_stat_progress_copy.
Cena - 10y skotska whisky a volna vstupenka na P2D2.

Pro abstinenty - alternativni cena - pozvanka na veceri pro prednasejici na P2D2

Pavel

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRCZ42CBCa1bPHr7htffSV%2BNAcgcHHG0dVqOog4bsu2LFw%40mail.gmail.com.

Pavel Stehule

unread,
Jun 6, 2020, 4:35:44 AM6/6/20
to PostgreSQL-cz


so 6. 6. 2020 v 10:06 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 8:28 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
Ahoj
Ahoj 
vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.

Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu. 
 
Já jsem akorát v tejdnu přidal do mého todo-listu pár návrhů pro změny v pg_stat_progress_create_index pro který bych chtěl připravit patch k diskuzi. Předběžně jsem koukal do kódu a snad to nebude problém.

Potom se můžu klidně zkusit podívat na tohle. Jestli si spráně pamatuju (a nešálil mě zrak při sledování pg_stat_activity), tak COPY se někdy použije i při "klonování tabulky" (CREATE TABLE .. AS SELECT ...) a tam už by to bylo dost zajímavý.

V práci používáme COPY na zpracování CSV souborů do dočasných tabulek, ale bohužel i při milionech řádcích v CSV souboru to je tak rychlý, že progress je zbytečnej :)
 
Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu. 
 
Já tam patch mám, ale jen dokumentační, tak nevím jestli by to nebyl problém. Kořalku případně oželím.

co znamena dokumentacni?


Cil - commitnuty patch s implementaci pohledu pg_stat_progress_copy.
Cena - 10y skotska whisky a volna vstupenka na P2D2.

Pro abstinenty - alternativni cena - pozvanka na veceri pro prednasejici na P2D2

Pavel

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRCZ42CBCa1bPHr7htffSV%2BNAcgcHHG0dVqOog4bsu2LFw%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.

Josef Šimánek

unread,
Jun 6, 2020, 4:38:30 AM6/6/20
to postgr...@googlegroups.com


so 6. 6. 2020 v 10:35 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:


so 6. 6. 2020 v 10:06 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 8:28 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
Ahoj
Ahoj 
vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.

Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu. 
 
Já jsem akorát v tejdnu přidal do mého todo-listu pár návrhů pro změny v pg_stat_progress_create_index pro který bych chtěl připravit patch k diskuzi. Předběžně jsem koukal do kódu a snad to nebude problém.

Potom se můžu klidně zkusit podívat na tohle. Jestli si spráně pamatuju (a nešálil mě zrak při sledování pg_stat_activity), tak COPY se někdy použije i při "klonování tabulky" (CREATE TABLE .. AS SELECT ...) a tam už by to bylo dost zajímavý.

V práci používáme COPY na zpracování CSV souborů do dočasných tabulek, ale bohužel i při milionech řádcích v CSV souboru to je tak rychlý, že progress je zbytečnej :)
 
Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu. 
 
Já tam patch mám, ale jen dokumentační, tak nevím jestli by to nebyl problém. Kořalku případně oželím.

co znamena dokumentacni?

Změna ve složce doc. 

 

Cil - commitnuty patch s implementaci pohledu pg_stat_progress_copy.
Cena - 10y skotska whisky a volna vstupenka na P2D2.

Pro abstinenty - alternativni cena - pozvanka na veceri pro prednasejici na P2D2

Pavel

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRCZ42CBCa1bPHr7htffSV%2BNAcgcHHG0dVqOog4bsu2LFw%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFp7Qwok8hsprV38SfZj2bHtwVr1HD3UHspFUJfh%2Bcnv4G480A%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.

Pavel Stehule

unread,
Jun 6, 2020, 4:54:51 AM6/6/20
to PostgreSQL-cz


so 6. 6. 2020 v 10:38 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 10:35 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:


so 6. 6. 2020 v 10:06 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 8:28 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
Ahoj
Ahoj 
vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.

Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu. 
 
Já jsem akorát v tejdnu přidal do mého todo-listu pár návrhů pro změny v pg_stat_progress_create_index pro který bych chtěl připravit patch k diskuzi. Předběžně jsem koukal do kódu a snad to nebude problém.

Potom se můžu klidně zkusit podívat na tohle. Jestli si spráně pamatuju (a nešálil mě zrak při sledování pg_stat_activity), tak COPY se někdy použije i při "klonování tabulky" (CREATE TABLE .. AS SELECT ...) a tam už by to bylo dost zajímavý.

V práci používáme COPY na zpracování CSV souborů do dočasných tabulek, ale bohužel i při milionech řádcích v CSV souboru to je tak rychlý, že progress je zbytečnej :)
 
Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu. 
 
Já tam patch mám, ale jen dokumentační, tak nevím jestli by to nebyl problém. Kořalku případně oželím.

co znamena dokumentacni?

Změna ve složce doc. 

to se nepocita - dulezity je kod



 

Cil - commitnuty patch s implementaci pohledu pg_stat_progress_copy.
Cena - 10y skotska whisky a volna vstupenka na P2D2.

Pro abstinenty - alternativni cena - pozvanka na veceri pro prednasejici na P2D2

Pavel

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRCZ42CBCa1bPHr7htffSV%2BNAcgcHHG0dVqOog4bsu2LFw%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFp7Qwok8hsprV38SfZj2bHtwVr1HD3UHspFUJfh%2Bcnv4G480A%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRBSOSU6D44vN9kdTFtOZ9D6KXLQc_Gch2Q_s7TMn75iUA%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.

Antonin Houska

unread,
Jun 6, 2020, 6:08:04 AM6/6/20
to postgr...@googlegroups.com
Pavel Stehule <pavel....@gmail.com> wrote:

> Ahoj
>
> vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce
> a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost
> sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.
>
> Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu.
>
> Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu.
>
> Cil - commitnuty patch s implementaci pohledu pg_stat_progress_copy.

Jen pro uplnost: pri implementaci je potreba vzit v uvahu i novou funkcnost
"parallel COPY", ktera jeste neni ve vetvi master, viz

https://www.postgresql.org/message-id/CAA4eK1+kpddvvLxWm4BuG_AhVvYz8mKAEa7osxp_X0d4ZEiV=g...@mail.gmail.com

>
> Pavel
>
> --
> Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
> Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
> Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRCZ42CBCa1bPHr7htffSV%2BNAcgcHHG0dVqOog4bsu2LFw%40mail.gmail.com.
>

--
Antonín Houska
www.melesmeles.cz

Pavel Stehule

unread,
Jun 6, 2020, 6:38:36 AM6/6/20
to PostgreSQL-cz


so 6. 6. 2020 v 12:08 odesílatel Antonin Houska <a...@melesmeles.cz> napsal:
Pavel Stehule <pavel....@gmail.com> wrote:

> Ahoj
>
> vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce
> a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost
> sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.
>
> Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu.
>
> Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu.
>
> Cil - commitnuty patch s implementaci pohledu pg_stat_progress_copy.

Jen pro uplnost: pri implementaci je potreba vzit v uvahu i novou funkcnost
"parallel COPY", ktera jeste neni ve vetvi master, viz

https://www.postgresql.org/message-id/CAA4eK1+kpddvvLxWm4BuG_AhVvYz8mKAEa7osxp_X0d4ZEiV=g...@mail.gmail.com

tak aby to commitnute. Kdyz bude parallel COPY v masteru, tak by se to v potaz vzit melo.  Pro zacatek bych to ale nekomplikoval.


 


>
> Pavel
>
> --
> Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
> Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
> Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRCZ42CBCa1bPHr7htffSV%2BNAcgcHHG0dVqOog4bsu2LFw%40mail.gmail.com.
>

--
Antonín Houska
www.melesmeles.cz

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny PostgreSQL-cz ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li zobrazit tuto diskusi na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/68696.1591438171%40antos.

Josef Šimánek

unread,
Jun 7, 2020, 8:15:05 PM6/7/20
to postgr...@googlegroups.com


so 6. 6. 2020 v 10:54 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:


so 6. 6. 2020 v 10:38 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 10:35 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:


so 6. 6. 2020 v 10:06 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 8:28 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
Ahoj
Ahoj 
vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.

Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu. 
 
Já jsem akorát v tejdnu přidal do mého todo-listu pár návrhů pro změny v pg_stat_progress_create_index pro který bych chtěl připravit patch k diskuzi. Předběžně jsem koukal do kódu a snad to nebude problém.

Potom se můžu klidně zkusit podívat na tohle. Jestli si spráně pamatuju (a nešálil mě zrak při sledování pg_stat_activity), tak COPY se někdy použije i při "klonování tabulky" (CREATE TABLE .. AS SELECT ...) a tam už by to bylo dost zajímavý.

V práci používáme COPY na zpracování CSV souborů do dočasných tabulek, ale bohužel i při milionech řádcích v CSV souboru to je tak rychlý, že progress je zbytečnej :)
 
Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu. 
 
Já tam patch mám, ale jen dokumentační, tak nevím jestli by to nebyl problém. Kořalku případně oželím.

co znamena dokumentacni?

Změna ve složce doc. 

to se nepocita - dulezity je kod

Koukl jsem na to a hodně naivní implementace by mohla vypadat cca takhle - https://github.com/simi/postgres/pull/4/files (dostupné taky jako diff - https://github.com/simi/postgres/pull/4.diff).

Dotaz SELECT * FROM pg_stat_get_progress_info('COPY'); vrátí info, zatím se tam naplní jen pid, datid, relid (to je 0 momentálně) a v param1 je počet již zpracovaných řádků. Přemýšlím jaký další informace tam ještě poslat. Jestli to chápu správně, tak celkový počet řádků není před dokončením znám a dotaz tam nedostanu (pokud to chápu správně), protože progress parametry (param1 až param20) jsou typu int8. Nějáký nápad?

PS: Bude ještě třeba udělat novej pohled v pg_stat_copy v system_views.sql, ale to bych nechal až jako poslední krok případně.
 


 

Cil - commitnuty patch s implementaci pohledu pg_stat_progress_copy.
Cena - 10y skotska whisky a volna vstupenka na P2D2.

Pro abstinenty - alternativni cena - pozvanka na veceri pro prednasejici na P2D2

Pavel

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRCZ42CBCa1bPHr7htffSV%2BNAcgcHHG0dVqOog4bsu2LFw%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFp7Qwok8hsprV38SfZj2bHtwVr1HD3UHspFUJfh%2Bcnv4G480A%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRBSOSU6D44vN9kdTFtOZ9D6KXLQc_Gch2Q_s7TMn75iUA%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFp7QwroVB7qmiz%3DEh-6S2TZogJ%2B1y1mss2nSOX2EWP9GDRT-A%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.

Pavel Stehule

unread,
Jun 7, 2020, 11:41:07 PM6/7/20
to PostgreSQL-cz


po 8. 6. 2020 v 2:15 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 10:54 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:


so 6. 6. 2020 v 10:38 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 10:35 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:


so 6. 6. 2020 v 10:06 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 8:28 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
Ahoj
Ahoj 
vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.

Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu. 
 
Já jsem akorát v tejdnu přidal do mého todo-listu pár návrhů pro změny v pg_stat_progress_create_index pro který bych chtěl připravit patch k diskuzi. Předběžně jsem koukal do kódu a snad to nebude problém.

Potom se můžu klidně zkusit podívat na tohle. Jestli si spráně pamatuju (a nešálil mě zrak při sledování pg_stat_activity), tak COPY se někdy použije i při "klonování tabulky" (CREATE TABLE .. AS SELECT ...) a tam už by to bylo dost zajímavý.

V práci používáme COPY na zpracování CSV souborů do dočasných tabulek, ale bohužel i při milionech řádcích v CSV souboru to je tak rychlý, že progress je zbytečnej :)
 
Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu. 
 
Já tam patch mám, ale jen dokumentační, tak nevím jestli by to nebyl problém. Kořalku případně oželím.

co znamena dokumentacni?

Změna ve složce doc. 

to se nepocita - dulezity je kod

Koukl jsem na to a hodně naivní implementace by mohla vypadat cca takhle - https://github.com/simi/postgres/pull/4/files (dostupné taky jako diff - https://github.com/simi/postgres/pull/4.diff).

Dotaz SELECT * FROM pg_stat_get_progress_info('COPY'); vrátí info, zatím se tam naplní jen pid, datid, relid (to je 0 momentálně) a v param1 je počet již zpracovaných řádků. Přemýšlím jaký další informace tam ještě poslat. Jestli to chápu správně, tak celkový počet řádků není před dokončením znám a dotaz tam nedostanu (pokud to chápu správně), protože progress parametry (param1 až param20) jsou typu int8. Nějáký nápad?

Ono ani u SELECTu se dopredu nevi kolik tam bude radku. Ja si myslim, ze by se mohla zobrazovat pozice v souboru. pripadne jeste pocet zprocesovanych bajtu. Na klientovi si kdolik pak muze udelat seek to END, a pak si zobrazit pomer (nebo velikost nacist z metadat)


PS: Bude ještě třeba udělat novej pohled v pg_stat_copy v system_views.sql, ale to bych nechal až jako poslední krok případně.

ok :)
 

Josef Šimánek

unread,
Jun 13, 2020, 8:57:33 PM6/13/20
to postgr...@googlegroups.com


po 8. 6. 2020 v 5:41 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:


po 8. 6. 2020 v 2:15 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 10:54 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:


so 6. 6. 2020 v 10:38 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 10:35 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:


so 6. 6. 2020 v 10:06 odesílatel Josef Šimánek <josef....@gmail.com> napsal:


so 6. 6. 2020 v 8:28 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
Ahoj
Ahoj 
vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.

Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu. 
 
Já jsem akorát v tejdnu přidal do mého todo-listu pár návrhů pro změny v pg_stat_progress_create_index pro který bych chtěl připravit patch k diskuzi. Předběžně jsem koukal do kódu a snad to nebude problém.

Potom se můžu klidně zkusit podívat na tohle. Jestli si spráně pamatuju (a nešálil mě zrak při sledování pg_stat_activity), tak COPY se někdy použije i při "klonování tabulky" (CREATE TABLE .. AS SELECT ...) a tam už by to bylo dost zajímavý.

V práci používáme COPY na zpracování CSV souborů do dočasných tabulek, ale bohužel i při milionech řádcích v CSV souboru to je tak rychlý, že progress je zbytečnej :)
 
Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu. 
 
Já tam patch mám, ale jen dokumentační, tak nevím jestli by to nebyl problém. Kořalku případně oželím.

co znamena dokumentacni?

Změna ve složce doc. 

to se nepocita - dulezity je kod

Koukl jsem na to a hodně naivní implementace by mohla vypadat cca takhle - https://github.com/simi/postgres/pull/4/files (dostupné taky jako diff - https://github.com/simi/postgres/pull/4.diff).

Dotaz SELECT * FROM pg_stat_get_progress_info('COPY'); vrátí info, zatím se tam naplní jen pid, datid, relid (to je 0 momentálně) a v param1 je počet již zpracovaných řádků. Přemýšlím jaký další informace tam ještě poslat. Jestli to chápu správně, tak celkový počet řádků není před dokončením znám a dotaz tam nedostanu (pokud to chápu správně), protože progress parametry (param1 až param20) jsou typu int8. Nějáký nápad?

Ono ani u SELECTu se dopredu nevi kolik tam bude radku. Ja si myslim, ze by se mohla zobrazovat pozice v souboru. pripadne jeste pocet zprocesovanych bajtu. Na klientovi si kdolik pak muze udelat seek to END, a pak si zobrazit pomer (nebo velikost nacist z metadat)

OK, posbíral jsem užitečný data co jsem našel a posílám to tam.

Příklad pro dotaz "COPY (SELECT * FROM test) TO '/tmp/ids';"

yr=# SELECT * from pg_stat_progress_copy;
   pid   | datid | datname | relid | direction | file | program | lines_processed | file_bytes_processed
---------+-------+---------+-------+-----------+------+---------+-----------------+----------------------
 3347126 | 16384 | yr      |     0 | TO        | t    | f       |         3529943 |             24906226
(1 row)
 
Příklad pro dotaz "COPY test FROM '/tmp/ids';

yr=# SELECT * from pg_stat_progress_copy;
   pid   | datid | datname | relid | direction | file | program | lines_processed | file_bytes_processed
---------+-------+---------+-------+-----------+------+---------+-----------------+----------------------
 3347126 | 16384 | yr      | 16385 | FROM      | t    | f       |       121591999 |            957218816
(1 row)


PS: Bude ještě třeba udělat novej pohled v pg_stat_copy v system_views.sql, ale to bych nechal až jako poslední krok případně.

ok :)

Pavel Stehule

unread,
Jun 14, 2020, 1:02:28 AM6/14/20
to PostgreSQL-cz


ne 14. 6. 2020 v 2:57 odesílatel Josef Šimánek <josef....@gmail.com> napsal:
super :)

jeste nejakou dokumentaci, proposal do mailing listu a jeste stihnes cervencovy commitfest

Pavel

Josef Šimánek

unread,
Jun 14, 2020, 5:57:25 AM6/14/20
to postgr...@googlegroups.com


ne 14. 6. 2020 v 7:02 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
Dokumentaci si nechávám na konec, pokud se patch zalíbí, určitě se tam budou věci přejmenovávat. Ale všechno (každej sloupec zvlášť) mám v plánu popsat v mailu (do hackers) a pak by to mělo stačit jen přeformátovat do dokumentace.

Koukal jsem i na testy, ale ostatní "progress" pohledy je nemají. Opravil jsem jeden rozbitej. Uvidíme jestli někdo poradí jak na to. Ona by tam byla třeba součinnost dvou procesů (jeden volá COPY, druhej kontroluje pohled) a to asi není v momentálních regresních testech možný.

Mám tam pár otázek, ale to už nechám do hackers. Např. si nejsem jistej jestli volání "ftell" je v kontextu dost bezpečný a není třeba řešit error reporting (errno).

Jdu to připravit na odeslání do hackers.
 
 

Josef Šimánek

unread,
Jun 21, 2020, 7:48:37 AM6/21/20
to postgr...@googlegroups.com
Po připomínkách na hackers jsem dodělal dokumentaci, trošku to předělal aby to podporovalo víc variant a poslal jsem to na commitfest - https://commitfest.postgresql.org/28/2607.

ne 14. 6. 2020 v 11:57 odesílatel Josef Šimánek <josef....@gmail.com> napsal:

Josef Šimánek

unread,
Jan 2, 2021, 12:51:29 PM1/2/21
to postgr...@googlegroups.com
Kdyby to náhodou někoho zajímalo, tak vývoj tady stále pokračuje, jen
jsem se k tomu chvilku nedostal. Poslední verze je k dohledání na
těchto místech:

- https://commitfest.postgresql.org/31/2923/
- https://www.postgresql.org/message-id/flat/CAFp7Qwr6_FmRM6pCO0x_a0mymOfX_Gg+FEKet4XaTGSW=Li...@mail.gmail.com
- https://github.com/simi/postgres/pull/6/files

Snad to v týhle verzi už projde. Kdyby měl někdo nějákej další nápad,
rád se zase na něco podívám.

ne 21. 6. 2020 v 13:48 odesílatel Josef Šimánek

Pavel Stehule

unread,
Jan 2, 2021, 12:58:25 PM1/2/21
to PostgreSQL-cz


so 2. 1. 2021 v 18:51 odesílatel Josef Šimánek <josef....@gmail.com> napsal:
Kdyby to náhodou někoho zajímalo, tak vývoj tady stále pokračuje, jen
jsem se k tomu chvilku nedostal. Poslední verze je k dohledání na
těchto místech:

- https://commitfest.postgresql.org/31/2923/
- https://www.postgresql.org/message-id/flat/CAFp7Qwr6_FmRM6pCO0x_a0mymOfX_Gg+FEKet4XaTGSW=Li...@mail.gmail.com
- https://github.com/simi/postgres/pull/6/files

Snad to v týhle verzi už projde. Kdyby měl někdo nějákej další nápad,
rád se zase na něco podívám.

bavili jsme se o tom, ze by se v promtu mohl vypisovat aktualni cas

pripadne, kdyby se v psql pustil prikaz, ktery by mel progress statistiky, tak aby se ten prikaz pustil asynchronnim API a skrz pomocny connect do psql vypisovat tu prislusnou progress statistiku

Pavel


Josef Šimánek

unread,
Jan 2, 2021, 1:04:18 PM1/2/21
to postgr...@googlegroups.com
so 2. 1. 2021 v 18:58 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
>
>
>
> so 2. 1. 2021 v 18:51 odesílatel Josef Šimánek <josef....@gmail.com> napsal:
>>
>> Kdyby to náhodou někoho zajímalo, tak vývoj tady stále pokračuje, jen
>> jsem se k tomu chvilku nedostal. Poslední verze je k dohledání na
>> těchto místech:
>>
>> - https://commitfest.postgresql.org/31/2923/
>> - https://www.postgresql.org/message-id/flat/CAFp7Qwr6_FmRM6pCO0x_a0mymOfX_Gg+FEKet4XaTGSW=Li...@mail.gmail.com
>> - https://github.com/simi/postgres/pull/6/files
>>
>> Snad to v týhle verzi už projde. Kdyby měl někdo nějákej další nápad,
>> rád se zase na něco podívám.
>
>
> bavili jsme se o tom, ze by se v promtu mohl vypisovat aktualni cas
>
> pripadne, kdyby se v psql pustil prikaz, ktery by mel progress statistiky, tak aby se ten prikaz pustil asynchronnim API a skrz pomocny connect do psql vypisovat tu prislusnou progress statistiku

No vidíš, na to jsem úplně zapomněl. Dávám si na seznam.
> Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRDGjvvp5vJhLmJM8isN250fOdqm%3DtUby1MW6uYPODKm_w%40mail.gmail.com.

Josef Šimánek

unread,
Jan 7, 2021, 5:47:44 AM1/7/21
to postgr...@googlegroups.com
Tak ani to netrvalo (ironie), a je to tam
https://github.com/postgres/postgres/commit/8a4f618e7ae3cb11b0b37d0f06f05c8ff905833f.

so 6. 6. 2020 v 8:28 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
>

Pavel Stehule

unread,
Jan 7, 2021, 6:03:12 AM1/7/21
to PostgreSQL-cz


čt 7. 1. 2021 v 11:47 odesílatel Josef Šimánek <josef....@gmail.com> napsal:
gratuluju

tipoval bych, ze jsi mozna sesty clovek v republice, co ma commit v upstremu Postgresu

Pavel


Josef Šimánek

unread,
Jan 7, 2021, 6:04:39 AM1/7/21
to postgr...@googlegroups.com
čt 7. 1. 2021 v 12:03 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
>
>
>
> čt 7. 1. 2021 v 11:47 odesílatel Josef Šimánek <josef....@gmail.com> napsal:
>>
>> Tak ani to netrvalo (ironie), a je to tam
>> https://github.com/postgres/postgres/commit/8a4f618e7ae3cb11b0b37d0f06f05c8ff905833f.
>
>
> gratuluju
>
> tipoval bych, ze jsi mozna sesty clovek v republice, co ma commit v upstremu Postgresu

Nerad bych zůstal u jednoho. Kouknu na tu možnost progressu v psql.

> Pavel
>
>
>>
>> so 6. 6. 2020 v 8:28 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
>> >
>> > Ahoj
>> >
>> > vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.
>> >
>> > Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu.
>> >
>> > Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu.
>> >
>> > Cil - commitnuty patch s implementaci pohledu pg_stat_progress_copy.
>> > Cena - 10y skotska whisky a volna vstupenka na P2D2.
>> >
>> > Pro abstinenty - alternativni cena - pozvanka na veceri pro prednasejici na P2D2
>> >
>> > Pavel
>> >
>> > --
>> > Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
>> > Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
>> > Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRCZ42CBCa1bPHr7htffSV%2BNAcgcHHG0dVqOog4bsu2LFw%40mail.gmail.com.
>>
>> --
>> Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny PostgreSQL-cz ve Skupinách Google.
>> Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
>> Chcete-li zobrazit tuto diskusi na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFp7QwoBq--QyNCaU0gUjvMy8x%3DTehU4NkbLcK2WwU71h-KkoA%40mail.gmail.com.
>
> --
> Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
> Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
> Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRDHZuxS3rd2%2BGauZFEbasrC5%3Db1XNXbrHuLqb6BEfRLnQ%40mail.gmail.com.

Pavel Stehule

unread,
Jan 7, 2021, 6:12:58 AM1/7/21
to PostgreSQL-cz


čt 7. 1. 2021 v 12:04 odesílatel Josef Šimánek <josef....@gmail.com> napsal:
čt 7. 1. 2021 v 12:03 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
>
>
>
> čt 7. 1. 2021 v 11:47 odesílatel Josef Šimánek <josef....@gmail.com> napsal:
>>
>> Tak ani to netrvalo (ironie), a je to tam
>> https://github.com/postgres/postgres/commit/8a4f618e7ae3cb11b0b37d0f06f05c8ff905833f.
>
>
> gratuluju
>
> tipoval bych, ze jsi mozna sesty clovek v republice, co ma commit v upstremu Postgresu

Nerad bych zůstal u jednoho. Kouknu na tu možnost progressu v psql.

to by byla bomba

Pavel

Jiří Fejfar

unread,
Jan 8, 2021, 3:18:47 AM1/8/21
to postgr...@googlegroups.com
On Thu, 7 Jan 2021 at 11:47, Josef Šimánek <josef....@gmail.com> wrote:
Tak ani to netrvalo (ironie), a je to tam
https://github.com/postgres/postgres/commit/8a4f618e7ae3cb11b0b37d0f06f05c8ff905833f.

taky se připojuju ke gratulaci :-)
 

Pavel Stehule

unread,
Jan 12, 2021, 8:45:15 AM1/12/21
to PostgreSQL-cz


pá 8. 1. 2021 v 9:18 odesílatel Jiří Fejfar <juraf...@gmail.com> napsal:
On Thu, 7 Jan 2021 at 11:47, Josef Šimánek <josef....@gmail.com> wrote:
Tak ani to netrvalo (ironie), a je to tam
https://github.com/postgres/postgres/commit/8a4f618e7ae3cb11b0b37d0f06f05c8ff905833f.

taky se připojuju ke gratulaci :-)
 

so 6. 6. 2020 v 8:28 odesílatel Pavel Stehule <pavel....@gmail.com> napsal:
>
> Ahoj
>
> vsiml jsem si, ze v Postgresu neni implementovana jedna mozna sikovna funkce a to pohled, ktery by ukazoval progres na prikazu COPY. Ve 13 je moznost sledovat ANALYZE, VACUUM, base backup, nicmene podpora pro copy chybi.
>
> Ta implementace by nemela byt extra komplikovana, a jeji implementace muze byt dobre tema pro seznameni se s jadrem Postgresu.
>
> Takze vyhlasuji soutez pro vsechny zajemce, kterym jeste nebyl commitnuty zadny patch do Postgresu.
>
> Cil - commitnuty patch s implementaci pohledu pg_stat_progress_copy.
> Cena - 10y skotska whisky a volna vstupenka na P2D2.
>
> Pro abstinenty - alternativni cena - pozvanka na veceri pro prednasejici na P2D2
>
> Pavel
>
> --
> Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
> Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
> Chcete-li tuto diskusi zobrazit na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFj8pRCZ42CBCa1bPHr7htffSV%2BNAcgcHHG0dVqOog4bsu2LFw%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny PostgreSQL-cz ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Chcete-li zobrazit tuto diskusi na webu, navštivte https://groups.google.com/d/msgid/postgresql-cz/CAFp7QwoBq--QyNCaU0gUjvMy8x%3DTehU4NkbLcK2WwU71h-KkoA%40mail.gmail.com.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „PostgreSQL-cz“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e‑maily ze skupiny, zašlete e-mail na adresu postgresql-c...@googlegroups.com.
Reply all
Reply to author
Forward
0 new messages