comando tee - pode interferir na execução de um programa ?

[Fabio Bairros]

 Saudações.

Estou usando o tee para salvar um experimento de medição de tempo de comandos e funções no python. Ou seja, "executo" um programa em python que faz 100 amostragens do tempo de execução de uma função e salvo em arquivo através do tee. Gostaria de saber se isso pode interferir na performance ou atrapalhar a medida de tempo.

Caso sim, como posso salvar as medições de outra maneira ? 

att,

Fabio Bairros

[Marcelo Valle]

Seria mais fácil ajudar se você mostrar a linha de comando que está executando e porque você acha que pode estar tendo impacto de tempo.

Você não conseguiria colocar uma linha de comando de exemplo?

--
--
------------------------------------
Grupo Python-Brasil
https://wiki.python.org.br/AntesDePerguntar
 
<*> Para visitar o site do grupo na web, acesse:
http://groups.google.com/group/python-brasil
 
<*> Para sair deste grupo, envie um e-mail para:
python-brasi...@googlegroups.com
---
Você recebeu essa mensagem porque está inscrito no grupo "Python Brasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para python-brasi...@googlegroups.com.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CALZ%2BQOrQhKyw-GQxCYmzfMVBv-ijXF%3D56B3v%3Dm7hDow%3D%2B6W1rQ%40mail.gmail.com.

[Fabio Bairros]

Obrigado pelo retorno, Marcelo.

Segue abaixo a linha de comando:

python3 p.py | tee arquivo.txt

Na verdade não tenho ideia se o tee está impactando ou não na medição. Em algum momento que rodei me pareceu que os tempos mudaram um pouco - entre com e sem tee, mas pode ter ocorrido por alguma outra razão. O ideal era "rodar" o p.py o mais "livre" possível, sem nada do SO em paralelo (ou o mínimo possível). Não sei se o tee primeiro aguarda a execução do p.py e depois coleta os dados impressos ou se faz em concomitância.

Obrigado

Fabio Bairros

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CABKQiduX%3DvXavJe_a4hY2kdocCyuixUGZ6P%3DVze1F95D0Vk%2BfQ%40mail.gmail.com.

[Victor Sartori]

Use o comando time.

time python3 p.py

Com e sem o tee

Em teoria não deve atrapalhar. Nada, pois vc está enviando o stdout para o stdin de outro processo.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CALZ%2BQOp%2BPKYtjhkzHdcM0enPQ%3DwJbnqGge%2Be%2BKiENyUdV0RXUw%40mail.gmail.com.

[Marcelo Valle]

Fabio, 

Esse sinal, `|`, chama `pipe`. Ele indica que você está passando a saída do primeiro comando para a entrada do segundo. 

Então o segundo comando irá ler da entrada a saída do segundo, como se você estivesse digitando a mesma coisa no seu teclado.

Para que o segundo comando possa executar, o primeiro precisa executar por inteiro e gerar saída. 

Isso significa que as medições ocorrerão antes do `tee` ser executado, de forma que acho extremamente improvável que o comando esteja impactando nas medições. 

O segundo comando será executado conforme a saída for produzida no primeiro, então se as medições demorarem muito, até é possível que o tee seja executado depois da primeira medição, por exemplo. Não creio que seja o seu caso, mas se você quiser garantir que isso não ocorra, você pode usar print no seu programa python depois que tudo já foi feito.

Agora, o que o tee faz? Ele simplesmente pega a saída do seu comando python e escreve em um arquivo. Escrever para um arquivo leva tempo, depende da velocidade do seu disco, mas normalmente há otimizações de sistema operacional que acumulam uma grande quantidade de dados em memória para escrever de uma vez para o disco, então é bem improvável que isso esteja impactando seu programa também. 

Em resumo, eu duvido que o comando tee esteja impactando suas medições, mas se quiser ter 100% de certeza, realize todas as medições antes de gerar qualquer saída no seu programa python. 

Pra saber mais sobre o pipe - voce pode ler isso aqui https://semanickz.wordpress.com/2020/04/03/linux-aprender-comandos-gnu-e-pipes/

Abraços,

Marcelo.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CALZ%2BQOp%2BPKYtjhkzHdcM0enPQ%3DwJbnqGge%2Be%2BKiENyUdV0RXUw%40mail.gmail.com.

[Professor Paiva]

Caro Fábio,

O Tee é um processo que disputa a CPU com o seu programa Python, que é outro processo com execução em paralelo com os demais.

Paiva

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CALZ%2BQOp%2BPKYtjhkzHdcM0enPQ%3DwJbnqGge%2Be%2BKiENyUdV0RXUw%40mail.gmail.com.

[Sinval Júnior]

Salve os tempos em uma dict e depois registre em um arquivo txt, talvez um csv, é importante que o código fique modularizado,

tempos = {}

dat_inicio

func_teste1()

dat_fim

tempo = dat_inicio - dat_fim

tempos["func_teste1"] = tempo

Os tempos de execução sempre tendem a variar bastante, uma boa estratégia para mensurar a performance e qualidade de seu código é por meio do Big O Notation.

Ao encaminhar esta mensagem, por favor:
1 - Apague meu endereço eletrônico;
2 - Encaminhe como Cópia Oculta (Cco ou BCc) aos seus destinatários. Dificulte assim a disseminação de vírus, spams e banners.

#=================================================================+
#!/usr/bin/env python
nome = 'Sinval Júnior'
email = 'sinvalju arroba gmail ponto com'
print nome
print email
#==================================================================+

--

[Sinval Júnior]

O pipe (|) apenas redireciona a saída de um comando para outro, execução não será em paralelo.

Ao encaminhar esta mensagem, por favor:
1 - Apague meu endereço eletrônico;
2 - Encaminhe como Cópia Oculta (Cco ou BCc) aos seus destinatários. Dificulte assim a disseminação de vírus, spams e banners.

#=================================================================+
#!/usr/bin/env python
nome = 'Sinval Júnior'
email = 'sinvalju arroba gmail ponto com'
print nome
print email
#==================================================================+

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CAAtO42POrK6soH0kxQs8G%3DcXUV5YD9Z_SZ60OfjUbiMj3JtSDQ%40mail.gmail.com.

[Marcelo Valle]

A execução até pode ocorrer em paralelo galera, pois o segundo comando irá consumir a entrada conforme o primeiro programa produzir saída. 

Por isso eu disse que pra garantir que não afete as medições, o que dá pra fazer e não produzir output enquanto as medições ocorrem. 

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CALatGPiwedX1R9Daz6RDdZBReNnSo5h9dGLPvTqmQ3FAHV1Vgg%40mail.gmail.com.

[Fabio Bairros]

Boa tarde, Paiva e agradeço o retorno.

Certo, e tens alguma sugestão de como capturar os dados depois de impressos na sua totalidade ?

Acredito que ctrl-c, diretamente no terminal, não funcionaria, certo ?

Obrigado

Fabio Bairros

Em ter., 26 de out. de 2021 às 11:14, Professor Paiva <paiva.p...@gmail.com> escreveu:

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CAAtO42POrK6soH0kxQs8G%3DcXUV5YD9Z_SZ60OfjUbiMj3JtSDQ%40mail.gmail.com.

[Sinval Júnior]

Para execução em paralelo é necessário usar o Parallel [1][2], o texto inclusive cita o comando "tree".

1 - http://www.gnu.org/software/parallel/

2 - https://www.gnu.org/software/parallel/parallel_tutorial.html

Ao encaminhar esta mensagem, por favor:
1 - Apague meu endereço eletrônico;
2 - Encaminhe como Cópia Oculta (Cco ou BCc) aos seus destinatários. Dificulte assim a disseminação de vírus, spams e banners.

#=================================================================+
#!/usr/bin/env python
nome = 'Sinval Júnior'
email = 'sinvalju arroba gmail ponto com'
print nome
print email
#==================================================================+

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CABKQidsiGFd5%3D3EpDW7HUi%3D9XgOOdYjg_dT%2BE6B2VjTGGNmJ2Q%40mail.gmail.com.

[Lucas Brahm]

Acredito que quando falaram de execução em paralelo, foi algo do tipo:

tail -f /var/log/syslog | grep python

Tanto o tail quanto o grep estarão rodando em paralelo.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CALatGPhiVp%3D-nRGqc-p57xCgaKwr8w9f2x4T8d1DFbYYbR-Yzw%40mail.gmail.com.

[Sinval Júnior]

Não, será tudo sequencial [1], paralelo é quando os programas são executados ao mesmo tempo, ou quase ao mesmo tempo e para tanto, usando BASH, seria necessário utilizar o Parallel [2].

1 - https://stackoverflow.com/questions/9834086/what-is-a-simple-explanation-for-how-pipes-work-in-bash/9834118

2 - http://www.gnu.org/software/parallel/

Ao encaminhar esta mensagem, por favor:
1 - Apague meu endereço eletrônico;
2 - Encaminhe como Cópia Oculta (Cco ou BCc) aos seus destinatários. Dificulte assim a disseminação de vírus, spams e banners.

#=================================================================+
#!/usr/bin/env python
nome = 'Sinval Júnior'
email = 'sinvalju arroba gmail ponto com'
print nome
print email
#==================================================================+

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CAJRDc96P1VXh-ZxfZY_ignFpZDiOKj3pHcHPr%3DcEvZgeHb1Aig%40mail.gmail.com.

[Lucas Brahm]

Sinval, conforme [1]:

" Note the word "immediately"! I point this out because we who use Bash for casual scripting tend to think of our commands as synchronous, our scripts as completely sequential. We expect pipes to execute the left command, and pass it's output into the following command. But pipes use forking, and the commands are actually executed in parallel. For many commands this fact is functionally inconsequential, but sometimes it matters. For example, check out the output of: ps | cat. 

– Stephen M. Harris

 Jan 17 '14 at 22:37"

1 - https://stackoverflow.com/questions/9834086/what-is-a-simple-explanation-for-how-pipes-work-in-bash/9834118

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CALatGPiTHterL9t-VhOTWAHySSY6ZeZFCQTdW%2Bi5%2BKw_r5eH7w%40mail.gmail.com.

[Professor Paiva]

Fabio,

Vou analisar aqui e te respondo diretamente no seu e-mail.

Paiva

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CALZ%2BQOqh8_Y7b%2BkkEjVbN2Y%3D5feV4kOT%3DQ3zHYjmu5MR4d7_BQ%40mail.gmail.com.

[Marcelo Valle]

Eu ia comentar o mesmo - todos os programas são executados em paralelo, mas os programas subsequentes no pipe ficam em estado "WAITING" esperando o programa anterior produzir saída.  Isso significa que, apesar de o processo estar carregado em memória, ciclos de CPU só serão usados se houver saída produzida pelo programa anterior.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CAJRDc97%2B%2BZuM-a2L9a1jU7W0BOAGkj4uvU9VN%3DimL%2BtFS3ez_A%40mail.gmail.com.

[Sinval Júnior]

Sim, mas é um novo "forking", o processo seguinte precisa aguardar a resposta do primeiro, este é o objetivo do "pipe" |.

 

Ao encaminhar esta mensagem, por favor:
1 - Apague meu endereço eletrônico;
2 - Encaminhe como Cópia Oculta (Cco ou BCc) aos seus destinatários. Dificulte assim a disseminação de vírus, spams e banners.

#=================================================================+
#!/usr/bin/env python
nome = 'Sinval Júnior'
email = 'sinvalju arroba gmail ponto com'
print nome
print email
#==================================================================+

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CAJRDc97%2B%2BZuM-a2L9a1jU7W0BOAGkj4uvU9VN%3DimL%2BtFS3ez_A%40mail.gmail.com.

[Sinval Júnior]

Sim, e é possível isso poderá ser comprovado executando o seguinte comando

ps -aux | cat

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.0   8964   408 ?        Ssl  16:47   0:00 /init
root         8  0.0  0.0   9052   228 tty1     Ss   16:47   0:00 /init
xxx        9  0.1  0.0  18084  3600 tty1     S    16:47   0:00 -bash
xxx        31  0.0  0.0  18904  2056 tty1     R    16:49   0:00 ps -aux
xxx        32  0.0  0.0  15420   936 tty1     S    16:49   0:00 cat

 

Observe o "STATE" do processo "cat", R, ou seja, "interruptible sleep (waiting for an event to complete)"

Ao encaminhar esta mensagem, por favor:
1 - Apague meu endereço eletrônico;
2 - Encaminhe como Cópia Oculta (Cco ou BCc) aos seus destinatários. Dificulte assim a disseminação de vírus, spams e banners.

#=================================================================+
#!/usr/bin/env python
nome = 'Sinval Júnior'
email = 'sinvalju arroba gmail ponto com'
print nome
print email
#==================================================================+

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/python-brasil/CABKQidvnfrC%2B3QOBCMvU%2Bv9F7v5c7fUr_raMZ51NsUsseUEKXQ%40mail.gmail.com.