raspagem portal da transparência
52 views
Skip to first unread message
Manuela Andreoni
Mar 27, 2017, 7:31:55 PM3/27/17
to Transparência Hacker
Olá,
Estou tentando raspar uns dados do Portal da Transparência, mas tem um captcha que me bloqueia depois de um tempo. Como não sou esperta o bastante para conseguir atravessar esse problema, queria saber se alguém sabe com quem posso falar de lá para conseguir os dados que estou tentando raspar sem ter que passar pelo sofrimento da assessoria de imprensa, ou então para pedir para eles não bloquearem meu ip sei lá... Alguma sugestão?
Diego Rabatone Oliveira
Mar 27, 2017, 9:51:05 PM3/27/17
to Transparência Hacker
Manela, qual portal da transparência?
Diego Rabatone Oliveira
--
Você recebeu essa mensagem porque está inscrito no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+unsubscribe@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAC0Y-zapyAs-3KctWRE6Cj0Wy2Sxb8omeA8AtuxzDas425gXfw%40mail.gmail.com.
Para mais opções, acesse https://groups.google.com/d/optout.
Diego Rabatone Oliveira
Mar 27, 2017, 9:51:34 PM3/27/17
to Transparência Hacker
Droga, desculpa pelo erro no seu nome, foi o autocorretor.
Diego Rabatone Oliveira
Manuela Andreoni
Mar 27, 2017, 11:48:31 PM3/27/17
to Transparência Hacker
Oi! O do governo federal, desculpe.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAK2p-kFX1He5Gj_uCV84FswtWABtwrO%3Dsn-41TVuQJ%2BeYgYZiA%40mail.gmail.com.
Tiago Fassoni A. A. Leite
Apr 6, 2017, 2:35:30 PM4/6/17
to thac...@googlegroups.com
Oi!
Respondendo a thread de gaiato depois de muito tempo.
Tem vários jeitos de resolver isso, em ordem de dificuldade:
1) ir até à tomada, desligar e ligar o roteador
2) pegar uns arduinos e fazer um circuito que desliga o roteador a cada 10 minutos
3) criar uma conta de trial no Google cloud e deixar um sisteminha em Python + celery que desliga e liga o robô (fazer isso no Google cloud engine e já amazon web services muda o ip)
Parece que eu tô te trollando? Parece. Gostaria de estar te trollando, mas a verdade é que já fiz todos esses esquemas - e tenho testemunhas.
Vida Longa e Próspera,
Tiago
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAC0Y-zb%2B3M%2Bi5y7m7oQN36hh3RTSouEWw%3D6qyjoyBSR3FyjM0Q%40mail.gmail.com.
William
Apr 6, 2017, 7:39:01 PM4/6/17
to Transparência Hacker
Olha só, vim aqui ver se tinha alguém com mais info sobre o portal da transparência do governo federal e me deparo com essas dificuldades.
Há um tempo eles bloquearam o IP do repasse, que ia no portal e fazia download de arquivos, agora nosso servidor está bloqueado. Fazemos a carga manualmente.
Quais dados em específico estamos falando aqui? Talvez alguém já tenha raspado.
Há um tempo eles bloquearam o IP do repasse, que ia no portal e fazia download de arquivos, agora nosso servidor está bloqueado. Fazemos a carga manualmente.
Quais dados em específico estamos falando aqui? Talvez alguém já tenha raspado.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAC0Y-zapyAs-3KctWRE6Cj0Wy2Sxb8omeA8AtuxzDas425gXfw%40mail.gmail.com.
Para mais opções, acesse https://groups.google.com/d/optout.
--
Você recebeu essa mensagem porque está inscrito no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAK2p-kFX1He5Gj_uCV84FswtWABtwrO%3Dsn-41TVuQJ%2BeYgYZiA%40mail.gmail.com.
--
Você recebeu essa mensagem porque está inscrito no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.
Manuela Andreoni
Apr 6, 2017, 10:41:51 PM4/6/17
to Transparência Hacker
Caramba, que complexo. Na verdade, eu resolvi. Liguei para lá, e eles disseram que eu só podia fazer cinco requests por minuto. Então eu botei um sleep de 15 segundos no meu código, e rolou!
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+unsubscribe@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/1f296d6b-9f6c-4159-ad90-e50ea7cffa1e%40googlegroups.com.
Tiago Oliveira
Apr 7, 2017, 7:56:43 AM4/7/17
to thackday
Não sei se seria útil, mas já existem alguns datasets disponibilizados pelo MF. Não me parece existir um com os dados completos do SIAFI, mas é possível que algum deles ajude:
Abraços.
Tiago
Tiago Chaves Oliveira
Cel: 55 61 9 9994-0702
Cel: 55 61 9 9994-0702
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAC0Y-zZ1wrbbcRsv7SWshebtmF4EfMwUD-qXKbHs9URbMJME2A%40mail.gmail.com.
Reply all
Reply to author
Forward
0 new messages