Libera informação de gastos somente diária... Como raspar?

[Jefferson Furtado]

Fala galera! Esse site aqui:
http://187.11.133.15/portaldatransparencia/

Libera informações somente dia por dia... Gostaria de saber se existe alguma forma de raspar esses dados!

Vejam nas imagens.... Estou tentando saber se existe algum motivo contábil para se comprar 90,9 galões de água pagando 5,5006 em cada um?


Qualquer ajuda é bem vinda! Qualquer coisa faça o contato aqui:
https://www.facebook.com/jefferson.fernando.969

Abraços!

[Pedro Markun]

Deve ter alguma mutretinha contabil.

Talvez na parte do governo... talvez na parte do revendedor?

Quem sabe aliquota de tribuitação diferente baseado em volume. E
considerando 100 como uma quebra.

Mas é chute, do grosso.

> --
> Você recebeu essa mensagem porque está inscrito no grupo "Transparência
> Hacker" dos Grupos do Google.
> Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie
> um e-mail para thackday+u...@googlegroups.com.
> Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
> Acesse esse grupo em http://groups.google.com/group/thackday.
> Para ver essa discussão na Web, acesse
> https://groups.google.com/d/msgid/thackday/69ddd854-f024-4862-9171-91b8559e4675%40googlegroups.com.
> Para mais opções, acesse https://groups.google.com/d/optout.

[Mario Mol]

é muito comum da treta com unidade de medida.. tipo o cara vende em garrafas de 50 L q equivale a 0,54 galoes.. (exemplo ficticio..)

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.

Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.

Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Visite este grupo em http://groups.google.com/group/thackday.
Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CABnW7VfON4%2BKaR4BoNWo1mTp%3DW4B%3D%2Bv%2BKDsXLuHXuN-_cnw2ZA%40mail.gmail.com.
Para obter mais opções, acesse https://groups.google.com/d/optout.

[Jefferson Furtado]

Alguma sugestão sobre como eu raspo essa panela? rs...

Quero analisar as receitas e despesas (empenhos e pagamentos), mas coletar informações dia a dia não tá legal... qual ferramenta ou técnica sugerem que eu use para essa raspagem?

[Jefferson Furtado]

Alguma sugestão sobre como eu raspo essa panela? rs...

Quero analisar as receitas e despesas (empenhos e pagamentos), mas coletar informações dia a dia não tá legal... qual ferramenta ou técnica sugerem que eu use para essa raspagem?



Em sexta-feira, 10 de julho de 2015 22:04:39 UTC-3, Jefferson Furtado escreveu:

[Abelardo Mota]

Jefferson,

rascunhei o começo de um script python utilizando selenium. Comecei com a ideia de usar scrapy, mas vi que não sei raspar esse tipo de página com scrapy; daí fui pro selenium.

Vi que são três passos para chegar nos dados: página inicial -> resultado da pesquisa -> item do resultado da pesquisa. O script segue o primeiro passo para despesa do tipo empenho para 20/01/2014. Acho que um caminho é fazer ele extrair da página inicial, após os clicks nos drop(*_drop no script) quais as opções e então submeter a pesquisa para cada combinação de opções.

Se alguém souber de outra forma mais simples, compartilhe! Mais tarde continuo essa :)

[Pedro Markun]

http://stackoverflow.com/questions/14768302/scraping-data-from-all-asp-net-pages-with-ajax-pagination-implemented

a primeira resposta da um approach de como fazer a requisição...

mas eu iria de selenium mesmo.

> --
> Você recebeu essa mensagem porque está inscrito no grupo "Transparência
> Hacker" dos Grupos do Google.
> Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie
> um e-mail para thackday+u...@googlegroups.com.
> Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
> Acesse esse grupo em http://groups.google.com/group/thackday.
> Para ver essa discussão na Web, acesse

> https://groups.google.com/d/msgid/thackday/0e8b023b-4d52-4f19-a348-db96563377ee%40googlegroups.com.

[Abelardo Mota]

Subi uma versão que raspa despesas(e alguns dos arquivos raspados). Ainda tem falhas(não sei ainda como tratar corretamente os waits com o selenium; ainda não trata a paginação dos resultados - baixa apenas os da primeira página; etc). 

Por estar fazendo apenas pelo aprendizado, não tinha me questionado: já entrou em contato com a agência solicitando esses dados?

[Mario Mol]

wait com selenium rola um timeout ou um loop onde vc verifica se um tal elemento chegou na tela . mas dai tem q ser via codigo.. usando aquele xml do selenium nao sei se rola

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/60ad06b9-1386-4afc-a677-5f9c52a88d36%40googlegroups.com.