Scraper do Bolsa Família

[Marcelo Träsel]

Pessoal,

Estou tentando baixar dados da visualização de valores anuais por município diretamente do site do Bolsa Família (não há CSV para todos os anos e os arquivos, divididos por mês, têm mais de 300 MB).

Alguém aqui já se deparou com o problema de raspar os dados de lá e teria um scraper pronto?

Segue em anexo a tela que estou tentando raspar. Quero apenas as colunas "município" e "total no ano", texto simples.

Alguma ideia?

Obrigado!

______________
marcelo träsel
mar...@trasel.com.br
http://www.trasel.com.br

Da habt ihr's nun! mit Narren sich beladen
Das kommt zuletzt dem Teufel selbst zu Schaden

                      -- Goethe, Fausto II

[decko]

Marcelo

Estou a tempos pra fazer um, e sempre me esquivo de botar a mão na massa.
Acho q podia ser uma boa trocarmos umas ideias pra extrair essas informações. No que vc tem esbarrado?

Abraços

2013/10/31 Marcelo Träsel <marcelo...@gmail.com>

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para thackday+u...@googlegroups.com.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Visite este grupo em http://groups.google.com/group/thackday.
Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CA%2BMF24kRbo_3Oi0S2wZo_S%3DD4DBpq%3DT83xVfA7wm%2B7b3LTxF_g%40mail.gmail.com.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.

--
@decko
André F. A. Brito

[Daniel Bramatti]

Caro Träsel, existe outra base na Caixa Federal, talvez seja mais fácil: https://www.beneficiossociais.caixa.gov.br/consulta/beneficio/04.01.00-00_00.asp

.

.

Daniel Bramatti | Editoria Nacional - Estadão Dados - Blog Públicos | O Estado de S. Paulo

Av. Eng. Caetano Álvares, 55 - Limão - São Paulo - SP - 02598-900

+ 55 11 3856-4592

   

2013/10/31 decko <de...@birosca.mobi>

Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CAE8%2Bdm70jRkzdN6YbErh9ouNxb3%2BVdy98ySu1MnJZ-0rrd1hdw%40mail.gmail.com.

[Daniel Bramatti]

E daqui também pode sair algo:

http://aplicacoes.mds.gov.br/sagi/mi2007/tabelas/mi_social.php

.

.

Daniel Bramatti | Editoria Nacional - Estadão Dados - Blog Públicos | O Estado de S. Paulo

Av. Eng. Caetano Álvares, 55 - Limão - São Paulo - SP - 02598-900

+ 55 11 3856-4592

   

2013/10/31 Daniel Bramatti <danielb...@gmail.com>