Ranking Nacional da Transparência

[Eduardo El Hage]

Prezados, 

Acompanho o grupo há cerca de um ano e, apesar de não ser da área de informática, gosto muito das discussões. 

Estou coordenando o Projeto Ranking Nacional da Transparência no bojo do MPF, onde conseguimos avaliar os 5.568 portais dos governos municipais e 27 dos governos estaduais, no ano passado, com base em um checklist feito pela ENCCLA (Estratégia Nacional de Combate à Corrupção e Lavagem de Dinheiro. 

Mais de 3000 recomendações foram expedidas, mas ainda falta fazer a segunda avaliação para verificar se será necessário entrar com ações civis públicas. O resultado de todo o projeto pode ser acessado aqui: rankingdatransparencia.mpf.mp.br

Após a avaliação, reunimos milhares de URLs de todos os municípios e estados brasileiros, conforme planilha em anexo. Gostaria da ajuda de vocês para o seguinte: é possível baixar todos os arquivos PDFs, DOCs e XLSs desses sites com base em algum programa, tipo o VisualwGet, para formar um grande data lake pesquisável?

Como poderíamos fazer isso de forma automatizada? Alguma sugestão? 

A minha ideia é, depois de ter tudo isso indexado, poder pesquisar, por exemplo, com quais prefeituras uma empresa tem contratos, com quais prefeituras uma pessoa tem vínculos, etc. 

É claro que o nível de transparência dos governos ainda não está satisfatório (a média nacional foi de 3,92), mas estamos progredindo bastante. Com o tempo, esses dados serão muito importantes. 

Alguém tem alguma ideia?

Saudações, 

Eduardo El Hage

[Fabiano Angélico]

Prezado Eduardo, escrevo-lhe não para responder a seu pedido específico -- já encaminhei a pessoas que poderão ajudar e aqui na lista mesmo muita gente poderá lhe responder -- mas sim para elogiar. Muito bacana este trabalho do MPF, é importantíssimo jogar luz sobre os governos locais. Estou cada vez mais convencido de que é a política local que dá sustentação a grandes redes de corrupção em nível nacional. Infelizmente, nos Estados e Municipios, o tema da accountability ainda nao é tao presente, o que abre espaços para prefeitos e vereadores corruptos, que por sua vez trabalham para eleger deputados, senadores e governadores pouco comprometidos com o interesse público. Estrutura-se, assim, a rede de corrupçao nacional.

Por entender ser muito útil esse levantamento do MPF sobre a transparência dos Estados e Municípios, eu já usei os dados de vocês em 3 ocasiões. Neste artigo para o blog do Fernando Rodrigues, neste singelo blogpost, e nesta palestra (sobre a Lei de Acesso à Informaçao) proferida na OAB de uma cidade do interior de Minas há 10 dias.

Novamente, parabéns pelo trabalho, Eduardo, e oxalá algum colega da lista possa ajudar com sua consulta.

Um abraço

[Abelardo Mota]

Eu pensaria em usar http://scrapy.org/, fazer a busca partir das urls do xls, percorrer recursivamente as urls de mesmo domínio e baixar os arquivos das extensões indicadas. Mas imagino que há soluções mais diretas('download whole site' no google retorna bastante coisa)...

[Diego Rabatone Oliveira]

Conforme o Abelardo colocou, talvez um trabalho com scrapy realmente possa resolver o problema. Acho que o Capi pode falar mais sobre isso.

Outra opção, também como o abelardo colocou, poderia ser "clonar" todos os websites a partir dos domínios principais. Algo como um "wget -mk" (se não me engano). Mas teria que fazer um trabalho um pouco melhor para não ficar caindo em links externos e entrar num "loop" infinito.

Mas acho que o maior problema é que a probabilidade desses sites possuírem acesso aos arquivos (doc, pdf, csv, xls, etc) por meio de formulários que não geram links é bem grande, e ai "clonar" o site não resolveria o problema.

Outra ação, complementar, seria usar buscas "inteligentes" em mecanismos de busca como, por exemplo:

https://duckduckgo.com/?q=site%3Aprefeitura.sp.gov.br+filetype%3Axls&t=h

https://duckduckgo.com/?q=site%3Aprefeitura.sp.gov.br+filetype%3Asql&t=h

https://duckduckgo.com/?q=site%3Aprefeitura.sp.gov.br+filetype%3Apdf&t=h

https://duckduckgo.com/?q=site%3Aprefeitura.sp.gov.br+filetype%3Adoc&t=h

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Twitter: @diraol

--
Você recebeu essa mensagem porque está inscrito no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/f215eab3-4f11-475c-9805-2761ca819c9f%40googlegroups.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Edson Sales Junior]

Prezado Eduardo, me parece que seria mais fácil utilizar os portais do Tribunais de Contas como o http://transparencia.tce.sp.gov.br/ e negociar com estes para criarem um API padronizada para que a partir de uma página única todas as bases sejam pesquisadas e retornem em formato equivalente que pudesse ser consumido. 

Acessar diretamente os sites dos municípios vai demandar um esforço muito mais complexo, na minha opinião, pois existem centenas de formatos diferentes para exibição dos dados, boa parte nem é estruturado, mas os entes municipais prestam informações estruturadas aos TCs em suas prestações de contas.

Abs,

Edson Sales Junior

Em sexta-feira, 1 de abril de 2016 15:48:18 UTC-3, Eduardo El Hage escreveu:

[Vitor Baptista]

Sensacional esse trabalho, Eduardo! Mais tarde vou dar uma olhada com mais cuidado nessa planilha que você enviou, mas parabéns pelo trabalho!

--
Você recebeu essa mensagem porque está inscrito no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/04f54d7c-b50f-4733-964d-742c07b08cd7%40googlegroups.com.

Para mais opções, acesse https://groups.google.com/d/optout.

--

Vítor Baptista

http://vitorbaptista.com

[Eduardo El Hage]

Oi, Fabiano!

Valeu! Não sabia que você tinha utilizado os nossos dados. Muito bacana!

Entre os dias 11/04 e 09/05 faremos a segunda rodada de avaliações e esperamos divulgar resultados melhores no dia 1º/06/16. 

Se o Município/Estado não melhorar vai ser acionado judicialmente. 

Abraços, 

-- 
Você recebeu essa mensagem porque está inscrito em um tópico no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse tópico, acesse https://groups.google.com/d/topic/thackday/JlusGydt5S8/unsubscribe.
Para cancelar inscrição nesse grupo e todos os seus tópicos, envie um e-mail para thackday+u...@googlegroups.com.

Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/5f957471-e224-40b4-94bf-062d7e265e12%40googlegroups.com.

[Eduardo El Hage]

Valeu, Abelardo! 

Não conhecia a ferramenta. Vou fuxicar aqui. 

abs,

-- 
Você recebeu essa mensagem porque está inscrito em um tópico no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse tópico, acesse https://groups.google.com/d/topic/thackday/JlusGydt5S8/unsubscribe.
Para cancelar inscrição nesse grupo e todos os seus tópicos, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/f215eab3-4f11-475c-9805-2761ca819c9f%40googlegroups.com.

[Eduardo El Hage]

Valeu, Diego! 

abs, 

Você recebeu essa mensagem porque está inscrito em um tópico no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse tópico, acesse https://groups.google.com/d/topic/thackday/JlusGydt5S8/unsubscribe.
Para cancelar inscrição nesse grupo e todos os seus tópicos, envie um e-mail para thackday+u...@googlegroups.com.

Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAK2p-kF_eChfkvhj1AZJ%2BMe7LDEDJ98kJt5%3DZzoi%3DBt1jOfxMg%40mail.gmail.com.

[Eduardo El Hage]

Oi, Edson!

Sim, isso seria o ideal. Pensei sobre isso no decorrer do Projeto. 

O problema é que esta é a primeira vez que se faz uma avaliação de 100% dos municípios e estados. Em muitos Estados, como o Maranhão, o índice de descumprimento da Lei é absurdo. 

Depois de passada essa fase, com a “varredura” geral e judicialização contra os entes inadimplentes, penso que o segundo passo seja conseguirmos uniformizar o padrão que esses dados são oferecidos, de forma que possamos trata-los de forma automatizada. 

Estamos caminhando. Acho que a sua solução é o passo seguinte. 

Difícil mesmo é convencer os TCEs…

Abs, 

Eduardo El Hage

-- 
Você recebeu essa mensagem porque está inscrito em um tópico no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse tópico, acesse https://groups.google.com/d/topic/thackday/JlusGydt5S8/unsubscribe.
Para cancelar inscrição nesse grupo e todos os seus tópicos, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/04f54d7c-b50f-4733-964d-742c07b08cd7%40googlegroups.com.

[Eduardo El Hage]

Valeu, Victor!

A planilha tá resumida. Dá uma conferida no site que há mais coisa. 

abs!

On Apr 5, 2016, at 10:06, Vitor Baptista <vi...@vitorbaptista.com> wrote:

Sensacional esse trabalho, Eduardo! Mais tarde vou dar uma olhada com mais cuidado nessa planilha que você enviou, mas parabéns pelo trabalho!

2016-04-04 18:57 GMT+01:00 Edson Sales Junior <edsons...@gmail.com>:

Prezado Eduardo, me parece que seria mais fácil utilizar os portais do Tribunais de Contas como o http://transparencia.tce.sp.gov.br/e negociar com estes para criarem um API padronizada para que a partir de uma página única todas as bases sejam pesquisadas e retornem em formato equivalente que pudesse ser consumido. 

-- 
Você recebeu essa mensagem porque está inscrito em um tópico no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse tópico, acesse https://groups.google.com/d/topic/thackday/JlusGydt5S8/unsubscribe.
Para cancelar inscrição nesse grupo e todos os seus tópicos, envie um e-mail para thackday+u...@googlegroups.com.

Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CANybZpcwey64F2yth_aHiuKdVq269wEANcKA_s4baHaFjBGX6Q%40mail.gmail.com.

[Diego Rabatone Oliveira]

Apenas tentando contribuir, acho bem sensata a ideia do Edson, mas precisamos avaliar se os dados avaliados são os dados que os municípios são obrigados a fornecer aos TCEs. Talvez tenham avaliações que tratam de dados e informações que os municípios não são obrigados a fornecer aos TCEs, e ai o TCE não tem como obrigar este fornecimento, o que estraga um pouco a estratégia.

Mas, se ela realmente for uma estratégia viável (i.e. há viabilidade legal de o TCE requisitar todos os dados), acho que vale pensar num processo "misto", no qual o MPF avalia quais TCEs possuem os dados bem estruturados e estão dispostos (e com viabilidade técnica) de fornecê-los, e, nesses casos, tratar diretamente com o TCE, enquanto, nos demais Estados, faz a tratativa diretamente com os municípios.

Enfim, boa sorte no projeto e força ai porque ele é bem importante!! =)

Abraços!

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Twitter: @diraol

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/2A162200-EC26-4566-93FB-049F88CC3304%40gmail.com.

[Vitor Baptista]

Oi Eduardo,

Não encontrei uma forma de baixar os dados no site (.csv, .ods ou até .xls). Tem em algum lugar ou vocês ainda não implementaram?

Abraços,

Vitor.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/2A162200-EC26-4566-93FB-049F88CC3304%40gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Eduardo El Hage]

Oi, Vitor!

Está na parte da "versão interativa". 

Clica em "Respostas" e depois você pode exportar os resultados em xls. 

abs, 

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CANybZpccbcbVuTL2PJpEhL8707agz5keoyUbxX3YTc-9TdP64A%40mail.gmail.com.

[Vitor Baptista]

Encontrei, Eduardo. Obrigado!

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAKMxPZXmsi-1yc7f3%3Dmbz0onNjNGmM_zysRwSn61PbbF0Cr23g%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Felipe Braga]

Concordo com o Diego (trabalho numa prefeitura: sei que os dados fornecidos ao TCE nem sempre são tão "reais" [há omissões e maquiagens]...)