Re: [civichacking] Semana 2 - Plano de Ação

2 views
Skip to first unread message

Pedro Markun

unread,
Mar 23, 2010, 3:11:53 PM3/23/10
to civich...@googlegroups.com
Caros,

a idéia nesta semana 2 é sairmos um pouco da reflexão teorica e botar a mão na massa para começar a moldar o que pode ser essa nossa prática de 'civic hacking'.

Parte desse trabalho engloba a idéia de dados abertos e especificamente a idéia de que precisamos que a informação pública seja disponibilizada desta maneira, para que do outro lado, a sociedade possa aproveitar o aparecimento dos mashups e da chamada web2.0, ganhando a possibilidade de criar e inventar novas leituras, funcionalidades e produtos a partir dos dados existentes - usando as ferramentas do digital para promover transformações reais na política e na sociedade.

Acho que para começar, seria legal discutirmos um pouco entre os pares (e na lista) sobre o que são esses termos em negrito - chaves para a compreensão do nosso problema.

Fiquem a vontade para não responder essas perguntas, a idéia é só mesmo que a gente pense um pouco sobre esses conceitos e o que eles representam. Coloquei alguns links de referência para começar o nosso estudo... mas fiquem a vontade para compartilhar outras idéias, links e leituras.

Acho bastante válido a gente fazer essa reflexão e - se alguém topar - escrever ou melhorar os verbetes na wiki em português. O jogo é meio bruto com os moderadores, mas pode valer o esforço.

Passando para a parte prática

Gostaria de sugerir um exercicio prático de leitura e remix de dados públicos usando apenas ferramentas web mas que podem gerar resultados interessantes. São 3 passos e a idéia é que façamos isso em duplas.

1) Localizando a informação pública

A idéia dessa primeira etapa é buscar nos diferentes sítios do poder público, sets de dados interessantes para que possamos trabalhar. Quase todos os sitios de governo tem - em maior ou menor grau - informações que podem ser reprocessadas e ressignificadas.

O ideal aqui é a gente buscar informações com a maior granularidade possível, para gerar visualizações interessantes. 

Por exemplo, se formos montar uma visualização sobre saúde, é muito melhor ter uma tabela que mostre a quantidade de óbitos por municipio do que por estado; melhor que mostra óbitos por causa do que só o número consolidado e melhor que tenhamos isso separado por mês do que por ano.

O Google por exemplo, montou um sistema que monitora as buscas sobre 'gripe suina' e consegue avisar com uma semana de antecedência os hospitais norte-americanos apenas vendo as tendencias nas buscas em cada região.

2) Preparando os dados abertos

Dependendo de como estão dispostas as informações, esta etapa pode ser ou a mais simples ou a mais complexa! Por isso a idéia dos dados abertos é tão importante. É muito mais fácil trabalhar com dados que já estejam disponiveis em XML, CSV ou através de APIs. Logo em seguida vem tabelas HTML e coisas com arquivos Excel, que não são tão faceis de trabalhar mas que podemos transformar nesses outros formatos. Por último, temos a informação não estruturada - como por exemplo PDFs e Imagens.

Imagine aqui que precisamos que o computador leia e intenda exatamente o que é cada pedacinho de informação, então se tivermos algo estruturado onde a unica dificuldade é dizer: essa coluna é o número de óbitos, esta outra é cidade e esta outra é a data. Do que ter que criar um mecanismo para o computador entender essa mesma informação jogada em texto corrido ou dentro de uma imagem.

Ainda temos poucos sitios no Brasil que disponibilizam dados realmente abertos (e estruturados). Mesmo os CSV e tabelas que temos disponiveis são bastante complexos e falta documentação. Recentemente o governo de São Paulo lançou um projeto chamado Governo Aberto que tenta trabalhar com essa idéia. Minha sugestão é que a gente trabalhe com dados de lá.


3) Plataformas e tipos de visualização

Uma vez que esses dados estejam estruturados, existem varias maneiras e varios softwares que podemos usar para tratar eles. Com meia duzia de linhas de código, usando algumas técnologias livres, conseguimos chegar em resultados bastante interessantes. Mas mesmo para quem (ainda) não domina a arte do código... existem varios experimentos legais para fazer isso.

Vou focar aqui em três sugestões de plataformas para usarmos nesse exercício. Seria muito legal se as duplas pudessem documentar o processo e as dificuldades para que possamos construir pequenos manuais.

Nós já usamos o Many Eyes em alguns experimentos, é relativamente simples de usar e consegue gerar visualizações bastante complexas.

Conheci o DabbleDB faz pouco tempo, mas tem bastante potencial. Ele também é grátis se você deixar os bancos públicos ( o que pra gente não faz tanta diferença, já que estamos trabalhando com dados públicos ). E consegue trabalhar com multiplas tabelas como um banco de dados relacional - o que é uma enorme vantagem mas adiciona alguma complexidade. Também tem uma limitação chata que é importar apenas 15000 registros por vez... pra coisas menores é okey, mas no projeto que estou trabalhando, me vi obrigado a repetir a importação 90 vezes para coletar todos os dados.

Esse é um software apenas para windows, mas resolvi incluir aqui porque pareceu bastante intuitivo e também consegue jogar interfaces interativas na rede. É um software pago, mas acho que para o exercicio talvez o trial de conta =)


Vou colocar no site do curso uma lista de outros links, sites de referência e plataformas de visualização. Na sequencia vou enviar um email com exemplos que nós fizemos de tudo isso que falei aqui, só para não ficar muito abstrato.
Por fim, sei que apareceram aqui varios termos técnicos e coisas complexas que eu passei batido. Não fiquem acanhados em perguntar, essa é a lógica dos pares!

abs,
Pedro Markun

Ricardo Poppi

unread,
Mar 26, 2010, 12:28:08 PM3/26/10
to civich...@googlegroups.com
Colegas, fiz umas brincadeiras com dados publicos e reuni minhas experiências nesse documento que carreguei la no nossa área da p2pu: http://p2pu.org/node/716/document/3219

Se alguém puder interagir com os dados e comentar seria legal.

Abcs!
http://www.google.com/profiles/ricabras


Pedro Markun escreveu:
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Civic Hacking" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para civich...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para civichacking...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/civichacking?hl=pt-BR.

Karine Mueller

unread,
Mar 26, 2010, 1:18:13 PM3/26/10
to civich...@googlegroups.com
Oi Poppi,
Muito legal! Eu vou interagir e te dou um retorno. Vc é meu par dessa semana, não? A gente vai se falando...
abs,
--
Karine Mueller
Coordenadora de projetos
Imaginário Digital
T: + 55 21 2226 9173 | 9852 0085
www.imaginariodigital.org.br

Pedro Markun

unread,
Mar 26, 2010, 1:52:27 PM3/26/10
to civich...@googlegroups.com
Poppi,

sensacional.

Mais alguém mexendo em algo nos bastidores? Para quem acabou ficando sem tempo para ler toda aquela explicação, acho que vale um exercicio-relampago.

Estava olhando os dados que o Poppi colocou online no ManyEyes e experimentando diferentes formas de visualização. Como vocês puderam ver na explicação dele, boa parte do trabalho é achar e preparar os dados... mas tem uma outra parte toda que é pensar na melhor maneira de visualizar.

Montei em cima da tabela dele uma visualização usando Treemap

Resolve algumas coisas... deixa você visualizar com alguma facilidade dois indicadores diferentes ao longo de todas as zonas ou todos os indicadores ao longo de cada zona... enfim.

Acho que pode valer cada um publicar diferentes visualizações e jogar alguns centavos aqui na discussão para entendermos melhor isso.

abs,
Pedro Markun


2010/3/26 Karine Mueller <kar...@imaginariodigital.org.br>

Ricardo Poppi

unread,
Mar 26, 2010, 2:06:15 PM3/26/10
to civich...@googlegroups.com
Legal Karine, vamos sim!

Em 26/03/10, Karine Mueller<kar...@imaginariodigital.org.br> escreveu:

> a.. O que são e para que servem dados abertos?
> a..
> http://www.pedrovalente.com/2009/03/24/oito-principios-dados-publicos/
> b.. http://en.wikipedia.org/wiki/Open_Data
> b.. O que é e para que serve informação pública?
> a.. http://www.informacaopublica.org.br/?q=node/3
> c.. O que são e para que servem mashups?
> a.. http://pt.wikipedia.org/wiki/Mashup

wille

unread,
Mar 27, 2010, 2:59:11 PM3/27/10
to civich...@googlegroups.com
olá, pessoal

tive a idéia de comparar as despesas de alguns estados do Brasil em relação a algumas pastas de governo (saúde, educação, cultura, etc). No início, achei que seria algo fácil, mas encontrar esses dados foi bem difícil. Tanto que só encontrei dados de 3 estados. Já havia visto os dados da Bahia, mas desde ontem o site está com problemas, então não consegui pegar!

Peguei os dados nos sites:
http://www.portaldatransparencia.ma.gov.br
http://www.fazenda.rj.gov.br/portal/index.portal?_nfpb=true&_pageLabel=cidadao&file=/prest_contas/cidadao/2009/despesas/index.shtml
http://sagres.tce.pb.gov.br/estado_index.php

Copiei os valores disponíveis nestes sites para uma planilha do OpenOffice. Depois, fiz uma fórmula para calcular a porcentagem dos gastos de cada pasta em relação ao valor total das despesas do ano.

Depois disso, copiei os dados da planilha para o Many Eyes: http://www.fazenda.rj.gov.br/portal/index.portal?_nfpb=true&_pageLabel=cidadao&file=/prest_contas/cidadao/2009/despesas/index.shtml

E criei duas visualizações:

- Em gráfico de Barras: http://manyeyes.alphaworks.ibm.com/manyeyes/visualizations/comparativo-de-despesas-dos-estado

- Em gráfico de bolhas: http://manyeyes.alphaworks.ibm.com/manyeyes/visualizations/despesas-ma-pb-rj-em-bolhas

Idéias para o futuro:
- fazer um comparativo das despesas em relação aos indicadores sociais. Por exemplo, comparar despesas com educação com indicadores de analfabetismo, crianças fora da escola, etc. Com isso, proporcionar uma visão da eficiência da aplicação dos recursos.

até mais,
wille
Wille
http://wille.blog.br

Paulo Schleder

unread,
Mar 27, 2010, 10:59:51 PM3/27/10
to civich...@googlegroups.com
Olá Wille. Q grande iniciativa, parabéns.

Vc testou depois?


. Pra mim deu erro nos dois links acima! :-(

wille

unread,
Mar 28, 2010, 7:59:18 AM3/28/10
to civich...@googlegroups.com
Sim, testei os links... aqui abriu normalmente.

Karine Mueller

unread,
Mar 28, 2010, 6:20:48 PM3/28/10
to civich...@googlegroups.com
Wille,
Tb não consegui visualizar nenhum dos gráficos (barras e bolhas) no many eyes. Será que é uma questão de navegador? Os links do Pedro e do Ricardo Poppi no many eyes e outras plataformas visualizei todos normalmente...

wille

unread,
Mar 29, 2010, 9:51:06 AM3/29/10
to civich...@googlegroups.com
Fiz uns testes e percebi que é necessário ter um plugin java instalado no navegador. Se você não consegue ver os meus, mas vê outros gráficos, tenta acessar o data set e criar uma visualização: http://manyeyes.alphaworks.ibm.com/manyeyes/datasets/despesas-de-algumas-pastas-dos-gov

abçs,
wille

Karine Mueller

unread,
Mar 29, 2010, 11:02:23 AM3/29/10
to civich...@googlegroups.com
Legal, agora deu pra visualizar seus gráficos...muito bacana...aproveito para dizer que pra mim que estou tendo contato pela primeira vez com essas ferramentas tá dando para aprender muito. Com a ajuda do Poppi tb estou experimentando criar algumas visualizações de uma base de dados que informa a quantidade de votos por candidato nas zonas eleitorais da capital e municípios do estado de SP nas eleições bianuais de 98 a 2008. Achei muito interessante todos os trabalhos aqui apresentados e fiquei com gostinho de saber mais sobre scraping...Pedro: seu trabalho sobre os "currais" eleitorais é sensacional...imagino que vc deve estar tendo uma trabalheira danada pra conseguir dados dos estados mais afastados do país onde impera a ordem dos coronéis...enfim, só queria registrar que este curso já está me trazendo grandes perspectivas. Pena que estou no Rio e vi que a galera tá mais concentrada em Sampa. A propósito, tem alguém do Rio participando além de mim? É que gostaria de saber como está este cenário por aqui em relação a pesquisas, trabalhos existentes, se existem cursos afins ou que trabalham essas ferramentas ou de scraping etc...eu sou jornalista e coordenadora de uma associação cultural que trabalha com novas tecnologias e por isso, e acima de tudo como cidadã, tenho muito interesse em aprofundar meus conhecimentos nessa área.
abs, 

Paulo Schleder

unread,
Mar 29, 2010, 7:16:44 PM3/29/10
to civich...@googlegroups.com
Olá a todos. 

Ao ler os posts dos colegas, em especial sobre tua dedicação Karine a esta bela causa desmistificar a democracia nos rincões do país e revelar currais eleitorais e tb do Poppi, senti estimulado pedir apoio de ativistas e colegas de curso p/ o uso do Manyeyes  trabalharmos juntos na questão do Poder Judiciário e avançarmos para além da nossa natural tendência de nos focarmos exclusivamente nos poderes Legislativo e Executivo q realmente são + evidentes mas não são os únicos a sustentarem os procedimentos corruptos do país. Há uma terceira e ultima trincheira destes no judiciario.

por isso me senti incentivado e busco parceiros(as) q desejam trabalhar na desmistificação dos seus numeros e a conseqüente e necessária democratização do terceiro poder da República, pois como demonstram noticiários é onde mais se apegam hj os politicos e empresários corruptos ( como dizia em escuta da Policia Federal o banqueiro Daniel Dantas, socorrido por dois Habeas corpus em 48 horas, q é  onde "elles" mais "contam com facilidades").

E, não por coincidência, em nossa renascente democracia, dos três, permanece sendo o menos arejado, o menos discutido e questionado Poder da republica. Coincidente mente, de estrutura mais centralizada, o mais concentrador de decisões monocráticas e ainda o único organizado por meio de indicações político-partidárias verticais fundamentadas por interesses escusos e subjetivos de quem tenha o poder central ou de determinada região. Carrega resquícios de sua origem monárquica(!!!) Tanto q mantém jargões tipicos da época, como "A Corte" entre outras evidencias bem piores que a simples etmologia de seus termos.

Se alguém do grupo quiser colaborar comigo e auxiliar-me na ação prática de tornar os números do Judiciário, hj tão herméticos em mais simples para a compreensão popular e para uma leitura mais acessível aos brasileiros. Especialmente se compararmos com numeros de outras democracias vizinhas da America do sul e das democracias europeias, aguardo contatos.

Abç a todos.
Paulo L.

Pedro Markun

unread,
Mar 30, 2010, 5:22:02 AM3/30/10
to civich...@googlegroups.com
Paulo,

estamos contigo nessa, tem alguma leitura especifica em mente? Para começarmos?

O Transparência Brasil fez um belo trabalho com o Meritissimos que compara os desempenhos dos diferentes ministros do STF.


É um ponto de partida para nosso brainstorm.

abs,
Pedro Markun

2010/3/29 Paulo Schleder <psch...@gmail.com>

Paulo Schleder

unread,
Mar 30, 2010, 12:31:38 PM3/30/10
to civich...@googlegroups.com
Grato pelo teu retorno Pedro. Então continuando esse brainstorm iniciado por vc repasso ao grupo umas idéias:

Nosso judiciário tem fornecido numeros à sociedade como este que referia Pedro, porém restrito ao desempenho quantitativo, como nºs de processos julgados, suas analises estão focadas em quantidade mas não na qualidade da justiça que presta. Esclarecendo melhor... 

Encontrei umas tabelas em tese doutorado q compara nosso judiciário com da república norte-americana. Aponta a tese q um dos temas que mais preocupa o cidadão de lá é que tipo de pessoa ocupará um dos assentos na Suprema Corte dos Estados Unidos. Veja que falamos de indicação à Suprema Corte pois lá os juízes estaduais são eleitos pela comunidade local !!!

Os dados que poderíamos buscar por aqui seria quantas indicações e quantas rejeições de nomes de magistrados houve em nosso país?

Lá, por haver muito maior transparência que aqui das indicações de Juízes à Suprema Corte, de 1789 a 1992, o Senado dos EUA rejeitou 28 nomes das 143 nomeações. Lá há um debate público! O nome dos juristas é submetido a uma sabatina pelo Senado. Etb suas opiniões a respeito de questões jurídicas, políticas e seu comportamento pessoal e sua atuação profissional são avaliados, sem cerimônia, com o acompanhamento e questionamentos públicos de imprensa e setores organizados da sociedade. Segue a tabela da sua tese:

Daniela B. Silva

unread,
Mar 30, 2010, 2:06:40 PM3/30/10
to civich...@googlegroups.com
Oi, Paulo!

Muito bacana a sua proposta! Só um comentário: uma vez conversei com o Maurício Hashizume, da ONG Repórter Brasil, justamente sobre a transparência dos dados do judiciário (a Repórter Brasil cobre a questão do trabalho escravo, por exemplo, entao eles trabalham bastante com essas informações).

Estávamos com uma ideia um tanto maluca na época de cruzar os dados de magistrados em "árvores genealógicas" - em certas partes do Brasil, há famílias que representam e decidem em nome da justiça há séculos (porque o bisavô, o avô e o pai do juiz já eram juízes antes dele). Mas era só "chuva de ideias".

Vou dar um plá no Maurício pra tentar saber o que ele anda pensando sobre isso, e se conhece fontes de dados que possam ser úteis aqui. Mas acho que o Magistrados pode ser uma boa fonte de informações pra começarmos a brincar.

Abraço,

Daniela

2010/3/30 Paulo Schleder <psch...@gmail.com>
Reply all
Reply to author
Forward
0 new messages