Eleições 2010

[Raphael Santos Lapa]

Olá a todos.

Bem, primeiramente gostaria de compartilhar uma idéia sobre a qual já tinha falado com alguns membros da lista. Estava a pensar em pegar as zonas eleitorais do DF, a título de exemplo, http://www.tre-df.jus.br/default/atend_eleitor/cartorios.jsp criar polígonos no GMaps no estilo que tem no Wikimapia http://www.wikimapia.org/#lat=-15.8160384&lon=-48.0308533&z=10&l=9&m=b para daí considerar as informações disponibilizadas pelo TRE-DF http://www.tre-df.jus.br/default/dados_elei/estatistica.jsp em um formato mais amigável. Solicitei ao TRE os dados em csv ou alguma outra extensão em que seja possível trabalhar, até o momento nenhum resposta.

Na realidade, minha primeira idéia era só disponibilizar aqueles dados em .pdf de forma mais agradável. Ex.: a quantidade de eleitores analfabetos é bem maior do que imaginava.

Há, no entanto, vários bons projetos sendo desenvolvidos para as eleições atuais. O Diego Casaes mostrou o projeto Eleitor 2010 http://eleitor2010.com/, colocado na lista há alguns dias, e que está sendo desenvolvido com a @paulagoes. O Ricardo Poppi com o @brunobarreto desenvolveram o Xerifes do DF - http://eleicoes.mamulti.com/ no HackDay. Achei os dois projetos muito interessantes. E estava pensando se talvez não fosse interessante uma integração maior entre as várias ferramentas e idéias que vem surgindo quato às eleições atuais.

Talvez um pedido formal da lista pelos dados atualizados o TSE de todos esses levantamentos, tanto por zona, quanto por UF ou região... enfim. Lembro-me de que falaram que isso aconteceu no ano passado em um encontro em Brasília.

O que acham?

Valeu pela atenção!

 

---------------------------------------------------------------------------------
http://rapensando.blogspot.com
http://meadiciona.com/rapensando

---

Veja quais são os assuntos do momento no Yahoo! + Buscados: Top 10 - Celebridades - Música - Esportes

[Eduardo Leoni]

Nunca consegui com o TSE o georeferenciamento das zonas ou seções
eleitorais. Mas topo tentar de novo... Os dados eleitorais eles
normalmente liberam (por zona e seção).

2010/3/24 Raphael Santos Lapa <raphaelc...@yahoo.com.br>:

> --
> Você está recebendo esta mensagem porque se inscreveu no grupo
> "Transparência Hackday" dos Grupos do Google.
> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> Para cancelar a inscrição nesse grupo, envie um e-mail para
> thackday+u...@googlegroups.com.
> Para obter mais opções, visite esse grupo em
> http://groups.google.com/group/thackday?hl=pt-BR.
>

[Pedro Markun]

será que não rola crowdsourcear isso? pedimos para cada um marcar sua seção? certamente vão ter buracos, mas é um jeito de começar e forçar o processo.

abs,

pedro

2010/3/25 Eduardo Leoni <e.l...@gmail.com>

[Eduardo Leoni]

Dá pra ter os locais de votação, o que já é alguma coisa. Só que fica
difícil fazer o cruzamento com outros dados.

O TSE pagou para uma empresa fazer o georeferenciamento, mas não
libera (segundo eles por motivos contratuais...)

-e

2010/3/25 Pedro Markun <pe...@esfera.mobi>:

[Leandro Damasio]

Quando você fala em outros dados se refere ao Pnad ou qual banco?

abs, Leandro

2010/3/25 Eduardo Leoni <e.l...@gmail.com>

[Ricardo Poppi]

Raphael, registrei minhas experiências com esses dados, convertendo pdf e carregando no dabbledb e mayeyes. Não sei se foi a melhor forma, mas segue abaixo o registro dessa experiência. Se alguém souber de uma forma mais fácil de fazer algum dos passos abaixo, gostaria de ouvir comentários. Aleḿ disso, disponibilizei os dados de forma pública no dabbledb e mayeyes. Se alguém construir alguma coisa em cima, divulgue aqui.

1) Baixando as tabelas

Quero utilizar as tabelas com as estatísticas do eleitorado do distrito federal que estão disponíveis apenas no site do TRE-DF (http://www.tre-df.jus.br/default/dados_elei/estatistica.jsp) e em formato PDF (argh!!!!). Baixei 3 tabelas:
a) Estatísticas por grau de instrução
b) Estatísticas por idade
c) Estatísticas por sexo


2) Convertendo o PDF para um formato mais fácil de manipular

Lidar com pdf é um saco, dá problema de formatação e tal. O ideal é trasnformar o pdf num formato planilha ou CSV. Utilizei um sisteminha grátis online chamado PDF to Excel (http://www.pdftoexcelonline.com/) que converte o pdf em formato xls e te manda por email. As tabelas que estou lidando são pequenas então consegui converter facilmente. Porém acredito que esse sistema deve ter algum limite de tamanho que não consegui descobrir ainda.

Para utilizar o pdftoexcel basta selecionar o arquivo pdf no "step 1" e colocar o email no "step 3", clicando no botão "convert". Em menos de 1 minuto eu já tinha recebido um email com o arquivo xls convetido em anexo.


3) Preparando os dados para carregar em algum repositório online

a) dabbledb.com (http://dabbledb.com/)

Para carregar uma tabela no dabbedb basta criar um database e um login, essa opção já aparece na pagina inicial do serviço. Depois, selecionando a opção para "importar dados" ele te apresenta uma tela com 3 alternativas: "copy and paste", "import data" ou "start from scratch". Como eu tinha as tabelas no meu computador, fui na primeira opção.

Selecionando as células da tabela no próprio excel é possivel colar no campo do dabbledb e ele reconhece direitinho. Basta ir seguindo as instruções, dando nome para as coisas e sua importação estará concluida. Fui na opção "Show/Hide/Reorder Columns" para decidir as colunas que queria exibir (todas menos o sumário) e também cliquei no botão "Share" onde o sistema permite criar uma página com os dados, para compartilhamento com o mundo. Há também a opção export, na qual o sistema disponibiliza links para arquivos nos mais diversos formatos. Abaixo, estou relaconando o link da página que eu criei com as três tabelas (incluindo uma sidebar que permite alternar entre as três) e também os links das 3 tabelas que carreguei, no formato CSV:

View das 3 tabelas: https://ricardopoppi.dabbledb.com/page/ricardopoppi/rpccdLBI

CSV da tabela por Grau de Instrução: http://ow.ly/1rgvW
CSV da tabela por faixa etária: http://ow.ly/1rgzo
CSV da tabela por sexo: http://ow.ly/1rgAy


b) ManyEyes (http://manyeyes.alphaworks.ibm.com/manyeyes/)

Para carregar os dados no manyeyes, eles precisam estar num formato especifico, separado por tabulações. Para fazer isso, abri as planilhas XLS no Openoffice.org e, utilizando a opção "salvar como", exportei no formato CSV (é um dos tipos de arquivo que aparecem na opção de salvar).

Importante ficar atento para marcar a caixinha com a opção "Editar as configurações do filtro" que fica no canto inferior esquerdo. Essa opção permitirá selecionar as opções do CSV. Na próxima janela, escolha a codificação adequada (se não souber deixe como está), defina o delimitador de campo como "{Tabulação}" e apague o delimitador de texto (isso mesmo, deixando em branco). Pode dar ok e o arquivo CSV será salvo no seu computador.

Agora precisamos colar o resultado do arquivo no manyeyes. Crie uma conta no manyeyes e escolha a opção "upload data set". Abra com um editor de texto (bloco de notas se estiver no windows) o arquivo CSV que foi salvo no passo anterior e copie para a área de transferência (ctrl+C). No campo "Paste the data" do manyeyes, cole o conteúdo da área de transferência (ctrl+V). Logo abaixo você poderá ver se o manyeyes entendeu sua tabela. Isso aparece no seção "Check that we understood". Se estiver bagunçado é porque os dados que você colou não estão seguindo as regras de formato do site, que podem ser lidas aqui: http://manyeyes.alphaworks.ibm.com/manyeyes/page/Data_Format.html

Carreguei, dessa forma, as três tabelas do exercício. Tive um problema com o título das tabelas que, na gravação do CSV, ficaram em linhas diferentes, causando problemas na interpretação pelo manyeyes. Arrumei isso manualmente, no próprio editor de texto. As tabelas estão públicas e poder ser vistas aqui:

Grau de instrução: http://manyeyes.alphaworks.ibm.com/manyeyes/datasets/perfil-do-eleitorado-das-zonas-ele
Sexo: http://manyeyes.alphaworks.ibm.com/manyeyes/datasets/perfil-do-eleitorado-das-zonas-ele-2
Faixa etária: http://manyeyes.alphaworks.ibm.com/manyeyes/datasets/perfil-do-eleitorado-das-zonas-ele-3

O legal do manyeyes é poder criar visualizações em cima dos dados e qualquer um pode fazê-lo já que os datasets são públicos (além dos dados é claro). Crei algumas, só pra brincar:

Gráfico de bolha com a faixa etária por zona: http://manyeyes.alphaworks.ibm.com/manyeyes/visualizations/faixa-etaria-dos-eleitores-por-zon
Gráfico de bolha com a faixa etária por zona: http://manyeyes.alphaworks.ibm.com/manyeyes/visualizations/escolaridade-dos-eleitores-do-df-p



Raphael Santos Lapa escreveu:

Veja quais são os assuntos do momento no Yahoo! + Buscados: Top 10 - Celebridades - Música - Esportes --

[Carlos Eduardo Moreira dos Santos]

2010/3/26 Ricardo Poppi <rica...@gmail.com>

Raphael, registrei minhas experiências com esses dados, convertendo pdf e carregando no dabbledb e mayeyes. Não sei se foi a melhor forma, mas segue abaixo o registro dessa experiência. Se alguém souber de uma forma mais fácil de fazer algum dos passos abaixo, gostaria de ouvir comentários. Aleḿ disso, disponibilizei os dados de forma pública no dabbledb e mayeyes. Se alguém construir alguma coisa em cima, divulgue aqui.

1) Baixando as tabelas

Quero utilizar as tabelas com as estatísticas do eleitorado do distrito federal que estão disponíveis apenas no site do TRE-DF (http://www.tre-df.jus.br/default/dados_elei/estatistica.jsp) e em formato PDF (argh!!!!). Baixei 3 tabelas:
a) Estatísticas por grau de instrução
b) Estatísticas por idade
c) Estatísticas por sexo


2) Convertendo o PDF para um formato mais fácil de manipular

Lidar com pdf é um saco, dá problema de formatação e tal. O ideal é trasnformar o pdf num formato planilha ou CSV. Utilizei um sisteminha grátis online chamado PDF to Excel (http://www.pdftoexcelonline.com/) que converte o pdf em formato xls e te manda por email. As tabelas que estou lidando são pequenas então consegui converter facilmente. Porém acredito que esse sistema deve ter algum limite de tamanho que não consegui descobrir ainda.

Para utilizar o pdftoexcel basta selecionar o arquivo pdf no "step 1" e colocar o email no "step 3", clicando no botão "convert". Em menos de 1 minuto eu já tinha recebido um email com o arquivo xls convetido em anexo.

Você também pode utilizar o pdftotext do pacote poppler (linux).

[Diego Rabatone]

Uma sugestão diferente que eu daria para trabalhar com o PDF seria usar o pdftohml (também tem no repos. do ubuntu) e, com ele, gerar um XML. Para exportar como XML acho que basta usar da seguinte forma:

pdftohtml -xml file.pdf file

Mando em anexo um que fiz de exemplo.

Abs,

--------------------------------
Diego Rabatone Oliveira

2010/3/26 Carlos Eduardo Moreira dos Santos <ca...@ime.usp.br>

[Ricardo Poppi]

Legal Diego. Estou com uma dúvida: Como eu faço para gerar um CSV a partir de um XML? Tem como importar no broffice?

http://www.google.com/profiles/ricabras

Diego Rabatone escreveu:

[Diego Rabatone]

Então, até aonde eu sei o processo de importação de um XML para o Open(BR)Office é muitíssimo trabalhoso (é uma pena, o "alternativo pago" consegue fazer isso com uma certa facilidade)...

Estou tentando usar o xml2 (tem no repositório) e o csv2 ou 2csv... mas não entendi como funciona exatamente... rs
Alguns exemplos: http://dan.egnor.name/xml2/examples

O máximo que consegui até agora foi fazer isso:
xml2 < grau_instrucao_2010-01.xml > grau_instrucao_2010-01.csv

Que retornou o arquivo anexo....

--------------------------------
Diego Rabatone Oliveira

2010/3/27 Ricardo Poppi <rica...@gmail.com>

[Eduardo Leoni]

Qualquer outros dados georeferenciados. Não é o caso do PNAD
(infelizmente), mas é o caso do censo. E de, imagino, várias bases
municipais de dados.

-e

2010/3/26 Leandro Damasio <ldam...@gmail.com>: