Divulga CAND - TSE

[Alex Pinheiro das Graças]

Dados das últimas Eleições liberados em CSV. Incluíndo prestação de contas e bens e patrimônios.

http://divulgacandcontas.tse.jus.br/divulga/#/repositorio

[Álvaro Justen [Turicas]]

Oi, Alex, tudo bem?

Eu baixei os arquivos das eleições dos últimos anos, mas pelo que vi o
número de colunas é diferente do que deveria ser, segundo a
especificação do PDF. Você sabe me dizer se esses dados são validados
com relação ao cabeçalho?

Abs,
Álvaro Justen "Turicas"
http://turicas.info/ http://twitter.com/turicas
http://CursoDeArduino.com.br/ http://github.com/turicas
+55 21 9 9898-0141

> --
> Você recebeu essa mensagem porque está inscrito no grupo "Transparência
> Hacker" dos Grupos do Google.
> Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie
> um e-mail para thackday+u...@googlegroups.com.
> Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
> Acesse esse grupo em https://groups.google.com/group/thackday.
> Para ver essa discussão na Web, acesse
> https://groups.google.com/d/msgid/thackday/b3dc2529-b9ca-4bfd-8ee1-c2fa7aec3fcd%40googlegroups.com.
> Para mais opções, acesse https://groups.google.com/d/optout.

[Abelardo Mota]

Há alguma novidade com relação a http://www.tse.jus.br/eleicoes/estatisticas/repositorio-de-dados-eleitorais?

Álvaro, olhe qual o ano dos dados que você está utilizando e procure a especificação no PDF. Dependendo do ano dos dados, o arquivo tem colunas diferentes.

[Álvaro Justen [Turicas]]

Oi, Abelardo! Tudo bem?

Eu fiz essa verificação, porém o número de colunas nunca é o que
deveria ser. Para todos os dados que peguei, segundo o arquivo
LEIAME.PDF eles deveriam ter 45 colunas, porém *nenhum* dos 282
arquivos que testei possui essa quantidade de colunas. Digo que
deveriam ter 45 colunas pois todos os registros de todos os arquivos
constam a data de geração com os anos 2015 ou 2016 e, de acordo com os
PDFs dos ZIPs, a partir de 2014 já deveriam ser 45 colunas.

Os arquivos em que verifiquei o número de colunas são os
"consulta_cand_ANO.zip" (que, descompactados, geram arquivos
"consulta_cand_ANO_UF.txt"), daí pegando os ZIPs de 1994 a 2014 e
descompactando-os ficamos com 282 arquivos TXT (nem todos os UFs
aparecem em todos os anos, por exemplo, em 1994 existem apenas 16
TXTs).

O arquivo "consulta_cand_2014_RJ.txt", por exemplo, possui uma coluna
a mais (46 no total), já o arquivo "consulta_cand_2012_RJ.txt" possui
apenas 44 colunas (1 a menos). Ambos os arquivos possuem data de
geração de junho de 2016 e, até onde entendi, por conta disso, eles
deveriam ter 45 colunas, como diz o PDF.

Abs,
Álvaro Justen "Turicas"
http://turicas.info/ http://twitter.com/turicas
http://CursoDeArduino.com.br/ http://github.com/turicas
+55 21 9 9898-0141

> https://groups.google.com/d/msgid/thackday/e9d434d5-28f6-4413-b3cc-963a20b138c8%40googlegroups.com.

[Abelardo Mota]

Fala, Álvaro, me desculpe pela demora.

Tenho fácil aqui o mapeamento para arquivos de 2014(arquivos de candidatos e despesas). No de candidatos, faço a leitura de 46 colunas.
O ano indicado nos dicionários de dados, pelo que entendi, não é o ano de geração dos dados, mas o ano de referência. Lembro que já trabalhei com os dados de 2012 também e percebi que possuem colunas diferentes.

Mando em anexo arquivos com os metadados dos campos dos arquivos de candidatos de 2012 e de 2014, que uso para leitura com o Pentaho Data Integration(as transformações de carga dos dados em um banco estão em link).

[Álvaro Justen [Turicas]]

Fala, Abelardo!
Agora que terminei de ajustar as colunas para todos os anos, consigo
te dar um parecer melhor sobre os problemas que encontrei:

1- Existem dois arquivos PDF diferentes! Esses PDFs vem junto com os
ZIPs dos candidatos e o de 2016 está diferente do de 2014 (no de 2014
aparece o campo NM_EMAIL, nos outros não -- por isso a diferença do
número de colunas em alguns anos). Isso foi o que causou a maior parte
dos erros de número de colunas diferentes que comentei.
2- Os arquivos 1994/PI.txt e 1994/BR.txt possuem número de colunas
diferentes dos outros todos (um possui uma coluna a mais, outro possui
uma coluna a menos).

Esses erros, juntando com o fato de que o "CSV" deles não está
escapado corretamente, me fez perder várias horas de trabalho. Porém
fiz scripts para consertarem esses problemas e agora já tenho CSVs com
os headers corretos e sem erros de parsing. Estou trabalhando nesses
dados para o Gênero e Número[http://generonumero.media/] e nosso
objetivo é disponibilizá-los com essas correções feitas, no futuro.

Abs,
Álvaro Justen "Turicas"
http://turicas.info/ http://twitter.com/turicas
http://CursoDeArduino.com.br/ http://github.com/turicas
+55 21 9 9898-0141

> https://groups.google.com/d/msgid/thackday/c67a6639-d995-44ad-88b4-8fdfad82b42c%40googlegroups.com.