Políticos API
59 views
Skip to first unread message
Marcelo Jorge Vieira
May 10, 2016, 9:17:06 AM5/10/16
to thackday
opa!
Publiquei a primeira versão da Políticos API, que é uma base de todos
os candidatos e partidos que concorreram nas eleições entre 2000 e
2014. É uma primeira versão, tá cheio de bugs, mas já um começo para
validar a ideia.
Fiz um post explicando: http://metaldot.alucinados.com/politicos-api/
Abração,
--
Marcelo Jorge Vieira
xmpp:me...@jabber-br.org
http://metaldot.alucinados.com
Publiquei a primeira versão da Políticos API, que é uma base de todos
os candidatos e partidos que concorreram nas eleições entre 2000 e
2014. É uma primeira versão, tá cheio de bugs, mas já um começo para
validar a ideia.
Fiz um post explicando: http://metaldot.alucinados.com/politicos-api/
Abração,
--
Marcelo Jorge Vieira
xmpp:me...@jabber-br.org
http://metaldot.alucinados.com
Abelardo Mota
May 10, 2016, 10:47:46 AM5/10/16
to Transparência Hacker, me...@alucinados.com
Fala Marcelo,
parabéns pelos projetos!
Há alguns anos baixei os dados de candidaturas do TSE e fiz umas rápidas análises. Na época ainda estava engatinhando com a área de dados, não avancei muito.
Estou atualmente estudando uma ferramenta de ETL(Pentaho PDI) e fiquei curioso sobre como fizeram a parte de extração dos dados e integração, e qual a estrutura da base que a API consome. Se tiver alguma oportunidade de contribuição na camada de ETL, peço que me avise. Atualmente, como caso de estudo, tenho trabalhado com os dados de remuneração dos servidores do executivo federal.
parabéns pelos projetos!
Há alguns anos baixei os dados de candidaturas do TSE e fiz umas rápidas análises. Na época ainda estava engatinhando com a área de dados, não avancei muito.
Estou atualmente estudando uma ferramenta de ETL(Pentaho PDI) e fiquei curioso sobre como fizeram a parte de extração dos dados e integração, e qual a estrutura da base que a API consome. Se tiver alguma oportunidade de contribuição na camada de ETL, peço que me avise. Atualmente, como caso de estudo, tenho trabalhado com os dados de remuneração dos servidores do executivo federal.
Em terça-feira, 10 de maio de 2016 10:17:06 UTC-3, Marcelo Jorge Vieira escreveu:
opa!
Publiquei a primeira versão da Políticos API, que é uma base de todos
os candidatos e partidos que concorreram nas eleições entre 2000 e
2014. É uma primeira versão, tá cheio de bugs, mas já um começo para
validar a ideia.
Fiz um post explicando: http://metaldot.alucinados.com/politicos-api/
Abração,
--
Marcelo Jorge Vieira
Marcelo Jorge Vieira
May 17, 2016, 10:49:31 PM5/17/16
to Transparência Hacker
Olá Abelardo,
On Tue, 2016-05-10 at 07:47 -0700, Abelardo Mota wrote:
> Fala Marcelo,
>
> parabéns pelos projetos!
> Há alguns anos baixei os dados de candidaturas do TSE e fiz umas
> rápidas análises. Na época ainda estava engatinhando com a área de
> dados, não avancei muito.
> Estou atualmente estudando uma ferramenta de ETL(Pentaho PDI) e
> fiquei curioso sobre como fizeram a parte de extração dos dados e
> integração, e qual a estrutura da base que a API consome. Se tiver
> alguma oportunidade de contribuição na camada de ETL, peço que me
> avise. Atualmente, como caso de estudo, tenho trabalhado com os dados
> de remuneração dos servidores do executivo federal.
A extração é simples, leio cada arquivo CSV do TSE transformando em
objetos do model do Django. Hoje essa importação dos dados é um
gargalo, demora várias horas para processar tudo, mas estou
refatorando.
A base da API é o Django Tastypie [0]. As rotas retornam conteúdo JSON,
como por exemplo a lista de partidos:
http://politicos.olhoneles.org/api/v0/political-parties/
Toda ajuda é bem vinda ;-)
[0] https://github.com/django-tastypie/django-tastypie
--
Marcelo Jorge Vieira
xmpp:me...@jabber-br.org
http://metaldot.alucinados.com
On Tue, 2016-05-10 at 07:47 -0700, Abelardo Mota wrote:
> Fala Marcelo,
>
> parabéns pelos projetos!
> Há alguns anos baixei os dados de candidaturas do TSE e fiz umas
> rápidas análises. Na época ainda estava engatinhando com a área de
> dados, não avancei muito.
> Estou atualmente estudando uma ferramenta de ETL(Pentaho PDI) e
> fiquei curioso sobre como fizeram a parte de extração dos dados e
> integração, e qual a estrutura da base que a API consome. Se tiver
> alguma oportunidade de contribuição na camada de ETL, peço que me
> avise. Atualmente, como caso de estudo, tenho trabalhado com os dados
> de remuneração dos servidores do executivo federal.
objetos do model do Django. Hoje essa importação dos dados é um
gargalo, demora várias horas para processar tudo, mas estou
refatorando.
A base da API é o Django Tastypie [0]. As rotas retornam conteúdo JSON,
como por exemplo a lista de partidos:
http://politicos.olhoneles.org/api/v0/political-parties/
Toda ajuda é bem vinda ;-)
[0] https://github.com/django-tastypie/django-tastypie
--
Marcelo Jorge Vieira
xmpp:me...@jabber-br.org
http://metaldot.alucinados.com
Reply all
Reply to author
Forward
0 new messages