Campus Party
Diego Rabatone Oliveira
Gostaria, primeiramente, de desejar um feliz 2010 a todos, que seja um ano muito frutífero a vocês.
Agora vem a pergunta.... Está sendo organizada alguma atividade para a Campus Party (CP)? Quem vai na CP?
Abraços,
--------------------------------
Diego Rabatone Oliveira
Engenharia de Computação - Escola Politécnica - Universidade de São Paulo
Grupo de Estudos de Software Livre da Poli-USP (PoliGNU) - http://polignu.org
diraol_arroba_polignu.org
Twitter: @diraol
"Hacking for the Freedom!"
Daniela B. Silva
Estamos organizando uma atividade na CP sim, e inclusive devem rolar
algumas inscrições pra comunidade do Thackday.
Estamos tentando confirmar detalhes com a organização o mais rápido
possível; escrevo pra vocês novamente mais tarde.
Bjs,
Dani
Em 05/01/10, Diego Rabatone Oliveira<dir...@polignu.org> escreveu:
> --
>
> Você está recebendo esta mensagem porque se inscreveu no grupo
> "Transparência Hackday" dos Grupos do Google.
> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> Para cancelar a inscrição nesse grupo, envie um e-mail para
> thackday+u...@googlegroups.com.
> Para obter mais opções, visite esse grupo em
> http://groups.google.com/group/thackday?hl=pt-BR.
>
>
>
--
Enviado do meu celular
Rodolpho Eckhardt
Rodolpho Eckhardt
<rodo...@eckhardt.com.br>
+55 11 83709223
2010/1/5 Daniela B. Silva <daniel...@gmail.com>:
Guilherme Bellia
--
Guilherme Bellia
http://twitter.com/gbellia
Fabiano Angélico
| Caros, Venho por meio desta sugerir um desafio. O caso é o seguinte: duas vezes por ano o Ministério do Trabalho divulga uma lista de empregadores (pessoas e empresas) que foram autuados por manterem funcionários em situação análoga à escravidão (alguns preferem chamar de "situação de escravidão contemporânea"). São pessoas que não recebem salário, porque trabalham em troca do pagamento de dívidas inventadas pelos empregadores. Funciona assim: bandido pára numa cidade pobre, recruta a galera dizendo que tem trabalho bom mas num local distante; ao chegar nesse local distante, diz que precisam trabalhar pra pagar o transporte, a comida, o uniforme etc, etc. Os coitados passam a morar no próprio local de trabalho, em condições degradantes. Pois bem, a mais recente lista de autuados, divulgada em dezembro e atualizada ontem, tem 164 nomes, entre pessoas e empresas. A tabela traz o CNJ ou o CPF de cada um. Qual o desafio? Pegar esses CPFs e CNPJs e jogar na base de dados do Tribunal Superior Eleitoral, que divulga os doadores de campanhas eleitorais (neste post do meu blog tem os links para as bases de dados do TSE: http://bit.ly/3Unr0T). Para quê? Para verificar se alguém da Lista Suja financiou a campanha de algum político em 2002,2004,2006 ou 2008. Qual o objetivo desse cruzamento de dados? Constranger políticos que receberam doações de integrantes da Lista Suja do Trabalho Escravo. Políticos ligados a pessoas/empresas autuadas não merecem voto, concordam? Alguém topa? A lista suja do trabalho escravo está aqui (em CSV): http://creatorexport.zoho.com/fabianoangelico/listatrabescravo/csv/Table_View/ Fabiano Angélico Twitter: @fangelico Skype: fabiano.angelico --- Em ter, 5/1/10, Guilherme Bellia <guilher...@gmail.com> escreveu: |
Veja quais são os assuntos do momento no Yahoo! + Buscados: Top 10 - Celebridades - Música - Esportes
Guilherme Bellia
Peixoto, Tiago
E por que nao criar o site "in vino veritas"? Dou mais 60 cervejas para o desafio.
> --- Em *ter, 5/1/10, Guilherme Bellia <guilher...@gmail.com>*escreveu:
>
>
> De: Guilherme Bellia <guilher...@gmail.com>
> Assunto: Re: [thackday] Campus Party
> Para: thac...@googlegroups.com
> Data: Terça-feira, 5 de Janeiro de 2010, 18:57
>
> me2 !
>
> 2010/1/5 Rodolpho Eckhardt <rodo...@eckhardt.com.br<http://mc/compose?to=rodo...@eckhardt.com.br>
> >
>
>> Estarei lá também!
>>
>> Rodolpho Eckhardt
>> <rodo...@eckhardt.com.br <http://mc/compose?to=rodo...@eckhardt.com.br>
>> >
>> +55 11 83709223
>>
>>
>>
>> 2010/1/5 Daniela B. Silva <daniel...@gmail.com<http://mc/compose?to=daniel...@gmail.com>
>> >:
>> > Oi, Diego!
>> >
>> > Estamos organizando uma atividade na CP sim, e inclusive devem rolar
>> > algumas inscrições pra comunidade do Thackday.
>> >
>> > Estamos tentando confirmar detalhes com a organização o mais rápido
>> > possível; escrevo pra vocês novamente mais tarde.
>> >
>> > Bjs,
>> >
>> > Dani
>> >
>> >
>> >
>> > Em 05/01/10, Diego Rabatone Oliveira<dir...@polignu.org<http://mc/compose?to=dir...@polignu.org>>
>> escreveu:
>> >> Olá colegas do THackDay...
>> >>
>> >> Gostaria, primeiramente, de desejar um feliz 2010 a todos, que seja um
>> ano
>> >> muito frutífero a vocês.
>> >>
>> >> Agora vem a pergunta.... Está sendo organizada alguma atividade para a
>> >> Campus Party (CP)? Quem vai na CP?
>> >>
>> >> Abraços,
>> >>
>> >> --------------------------------
>> >> Diego Rabatone Oliveira
>> >> Engenharia de Computação - Escola Politécnica - Universidade de São
>> Paulo
>> >> Grupo de Estudos de Software Livre da Poli-USP (PoliGNU) -
>> >> http://polignu.org
>> >> diraol_arroba_polignu.org
>> >> Twitter: @diraol
>> >> "Hacking for the Freedom!"
>> >>
>> >> --
>> >>
>> >> Você está recebendo esta mensagem porque se inscreveu no grupo
>> >> "Transparência Hackday" dos Grupos do Google.
>> >> Para postar neste grupo, envie um e-mail para
>> .
>> >> Para cancelar a inscrição nesse grupo, envie um e-mail para
>> .
>> >> Para obter mais opções, visite esse grupo em
>> >> http://groups.google.com/group/thackday?hl=pt-BR.
>> >>
>> >>
>> >>
>> >
>> > --
>> > Enviado do meu celular
>> >
>> > --
>> >
>> > Você está recebendo esta mensagem porque se inscreveu no grupo
>> "Transparência Hackday" dos Grupos do Google.
>> > Para postar neste grupo, envie um e-mail para thac...@googlegroups.com<http://mc/compose?to=thac...@googlegroups.com>
>> .
>> > Para cancelar a inscrição nesse grupo, envie um e-mail para
>> .
>> > Para obter mais opções, visite esse grupo em
>> http://groups.google.com/group/thackday?hl=pt-BR.
>> >
>> >
>> >
>>
>> --
>> Você está recebendo esta mensagem porque se inscreveu no grupo
>> "Transparência Hackday" dos Grupos do Google.
>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com<http://mc/compose?to=thac...@googlegroups.com>
>> .
>> Para cancelar a inscrição nesse grupo, envie um e-mail para
>> .
>> Para obter mais opções, visite esse grupo em
>> http://groups.google.com/group/thackday?hl=pt-BR.
>>
>>
>>
>>
>
>
> --
>
> Guilherme Bellia
>
> http://twitter.com/gbellia
>
>
> --
> Você está recebendo esta mensagem porque se inscreveu no grupo
> "Transparência Hackday" dos Grupos do Google.
> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> Para cancelar a inscrição nesse grupo, envie um e-mail para
> .
> Para obter mais opções, visite esse grupo em
> http://groups.google.com/group/thackday?hl=pt-BR.
>
>
> ------------------------------
> Veja quais são os assuntos do momento no Yahoo! + Buscados: Top 10<http://br.rd.yahoo.com/mail/taglines/mail/*http://br.maisbuscados.yahoo.com/>-
> Celebridades<http://br.rd.yahoo.com/mail/taglines/mail/*http://br.maisbuscados.yahoo.com/celebridades/>-
> Música<http://br.rd.yahoo.com/mail/taglines/mail/*http://br.maisbuscados.yahoo.com/m%C3%BAsica/>-
> Esportes<http://br.rd.yahoo.com/mail/taglines/mail/*http://br.maisbuscados.yahoo.com/esportes/>
>
> --
> Você está recebendo esta mensagem porque se inscreveu no grupo
> "Transparência Hackday" dos Grupos do Google.
> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> Para cancelar a inscrição nesse grupo, envie um e-mail para
Everton Zanella Alvarenga
http://en.wikipedia.org/wiki/In_vino_veritas (temos que criar a página
em português na Wikipédia : P)
Poderíamos convidar alguns políticos para algumas rodadas de vinho
esporadicamente. Ou cerveja, mesmo, já que no Brasil é muito caro.
rsrsrs
O evento poderia ser periódico. Começaríamos com os vereadores e
prepararíamos com antecedência as perguntas para o político da vez,
todas elas transmitidas ao vivo e gravadas. :-D
2010/1/6 Peixoto, Tiago <Tiago....@eui.eu>:
> thackday+u...@googlegroups.com.
> Para obter mais opções, visite esse grupo em
> http://groups.google.com/group/thackday?hl=pt-BR.
>
>
Estêvão Samuel Procópio
Isso pode virar um podcast interessantissimo... amanhã dou uma olhada no CSV...
On Jan 6, 2010 12:32 AM, "Everton Zanella Alvarenga" <evert...@gmail.com> wrote:
"In vino veritas", hahaha! Gostei da idéia!
http://en.wikipedia.org/wiki/In_vino_veritas (temos que criar a página
em português na Wikipédia : P)
Poderíamos convidar alguns políticos para algumas rodadas de vinho
esporadicamente. Ou cerveja, mesmo, já que no Brasil é muito caro.
rsrsrs
O evento poderia ser periódico. Começaríamos com os vereadores e
prepararíamos com antecedência as perguntas para o político da vez,
todas elas transmitidas ao vivo e gravadas. :-D
2010/1/6 Peixoto, Tiago <Tiago....@eui.eu>:
> E por que nao criar o site "in vino veritas"? Dou mais 60 cervejas para o > desafio. > > -----Orig...
> thackday+u...@googlegroups.com.
> Para obter mais opções, visite esse grupo em > http://groups.google.com/group/thackday?hl=pt-BR. >...
http://blogdotom.wordpress.com/sobre
Everton Zanella Alvarenga
> Isso pode virar um podcast interessantissimo... amanhã dou uma olhada no
> CSV...
Um amigo também gostou da idéia (twitter.com/rcalsaverini). Ele
aceitou o desafio e disse que conhece umas bibliotecas em Python. Já
temos um em busca da verdade, digo, das cervejas. :-D
Vamos depois elaborar melhor como podemos fazer os podcasts com nossos
queridos representantes. :-)
Pedro Markun
genial. Vou republicar no blog da esfera, ok? E coloco mais um
engradado na rodada , propondo fazermos um churrasco thackday em algum
momento desse começo de ano. Primeira semana de fevereiro, anyone?
abs,
Pedro Markun
2010/1/6 Everton Zanella Alvarenga <evert...@gmail.com>:
Fabiano Angélico
| Ótimo, Pedro. Ontem mandei os dados em CSV, mas tem também em JSON: http://creatorexport.zoho.com/fabianoangelico/listatrabescravo/json/Table_View/ --- Em qua, 6/1/10, Pedro Markun <pe...@esfera.mobi> escreveu: |
|
|
|
|
|
|
Rafael Calsaverini
Hey, Tom, porque nunca tinha me convidado para essa lista antes?
---
Rafael Calsaverini
Dep. de Física Geral, Sala 336
Instituto de Física - Universidade de São Paulo
rafael.ca...@gmail.com
http://stoa.usp.br/calsaverini/weblog
CEL: (11) 7525-6222
USP: (11) 3091-6803
Isso pode virar um podcast interessantissimo... amanhã dou uma olhada no CSV...
Rafael Calsaverini
http://www.congressoaberto.com.br/2010/01/deputados-que-receberam-doacoes-da-lista-suja/
Não sei se foi feito manualmente ou automaticamente, no entanto.
---
Rafael Calsaverini
Dep. de Física Geral, Sala 336
Instituto de Física - Universidade de São Paulo
rafael.ca...@gmail.com
http://stoa.usp.br/calsaverini/weblog
CEL: (11) 7525-6222
USP: (11) 3091-6803
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Eduardo Leoni
Edson Sales Junior
Edson Sales Junior
2010/1/6 Rafael Calsaverini <rafael.ca...@gmail.com>:
--
Edson Sales Junior
www.edsonsalesjunior.com.br
GPG Key: 088A25AE
Fingerprint: 47CD E20B 672F F413 2BBE 5C70 6944 017C 088A 25AE
Eduardo Leoni
Ricardo Matheus
http://maps.google.com/maps/ms?ie=UTF8&hl=pt-BR&msa=0&msid=108877133818769393148.00046c8f4850fc3ab6bfb&z=11
O que acham?
Disso viraria o mapa da lista suja de financiamento de campanha.
E se eu topo? "TOPO, TOPO, PORQUE NÃO? Vamo Cair pra dentro"(Platão, 2009).
Abs
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.
--
Ricardo Matheus
Universidade de São Paulo
EACH - Escola de Artes, Ciências e Humanidades (USP Leste)
Curso de Gestão de Políticas Públicas
(11)7227-7521
Fabiano Angélico
| Bueno, parece que o Leoni levou as cervejas... Parabéns --- Em qua, 6/1/10, Eduardo Leoni <e.l...@gmail.com> escreveu: |
|
|
Daniela B. Silva
Feliz 2010 pra vocês todos =D
Ei, o Pedro me disse que já convidaram o Maurício Hashizume pra essa
conversa, né? Ele é da ONG Repórter Brasil e esteve com a gente no
Transparência Camp – pode ajudar a beça a entender o valor desses
dados.
2010/1/6 Ricardo Matheus <ricardo...@gmail.com>:
Diego Rabatone Oliveira
ainda não testei, mas que tal extrair o PDF para TXT e, em seguida, importá-lo com o CALC para uma planilha eletrônica e daí é fácil exportar como CSV..
Ainda não achei um método mais fácil (na verdade, como não testei esse ainda, não sei se funciona).
PDF -> TXT
http://www.vivaolinux.com.br/dica/Extraindo-texto-de-arquivos-PDF-com-pstotext
--------------------------------
Diego Rabatone Oliveira
Engenharia de Computação - Escola Politécnica - Universidade de São Paulo
Grupo de Estudos de Software Livre da Poli-USP (PoliGNU) - http://polignu.org
diraol_arroba_polignu.org
Twitter: @diraol
"Hacking for the Freedom!"
andre luiz
outro assunto com o mesmo tema... rsrsrs
o diário oficial da união do site JUS Brasil
está em html
exemplo
http://www.jusbrasil.com.br/diarios/navegue/DOU
http://www.jusbrasil.com.br/diarios/1568991/dou-secao-1-06-01-2010-pg-1
quem consegue fazer um motor de busca?
dos textos e popular uma base qualquer (csv, xls, mdb) com os respectivos campos
exemplo campos:
Fonte
Edição
Seção
Página
Data
UF
Instituição
Título
Corpo
Rodapé
Observação:
abraços e ótimo 2010 (ano eleitoral e vamos cobrar ações éticas,
morais e transparentes)
andré luiz
2010/1/6 Diego Rabatone Oliveira <dir...@polignu.org>:
Edson Sales Junior
PDF para TXT parece ser o XPDF (http://www.foolabs.com/xpdf/), que por
si só já dá conta do recado. Eu o utilizo através do plugin "PDF
Indexer" do Joomla, só porque preciso dos links para os PDFs a partir
do conteúdo indexado, senão usaria o XPDF diretamente.
Edson Sales Junior
2010/1/6 Diego Rabatone Oliveira <dir...@polignu.org>:
--
Everton Zanella Alvarenga
> Seria legal ter um jeito automático de converter o pdf pra csv. Idéias?
> -eduardo
>
Você pode converter PDF para XML usando o pdftohtml, que em geral já
vem com qualquer sistema GNU/Linux:
http://pdftohtml.sourceforge.net/
Do XML acho que dá para extrair um CSV facilmente.
Fabiano Angélico
| Na verdade, o Leoni só fez com candidatos a deputado federal nas eleições de 2006. Porntanto, para as eleições de 2006, ainda tem os candidatos a Presidente, Senador, Governador e Deputado Estaduais de 2006. E todos os candidatos em 2002, 2004 e 2008. O desafio não acabou. --- Em qua, 6/1/10, Everton Zanella Alvarenga <evert...@gmail.com> escreveu: |
|
|
|
Everton Zanella Alvarenga
código que vencer o desafio ser livre, no sentido da FSF.
2010/1/6 Fabiano Angélico <fabiano...@yahoo.com.br>
>
> Na verdade, o Leoni só fez com candidatos a deputado federal nas eleições de 2006. Porntanto, para as eleições de 2006, ainda tem os candidatos a Presidente, Senador, Governador e Deputado Estaduais de 2006.
> E todos os candidatos em 2002, 2004 e 2008.
> O desafio não acabou.
>
Eduardo Leoni
Uma condição importante que esqueci de dizer para pagar as cervejas: o
código que vencer o desafio ser livre, no sentido da FSF.
Eduardo Leoni
Rafael Calsaverini
ou você de alguma forma baixou os dados?
Eu estou tendo uns problemas para fazer um script em python para
interagir com o site do TSE. Cheguei até a pensar em criar uma lib em
python com uma espécie de "API" para quem quisesse interagir com o
site do TSE em qualquer projeto.
O problema é que o site não foi feito para interagir com uma máquina,
mas com um humano. Particularmente:
* não há padrão algum, os 4 sites para os 4 anos diferentes são
diferentes, com formulários diferentes, com nomes diferentes para os
campos. Isso é fácil de resolver - fazer 4 scripts diferentes - mas é
um saco!
* os forms são mal desenhados para serem manipulados por um script
simples. Por exemplo, para consultar um cpf doador você deve clicar em
um botão que abre outro formulário em uma nova página e nesse
formulário você digita o cpf, daí aparece o nome do sujeito e você
clica no nome para inclui-lo no formulário anterior. Chega a ser
ridículo. Alguém que manja mais de curl sabe se dá para interagir
direitinho com esse form usando curl? Eu nem tenho certeza disso.
Enfim. Se alguém for bom de python ou curl e quiser me dar uma mão em
criar essa "API" para o site do TSE poderia entrar em contato através
do gtalk ( rafael.ca...@gmail.com ). Talvez eu esteja moscando e
já haja alguma página onde dá para interagir mais fácil com isso aí.
Até a próxima,
Rafael Calsaverini
Everton Zanella Alvarenga
> * os forms são mal desenhados para serem manipulados por um script
> simples. Por exemplo, para consultar um cpf doador você deve clicar em
> um botão que abre outro formulário em uma nova página e nesse
> formulário você digita o cpf, daí aparece o nome do sujeito e você
> clica no nome para inclui-lo no formulário anterior. Chega a ser
> ridículo. Alguém que manja mais de curl sabe se dá para interagir
> direitinho com esse form usando curl? Eu nem tenho certeza disso.
Rafael, como falei, tenho um código em curl, mas estou sem tempo de
colocar online. Depois te mostro as linhas de código que autenticam
num formulário de um jornal para você ter uma idéia, não é muito
complicado, não. Uma ferramenta que foi muito útil para mim quando fiz
o código foi o Live HTTP Headers do FF
https://addons.mozilla.org/en-US/firefox/addon/3829 Você pode
acompanhar tudo o que está sendo passado e pego no site que navega.
Essa semana está bem corrida para mim, então me peça o código quando
me achar online após as 20h!
Eduardo Leoni
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Everton Zanella Alvarenga
> Como disse Fabiano - o desafio só está começando!
> Mas o código é o de menos [é só um join!]... os dados (processados) é que
> também devem estar livres!
Concordo. Em nenhum momento cogitei os dados não estarem livres, por
isso nem mencionei. Afinal, estamos falando de transparência, então
não faria sentido algum para mim (há quem desconcorde, hehe) se fosse
o contrário. :-)
Rafael Calsaverini
to querendo mesmo é fazer uma interface para o site, porque me
interessa também por outras razões (Muaaaahuahuahuahuahuaaaa!!)
Eu vou ver esse código do Tom e tentar resolver isso.
Valeu,
Rafael Calsaverini
On Jan 6, 6:55 pm, Eduardo Leoni <e.le...@gmail.com> wrote:
> Esse site do TSE é uma desgraça.
>
> Eu peguei esses dados direto com o TSE, um dump da base deles. Tenho para os
> anos 2002, 2004 e 2006. Mas só processei os de 2006 (e somente pra deputado
> federal.) Tem erro no CPF, dado faltando, uma pequena zona. E de vez em
> quando tem erro no dump mesmo (mas acho que só encontrei isso nos dados
> eleitorais, não nos de campanha.)
>
> A transparência brasil têm, em teoria, todos esses dados. Mas eles não
> parecem ser muito abertos quanto a compartilhamento dos mesmos.
>
> Não tem como eu fazer o upload de tudo pq a base é imensa e o meu uplink
> ruinzinho. Só se rolar o bom e velho snail-mail e eu mandar o dvd.
>
> Abraço,
>
> -Eduardo
>
> 2010/1/6 Rafael Calsaverini <rafael.calsaver...@gmail.com>
>
> > Eduardo Leoni, você conseguiu interagir com o site através do código
> > ou você de alguma forma baixou os dados?
>
> > Eu estou tendo uns problemas para fazer um script em python para
> > interagir com o site do TSE. Cheguei até a pensar em criar uma lib em
> > python com uma espécie de "API" para quem quisesse interagir com o
> > site do TSE em qualquer projeto.
>
> > O problema é que o site não foi feito para interagir com uma máquina,
> > mas com um humano. Particularmente:
>
> > * não há padrão algum, os 4 sites para os 4 anos diferentes são
> > diferentes, com formulários diferentes, com nomes diferentes para os
> > campos. Isso é fácil de resolver - fazer 4 scripts diferentes - mas é
> > um saco!
>
> > * os forms são mal desenhados para serem manipulados por um script
> > simples. Por exemplo, para consultar um cpf doador você deve clicar em
> > um botão que abre outro formulário em uma nova página e nesse
> > formulário você digita o cpf, daí aparece o nome do sujeito e você
> > clica no nome para inclui-lo no formulário anterior. Chega a ser
> > ridículo. Alguém que manja mais de curl sabe se dá para interagir
> > direitinho com esse form usando curl? Eu nem tenho certeza disso.
>
> > Enfim. Se alguém for bom de python ou curl e quiser me dar uma mão em
> > criar essa "API" para o site do TSE poderia entrar em contato através
> > do gtalk ( rafael.calsaver...@gmail.com ). Talvez eu esteja moscando e
> > já haja alguma página onde dá para interagir mais fácil com isso aí.
>
> > Até a próxima,
>
> > Rafael Calsaverini
>
> > On Jan 6, 3:13 pm, Eduardo Leoni <e.le...@gmail.com> wrote:
> > > Código em R (tem que ser adaptado pra trabalhar com os dados em csv.)
> > Quem
> > > quiser realmente fuçar é só me mandar um email. (Link pros dados no email
> > > anterior)
>
> > --
> > Você está recebendo esta mensagem porque se inscreveu no grupo
> > "Transparência Hackday" dos Grupos do Google.
> > Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> > Para cancelar a inscrição nesse grupo, envie um e-mail para
> > thackday+u...@googlegroups.com<thackday%2Bunsu...@googlegroups.com>
Estêvão Samuel Procópio
Ah tá... entendi. Não, não precisa me mandar o banco de dados não. Eu
to querendo mesmo é fazer uma interface para o site, porque me
interessa também por outras razões (Muaaaahuahuahuahuahuaaaa!!)
Andre Lima
blogue dele forem realmente a melhor maneira de obter os dados de quem
doou a quem, o desafio real é raspar isso aí e disponibilizar a API.
Daí, a questão das doações de empresas "escravocratas" sai quase de
graça. Leoni, você tem apenas as informações referentes aos deputados?
Alguém já raspou as outras?
Se realmente tivermos que raspar isso aí, eu programo em Python e
estou a fim de ajudar. Podemos criar um projeto para isso no github.
Podem me adicionar no Google Talk também.
Abraços,
André
2010/1/6 Rafael Calsaverini <rafael.ca...@gmail.com>:
> --
> Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Andre Lima
> (...)
> O problema é que o site não foi feito para interagir com uma máquina,
> mas com um humano. Particularmente:
Por essas e outras que tem o PL 219/03. Se o negócio vingar, vai
facilitar tanto a nossa vida... :c)
Everton Zanella Alvarenga
> Se realmente tivermos que raspar isso aí, eu programo em Python e
> estou a fim de ajudar. Podemos criar um projeto para isso no github.
O gitorious.org também é legal. (e o software deles é livre :-P)
Alguém aqui poderia instalar o software do etherpad.com em algum
servidor? (depois que espalhou a notícia da compra pelo google, o
serviço ficou muito instável)
http://ajaxian.com/archives/etherpad-goes-open-source
http://www.techcrunch.com/2009/12/04/google-acquires-etherpad/
É muito útil para produção colaborativa simultânea (não é a toa que o
google comprou o código dos caras).
Estêvão Samuel Procópio
2010/1/6 Andre Lima <andre...@gmail.com>:
O gitorious.org também é legal. (e o software deles é livre :-P)
> Se realmente tivermos que raspar isso aí, eu programo em Python e
> estou a fim de ajudar. Podemos criar um projeto para isso no github.
Também prefiro o gitorious... tanto q já tenho conta lá :P
Everton, o Live HTTP Headers realmente ajuda... ainda mais com essa bagunça toda de javascript inter-janela... tentei algumas coisas antes, mas só tava conseguindo erro 500 de resposta... depois de olhar os headers, já consegui pegar o HTML com os caras... só falta parsear... :D
Rafael Calsaverini
Rafael Calsaverini
Dep. de Física Geral, Sala 336
Instituto de Física - Universidade de São Paulo
rafael.ca...@gmail.com
http://stoa.usp.br/calsaverini/weblog
CEL: (11) 7525-6222
USP: (11) 3091-6803
Rafael Calsaverini
criei um repositório no gitorious então, para podermos desenvolver isso (poxa, me empolguei) - um API para o site do TSE que permita fácil acesso aos dados e rápida adaptação para as futuras eleições.
Me parece que apenas estão disponíveis os dados para 4 eleições, é isso?
O projeto está em http://gitorious.org/tseapi/tseapi
Não tem nada lá, porque eu realmente não consegui ainda progredir muito. :P Mas vou trabalhar nisso!
---
Rafael Calsaverini
Dep. de Física Geral, Sala 336
Instituto de Física - Universidade de São Paulo
rafael.ca...@gmail.com
http://stoa.usp.br/calsaverini/weblog
CEL: (11) 7525-6222
USP: (11) 3091-6803
Everton Zanella Alvarenga
> consegui pegar o HTML com os caras... só falta parsear... :D
>
> Conhece o BeautifulSoup?? É a melhor coisa que tem para parsear html/xml em
> python. É fantástico.
Foi justamente o Beautiful Soup
<http://www.crummy.com/software/BeautifulSoup/> que acabei descobrindo
(o Edgar que contou, Rafael, hehehe) depois de fazer uns parserzinhos.
Aqui está um exemplo do uso do curl para autenticar no site da Folha
de São Paulo
http://pastebin.mozilla.org/695366
a linha relevante para nós é a 49, onde chamo o curl (eu não usei o
curl do PHP na época, pois o sistema Linux que ia rodar o parser
estava meio às traças). Acho que esse exemplo é suficiente. Tomara que
o formulário do TSE não exija malabarismos.
(Bom, mesmo que eu conhecesse o Beautiful Soup na época - eu queria
fazer em Python -, uma exigência é que tinha que ser em PHP rs)
Diego Rabatone Oliveira
Ai também posso tentar ajudar com o curl e python.
Abs,
--------------------------------
Diego Rabatone Oliveira
Engenharia de Computação - Escola Politécnica - Universidade de São Paulo
Grupo de Estudos de Software Livre da Poli-USP (PoliGNU) - http://polignu.org
diraol_arroba_polignu.org
Twitter: @diraol
"Hacking for the Freedom!"
2010/1/6 Andre Lima <andre...@gmail.com>:
Rafael Calsaverini
Vai precisar de algum malabarismo sim.
---
Rafael Calsaverini
Dep. de Física Geral, Sala 336
Instituto de Física - Universidade de São Paulo
rafael.ca...@gmail.com
http://stoa.usp.br/calsaverini/weblog
CEL: (11) 7525-6222
USP: (11) 3091-6803
Estêvão Samuel Procópio
Tom, dê uma olhada no site do TSE quando tiver uns 5 minutos. Acho que vai ser mais complicado que isso porque em um deles você *não pode escrever diretamente nos campos do formulário*. Os formulários são read-only e são editados interagindo com uma segunda página.
Vai precisar de algum malabarismo sim.
http://pastebin.ca/1741712
Ahh, essa aí é a implementação pro de 2004... pelo pouco que eu vi, parece que funciona pra 2002 também... os outros eu ainda não olhei :/
Abraços...
Estêvão Samuel Procópio
Eduardo Leoni
Fabiano Angélico
Se alguém tiver contatos com comunicadores de Piauí e Sergipe (estados dos outros 2 deputados), seria bom divulgar.
O Leoni parece ter tido êxito nos dados de 2002, 2004 e 2006.
Quanto aos dados de 2008, o Narcelio (http://twitter.com/narcelio) disse ter conseguido. Então o desafio parece estar encerrado... vou escrever sobre, no meu blog, nesta sexta-feira.
Parabéns ao Leoni e ao Narcélio. Como nenhum dos 2 mora em SP, a gente vai ter q consumir a cerveja deles. Ou então, fazemos um tour por EUA (onde esta o Leoni) e BH (terra do Narcélio).
Abraços
De: Eduardo Leoni <e.l...@gmail.com>
Para: thac...@googlegroups.com
Enviadas: Quinta-feira, 7 de Janeiro de 2010 16:54:43
Assunto: Re: [thackday] Re: Desafio
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.
Fabiano Angélico
Fazendeiro lista suja ajudou a eleger Leão (jornal A Tarde, da Bahia)
http://www.lideranca.ba.gov.br/index.asp?site=jornais/ver.asp&codigo=14935&tipo=A%20Tarde
De: Eduardo Leoni <e.l...@gmail.com>
Para: thac...@googlegroups.com
Enviadas: Quinta-feira, 7 de Janeiro de 2010 16:54:43
Assunto: Re: [thackday] Re: Desafio
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.
Narcélio Filho
Descobri hoje esse grupo e fiquei empolgado! Resolvi dormir um pouco
mais tarde pra poder compartilhar algumas ferramentas que fiz no ano
passado, depois que o Fabiano lançou um dos desafios dele. O código
ainda não está muito bom, mas ao menos dá pra usar. Coloquei agora há
pouco no github:
http://github.com/narcelio/thackday
Aí tem um punhado de scripts em Python que consultam a base de doações
do TSE para as campanhas de 2004, 2006 e 2008. A de 2004 não está
funcionando, provavelmente porque alguém mudou algo no servidor do
TSE...
O módulo mais importante é o scraper.py que usa o mechanize e o
BeautifulSoup pra facilitar as consultas à páginas da Web.
No diretório /exemplos/ tem uns shellscripts exemplificando as
consultas na base de 2006 e 2008 por CNPJs e CPFs da lista do Ministério
do Trabalho.
O código é livre (GPL3 e CC2.5). Críticas, sugestões e contribuições
são bem-vindas!
> Na verdade, o Leoni só fez com candidatos a deputado federal nas
> eleições de 2006. Porntanto, para as eleições de 2006, ainda tem os
> candidatos a Presidente, Senador, Governador e Deputado Estaduais de
> 2006. E todos os candidatos em 2002, 2004 e 2008. O desafio não
> acabou.
Rodei o scrap com a lista para a campanha de 2008. O resultado está
aqui:
http://github.com/narcelio/thackday/blob/master/exemplos/resultado-2008.csv
--
[]s, Narcélio
Rafael Calsaverini
Você fez o que a gente tava planejando fazer esses dias: um API para o site do TSE!!!
---
Rafael Calsaverini
Dep. de Física Geral, Sala 336
Instituto de Física - Universidade de São Paulo
rafael.ca...@gmail.com
http://stoa.usp.br/calsaverini/weblog
CEL: (11) 7525-6222
USP: (11) 3091-6803
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Narcélio Filho
> Você fez o que a gente tava planejando fazer esses dias: um API para o
> site do TSE!!!
Sim! Sinta-se à vontade para copiá-lo para o gitorious, modificá-lo
etc...
Agora vou implementar o scraper para 2002, ver se melhoro a interface
e corrigir alguns erros de encoding.
Os resultados que obtive para a lista do Fabiano estão aqui:
http://github.com/narcelio/thackday/tree/master/exemplos/
São os arquivos "resultado-200*.csv"
--
[]s, Narcélio
Pedro Markun
desculpe a demora =)
Mais alguém topa moderar isso aqui? Tom?
abs,
Pedro Markun
2010/1/8 Narcélio Filho <narc...@gmail.com>:
Everton Zanella Alvarenga
parabéns! Parabéns também ao Leoni pelas contribuições! Quando vierem
para São Paulo, avisem para eu pagá-los (espero que não se importem em
dividir a cerveja :-D). Se eu for onde estiverem, também os
informarei.
Pedro,
posso *tentar* ajudar, já que trampo praticamente o tempo todo na
frente de um computador, mas estou envolvido em muitas coisas e meu
tempo anda bem curto.
[]'s,
Tom
2010/1/8 Pedro Markun <pe...@esfera.mobi>:
Lilian Starobinas
Então pergunto sobre um 2o desafio, que provavelmente é bem mais fácil do que eu poderia imaginar e já há acessível...
No ano passado, um pessoal dos Sindicatos dos Trabalhadores Rurais de SP comentou que seria bem interessante se tivessem acesso à relação de empresas que estão em falta com o pagamento de direitos trabalhistas no Estado.
Alguém conhece se isso é público e acessível?
abços e feliz 2010
Lilian Starobinas
--
Lilian Starobinas
http://discursocitado.blogspot.com
@liliansta
Fabiano Angélico
De: Everton Zanella Alvarenga <evert...@gmail.com>
Para: thac...@googlegroups.com
Enviadas: Sábado, 9 de Janeiro de 2010 14:21:46
Assunto: Re: [thackday] Desafio
>> Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.
>>
>>
>>
>>
>
> --
> Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.
>
>
>
>
--
http://blogdotom.wordpress.com/sobre
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Jailton Lopes
--
--Jailton Lopes
Fabiano Angélico
Pois o Ministério da Previdência divulgava, até fins de 2008, uma lista da dívida ativa: emprsas que recolhiam o imposto previdenciário de seus funcionários, mas não repassavam à Previdência Social; um dos tipos mais torpes de sonegação de impostos.
O Pedro Valente chegou a publicar a lista de dezembro de 2008: http://www.pedrovalente.com/2009/03/20/desafio-2-senadores-caloteiros/ Ele até a organizou por montantes devidos.
(aliás, há um desafio não encerrado, lançado pelo Pedro Valente no ano passado: tentar ver quem são os parlamentares brasileiros que estão no cadastro da dívid ativa previdenciária)
No entanto, ao longo de todo o ano passado, o Ministério da Previdência deixou de publicar tal relação. Vejam o que aparece no site: http://www.previdencia.gov.br/conteudoDinamico.php?id=228
Seria conveniente mandarmos emails em massa reclamando da falta de transparência deste órgão.
Abrçs
De: Jailton Lopes <jai...@gmail.com>
Para: thac...@googlegroups.com
Enviadas: Domingo, 10 de Janeiro de 2010 23:27:13
Assunto: Re: [thackday] Desafio
Mesmo sendo a minha primeira mensagem, eu topo :)
On Friday, January 8, 2010, Pedro Markun <pe...@esfera.mobi> wrote:
> Opa,
>
> desculpe a demora =)
>
> Mais alguém topa moderar isso aqui? Tom?
>
> abs,
> Pedro Markun
>
> 2010/1/8 Narcélio Filho <narc...@gmail.com>:
>> Ah! Finalmente os moderadores me liberaram! `:^)
>>
>>
>>> Você fez o que a gente tava planejando fazer esses dias: um API para o
>>> site do TSE!!!
>>
>> Sim! Sinta-se à vontade para copiá-lo para o gitorious, modificá-lo
>> etc...
>>
>> Agora vou implementar o scraper para 2002, ver se melhoro a interface
>> e corrigir alguns erros de encoding.
>>
>>
>> Os resultados que obtive para a lista do Fabiano estão aqui:
>>
>> http://github.com/narcelio/thackday/tree/master/exemplos/
>>
>> São os arquivos "resultado-200*.csv"
>>
>>
>> --
>> []s, Narcélio
>>
>>
>> --
>> Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
>> Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.
>>
>>
>>
>>
>
--
--Jailton Lopes
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.