[thackdaydf] ONE - Olho nas Emendas - Planilha contendo 705 emendas já está pronta. Falta completar e corrigir restantes

[Demoulidor Ciberdemocrático]

Atenção Leonardo Oliveira e Diego Ramalho,

Terminamos a raspagem dos PDFs das Emendas Distritais do DF para a LOA 2012.
Está em anexo e em um XLS em: http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento_1a8raspadosEm2012-12-10Classificados.xls

Com estas cento e pouca linhas corrigidas poderemos disponibilizar as 801 emenda no Mapa Ushahidi e possibilitar os acompanhamentos contábeis e físicos da entrega à população de Obras e serviços obtidos com os valores das emendas Distritais à LOA 2012 durante o próximo ano.
http://cldf.thackdaydf.com.br/emendas/

Proponho o seguinte,

1.Prepararei o CSV para importar as 685 Emendas que não precisam de correção como relatos no Ushahidi.

Agora trabalho para planilheiros e gramatiqueiros voluntários (Aqueles colegas que estavam no IFC no HackDay ajudariam?):

2.Alguém corrige as cerca de 20 emendas que foram raspadas parcialmente e estão na planilha marcadas de amarelo.
Os PDFs e DOCs das emendas estão na pasta: http://adoteumdistrital.com.br/arquivos/emendas2012/
Por exemplo, para acessar as emendas de No 001 à 100 clique no arquivo:
http://adoteumdistrital.com.br/arquivos/emendas2012/dcl-2011-11-23-suplemento1.doc
ou
http://adoteumdistrital.com.br/arquivos/emendas2012/dcl-2011-11-23-suplemento1.pdf

3.Alguém complementa as 54 emendas faltantes marcadas nas linhas cinza e menores que 701.

4.Deixa as emendas de No 701 à 801 comigo que eu vou tentar raspar novamente o arquivo http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento8.txt

Com relação à Geolocalização das RAs o Luiz Carlos conseguiu pesquisar uma a uma as coordenadas Google e eu já as inseri no nosso Ushahidi.
O Luis também cadastrou os Deputados como categorias no Ushahidi.

É isso aí. Estamos caminhando.

Abraços diretodemocráticos!

Demoulidor

---------- Mensagem encaminhada ----------
De: Demoulidor Ciberdemocrático <demou...@gmail.com>
Data: 10 de dezembro de 2011 05:17
Assunto: Re: [thackdaydf] [Maratona Hacker em Brasília 2011] Software pra automatizar extração de dados em arquivos texto. Alguém conhece algum?
Para: thack...@lists.riseup.net
Cc: thac...@googlegroups.com, Ricardo Augusto Poppi Martins <ricardo...@presidencia.gov.br>, diegoramalho2005 <diegoram...@gmail.com>, Leonardo Oliveira - Ability - DF <leonardo...@abilitytrademarketing.com.br>, rica...@gmail.com, diraol <dir...@diraol.eng.br>


Valeu Diego Rabatone ,

Conseguimos raspar todos os não textuais arquivos PDF das Emendas Distritais à LOA de 2012!!!
Dei uma arredondada no seu loop pra varrer os arquivos e funcionou:
https://scraperwiki.com/scrapers/raspador_de_texto_das_emendas_parlamentares_do_df_/
Haviamos previsto recuperar cerca de 80% das emendas. Melhor que o previsto, das 801 emendas, foi possível raspar cerca de 705 emendas. ISto dá cerca de 88% de eficiência ao código. Destas 705 ainda há sujeira em umas 10 que devem ser corrigidas manualmente.
Para completar a lista das 801 emendas precisaremos copiar do PDF do OCR e colar na panilha cerca de 96 Emendas e complementar dados que faltou em uma ou outra das 705 Emendas.


Diego Ramalho,

Cadê o pessoal bom de texto e de planilha pra arredondar o nosso .XLS de Emendas?
Segue em anexo o melhor .XLS que conseguimos gerar até agora com as raspagens Scraperwiki.
O arquivo também pode ser baixado em:
http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento_1a8raspadosEm2012-12-10.xls

Legenda de cores na planilha:

Linhas faltantes estão pintadas da cor cinza.
Células em amarelo precisam de correções no seu texto.
Vermelhas são as que parecem estar com Número de Emenda duplicados
Em laranja estão as fora de ordem ou com Número de Emenda errado.

Com estas cento e pouca linhas corrigidas poderemos disponibilizar as 801 emenda no Mapa Ushahidi e possibilitar os acompanhamentos contábeis e físicos da entrega à população de Obras e serviços obtidos com os valores das emendas Distritais à LOA 2012 durante o próximo ano.
http://cldf.thackdaydf.com.br/emendas/


Leo,
Cadê a planilha com as coordenadas GoogleMaps das RAs do DF pra gente customizar o Mapa do nosso Ushahidi "Olho nas Emendas"?
Você tem ou não tem?

Mandem aí que eu coloco tudo no nosso Ushahidi. Se não tiverem como avisem que a gente encontra outro geito de ter as planilhas.

Abraços Ciberdemocráticos!

Denis
t: @demoulidor
Skype: demoulidor

"Se todo o poder emana do povo (§único do Art. 1º da CF1988)
Então que venha a Democracia Direta via Internet
 e o povo diretamente fiscalize e delibere leis e as realize
por força de ações no mundo virtual para o real"!

http://bigbangmicrocosmico.blogspot.com
http://thacker.com.br/hacker/demoulidor
http://www.facebook.com/profile.php?id=100002478571223

Em 6 de dezembro de 2011 19:22, Diego Rabatone <dir...@diraol.eng.br> escreveu:

Bem, dei uma alterada nas coisas por lá pra tentar por o scraper pra rodar em todos os arquivos (um loop básico).
Mandei rodar pra ver se funciona, ainda não terminou (mas pelo menos não deu erro rs)
Confiram se está tudo certo!
--------------------------------
Diego Rabatone Oliveira
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

2011/12/6 Demoulidor Ciberdemocrático <demou...@gmail.com>

Blz Galera.
Outra boa notícia:
Todos os dados das emendas já estão podendo ser gerados em:
               https://scraperwiki.com/scrapers/raspador_de_txt_das_emendas_parlamentares_do_df_20/
Este eu rodei em cima do http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento2.txt
Falta só rodar apontando para os outros 7 arquivos Texto, a saber:
http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento1.txt
http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento3.txt
http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento4.txt
http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento5.txt
http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento6.txt
http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento7.txt
http://adoteumdistrital.com.br/arquivos/dcl-2011-11-23-suplemento8.txt

De Dados para o ONE (Olho Nas Emendas) Agora Falta só:
 1. Trabalhar no scraperwiki acima para ele extrair de uma vez só dos 8(oito) arquivos texto dcl-2011-11-23-suplemento?.txt
 2. Trabalhar na https://scraperwiki.com/scrapers/raspador_de_texto_das_emendas_parlamentares_do_df_/ para gerar os CSVs no formato do Ushahidi para criar nele um relato por Emenda.
 3. Cadastrar no MySql do nosso Ushahidi as RAs do DF que estão geolocalizadas na planilha do Leo

Quem topa me ajudar em alguma destas tarefas?

Abraços Diretodemocráticos!

Denis

Em 5 de dezembro de 2011 23:59, Ricardo Poppi <rica...@gmail.com> escreveu:

feito galera, joguei a nova versão no gitorious e no servidor de produção. amanhã configuro o ftp pro mishima trabalhar, mas assim que eu estiver em bsb vamos marcar um papo pra todo mundo poder trabalhar no git

Abcs!

Em 5 de dezembro de 2011 18:16, André Filipe de Assunção e Brito <de...@ufpr.br> escreveu:

ok ok

2011/12/5 Demoulidor Ciberdemocrático <demou...@gmail.com>:

> Brito acho que não precisa. O Poppi vai sobrescrever o do nosso servidor com
> o ushahidi matriz de última release.
>
> Denis
>
> Em 5 de dezembro de 2011 13:24, André Brito <brit...@gmail.com> escreveu:
>
>> Irado!!!!
>>
>> Já estou fazendo um merge request pra voltar ao estado anterior do
>> ushahidi. Algo deu errado e ele não esta rodando.
>>
>> Em segunda-feira, 5 de dezembro de 2011, Demoulidor
>> Ciberdemocrático<demou...@gmail.com> escreveu:
>>
>> > \0/ Conseguiiiii!!!
>> > Resolvido o problema da encodificação.
>> > Foi mais simples que pensei.
>> > Bastou gerar novamente o TXT no próprio (Urg!)MicrosoftOffice salvando
>> > no formato TextPlain na encodificação UTF-8.
>> > O nosso arquivo anterior estava salvo na encodificação Windows.
>> >
>> > Acessem
>> > https://scraperwiki.com/scrapers/raspador_de_texto_das_emendas_parlamentares_do_df_/
>> > para ver os dados via Sqlite e baixar o CSV.
>> >
>> > Abraços!
>> >
>> > Demoulidor
>> >
>> > Em 2 de dezembro de 2011 21:11, Diego Rabatone <dir...@diraol.eng.br>
>> > escreveu:
>> >
>> > Aqui tem vários scrapers que vocês podem consultar (acho que tem algo
>> > com UTF8):
>> > https://scraperwiki.com/profiles/diraol/
>> > https://scraperwiki.com/profiles/markun/
>> >
>> >
>> > 2011/12/2 FBP . <felip...@hotmail.com>
>> >
>> > Muito bem, Denis e colaboradores!
>> > Vamos conseguir!
>> > FBP!!!
>> >
>> > ________________________________
>> > Date: Fri, 2 Dec 2011 17:10:26 +0000
>> > From: demou...@gmail.com
>> > To: thack...@lists.riseup.net
>> > CC: christi...@gmail.com
>> > Subject: Re: [thackdaydf] Re: [thackday] [Maratona Hacker em Brasília
>> > 2011] Software pra automatizar extração de dados em arquivos texto. Alguém
>> > conhece algum?
>> >
>> > Bingo!!!
>> > Tirei os acentos e o erro sumiu.
>> >
>> > Agora tô com o erro: SqliteError: Binary strings must be utf-8 encoded
>> > Como eu consigo garantir a formatação de todos os parämetros para a
>> > encodificação UTF-8???
>> >
>> > VAleus!!!
>> > Denis
>> >
>> > Em 2 de dezembro de 2011 17:02, Christian Moryah
>> > <christi...@gmail.com> escreveu:
>> >
>> > achei o codigo do sqlite que faz essa verificação:
>> >
>> >  if not re.match("[a-zA-Z0-9_\- ]+$"
>> >
>> >
>> > --
>> >
>> > Denis
>> > t: @demoulidor
>> > Skype: demoulidor
>> >
>> > "Se todo o poder emana do povo (§único do Art. 1º da CF1988)
>> > Então que venha a Democracia Direta via Internet
>> >  e o povo diretamente fiscalize e delibere leis e as realize
>> > por força de ações no mundo virtual para o real"!
>> >
>> > http://bigbangmicrocosmico.blogspot.com
>> > http://thacker.com.br/hacker/demoulidor
>> > http://www.facebook.com/profile.php?id=100002478571223
>> > http://www.orkut.com.br/Main#Profile?uid=1425937966297924185
>> >
>>
>> --
>> André Filipe de Assunção e Brito
>> Coordenadoria de Articulação Intergovernamental
>> Secretaria de Estado de Governo
>> Governo do Distrito Federal
>> 61 78129408
>> ID: 55*133*2058
>
>
>
>
> --
>
> Denis
> t: @demoulidor
> Skype: demoulidor
>
> "Se todo o poder emana do povo (§único do Art. 1º da CF1988)
> Então que venha a Democracia Direta via Internet
>  e o povo diretamente fiscalize e delibere leis e as realize
> por força de ações no mundo virtual para o real"!
>
> http://bigbangmicrocosmico.blogspot.com
> http://thacker.com.br/hacker/demoulidor
> http://www.facebook.com/profile.php?id=100002478571223
> http://www.orkut.com.br/Main#Profile?uid=1425937966297924185
>
>



--
André Filipe de Assunção e Brito

Graduando em Oceanografia
Centro de Estudos do Mar / UFPR
twitter.com/decko

--

Denis
t: @demoulidor
Skype: demoulidor

"Se todo o poder emana do povo (§único do Art. 1º da CF1988)
Então que venha a Democracia Direta via Internet
 e o povo diretamente fiscalize e delibere leis e as realize
por força de ações no mundo virtual para o real"!

http://bigbangmicrocosmico.blogspot.com
http://thacker.com.br/hacker/demoulidor
http://www.facebook.com/profile.php?id=100002478571223
http://www.orkut.com.br/Main#Profile?uid=1425937966297924185

--

--

Denis
t: @demoulidor
Skype: demoulidor

"Se todo o poder emana do povo (§único do Art. 1º da CF1988)
Então que venha a Democracia Direta via Internet
 e o povo diretamente fiscalize e delibere leis e as realize
por força de ações no mundo virtual para o real"!

http://bigbangmicrocosmico.blogspot.com
http://thacker.com.br/hacker/demoulidor
http://www.facebook.com/profile.php?id=100002478571223
http://www.orkut.com.br/Main#Profile?uid=1425937966297924185