Divida ativa previdenciária
35 views
Skip to first unread message
Fabiano Angélico
Nov 17, 2010, 1:42:02 PM11/17/10
to thac...@googlegroups.com
| Caros: Alguma boa alma estaria disposta a coletar a lista dos devedores da Previdência Social e colocar tudo num lugar só? A lista está acessível a partir daqui http://www2.pgfn.fazenda.gov.br/ecac/contribuinte/login.jsf (em "Lista de Devedores") Mas tem um mecanismo anti-robô. E os dados estao separados por letras. Cada letra tem várias páginas Eis do quê se trata: "A Lista de Devedores, regulamentada pela Portaria PGFN nº 642, de 01 de abril de 2009, apresenta a relação das pessoas, físicas e jurídicas, que possuam débitos com a Fazenda Nacional inscritos em dívida ativa da União, na condição de devedor principal, co-responsável e solidário. Não estão relacionados aqui devedores que tenham crédito com exigibilidade suspensa ou que tenham ação ajuizada com o objetivo de discutir a natureza da obrigação ou seu valor, com o oferecimento de garantia idônea e suficiente ao Juízo, na forma da lei." Fabiano Angélico Twitter: @fangelico Blog: Notas Soltas (http://algumasnotassoltas.wordpress.com) Facebook: fabiano.angelico Skype: fabiano.angelico (55) 11-8270.3020 |
Fernando Brito
Nov 17, 2010, 7:49:55 PM11/17/10
to Transparência Hacker
Estou fazendo a coleta.
Dentro de mais ou menos 1 ou 2 horas eu coloco o .csv aqui.
Abraços,
Fernando Brito
Dentro de mais ou menos 1 ou 2 horas eu coloco o .csv aqui.
Abraços,
Fernando Brito
Fernando Brito
Nov 17, 2010, 8:00:21 PM11/17/10
to Transparência Hacker
Na verdade, fazendo as contas mesmo:
Letra A
222.091 registros
20 registros por página = 11.104 páginas
1 segundo por página = 11.104 segundos
11.104 segundos / 60 = 185 minutos
185 minutos / 60 = 3 horas
3 horas para a letra A, se nada der errado :)
E olha que eu que estou sendo otimista com 1 segundo por página. A
média aqui está sendo entre 2 ou 3 segundos.
Enquanto isso... você já tentou pedir esses dados diretamente para
eles?
Abraços,
Fernando Brito
Letra A
222.091 registros
20 registros por página = 11.104 páginas
1 segundo por página = 11.104 segundos
11.104 segundos / 60 = 185 minutos
185 minutos / 60 = 3 horas
3 horas para a letra A, se nada der errado :)
E olha que eu que estou sendo otimista com 1 segundo por página. A
média aqui está sendo entre 2 ou 3 segundos.
Enquanto isso... você já tentou pedir esses dados diretamente para
eles?
Abraços,
Fernando Brito
Fabiano Angélico
Nov 17, 2010, 8:09:03 PM11/17/10
to thac...@googlegroups.com
| Fernando: Sim, pedi. Disseram-me que o dado já era público e que não dava para fazer mais do que isso. Quando eu disse, sim, dava pra fazer melhor, a moça retrucou,em tom de deboche: "então vc quer que facilite para vc?". No que eu retruquei: "sim, é óbvio". Não adiantou. O tom era mesmo de: "já estamos fazendo muito, não nos moveremos mais um milímetro" |
Fabiano Angélico Twitter: @fangelico Blog: Notas Soltas (http://algumasnotassoltas.wordpress.com) Facebook: fabiano.angelico Skype: fabiano.angelico (55) 11-8270.3020 |
| --- Em qua, 17/11/10, Fernando Brito <ferna...@gmail.com> escreveu: |
|
Pedro Markun
Nov 17, 2010, 8:48:33 PM11/17/10
to thac...@googlegroups.com
Pô,
precisava gravar essas conversas.
A titulo de curiosidade... se eu gravar uma conversa minha com alguém no telefone eu *tenho* que avisar que estou gravando?
abs,
Pedro Markun
Pedro Markun
2010/11/17 Fabiano Angélico <fabiano...@yahoo.com.br>
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Diego Casaes
Nov 17, 2010, 8:52:35 PM11/17/10
to thac...@googlegroups.com
Depende do que você vai fazer com isso ;-)
Se for uma matéria jornalística a gente pode usar uns truques pra passar isso.
Se for pra apresentar num processo jurídico o juiz provavelmente não aceitará o arquivo.
--
Se for uma matéria jornalística a gente pode usar uns truques pra passar isso.
Se for pra apresentar num processo jurídico o juiz provavelmente não aceitará o arquivo.
2010/11/17 Pedro Markun <pe...@esfera.mobi>
--
Diego Casaes
+55 11 9343-6978 | +55 11 3151-5075
Esfera (Casa da Cultura Digital)
Follow me on Twitter: @casaesdiego
For updates in Portuguese, follow @diegocasaes
Fernando Brito
Nov 18, 2010, 9:48:36 AM11/18/10
to Transparência Hacker
Hm, olha só que interessante: ontem eu disse que a letra A tinha
222.091 registros. Hoje ela tem 222.109!
Será que esses dados são atualizados diariamente?
Para o fim que você tinha em mente, quão recente precisa ser os dados?
Eu tinha feito um sistema simples, que quando dava problemas de
conexão/timeout na página X, continuava de lá, mas isso é ineficaz
pois qualquer atualização quebra a paginação que eu estava usando.
Acho que seria melhor gastar os esforços tentando quebrar o captcha
(que não parece ser tão complicado), ao invés de scrappear todos os
dados. Mesmo tendo todas as informações do nosso lado, as consultas
seriam feita via CPF/CNPJ, não é?
Preciso entender o que você tem em mente com esses dados. :P
Abraços,
Fernando Brito
222.091 registros. Hoje ela tem 222.109!
Será que esses dados são atualizados diariamente?
Para o fim que você tinha em mente, quão recente precisa ser os dados?
Eu tinha feito um sistema simples, que quando dava problemas de
conexão/timeout na página X, continuava de lá, mas isso é ineficaz
pois qualquer atualização quebra a paginação que eu estava usando.
Acho que seria melhor gastar os esforços tentando quebrar o captcha
(que não parece ser tão complicado), ao invés de scrappear todos os
dados. Mesmo tendo todas as informações do nosso lado, as consultas
seriam feita via CPF/CNPJ, não é?
Preciso entender o que você tem em mente com esses dados. :P
Abraços,
Fernando Brito
Fabiano Angélico
Nov 19, 2010, 8:19:33 AM11/19/10
to thac...@googlegroups.com
| Fernando: a ideia é ter essa lista para 1) cruzar com outras bases de dados e 2) para enriquecer a discussão sobre o déficit da Previdência. 1) Por exemplo: seria interessante ver se essas empresas que devem dinheiro para a Previdência financiaram políticos? Se sim, precisamos ficar de olho nesses políticos, para que eles não aprovem leis que beneficiem sonegadores de impostos. 2) Sempre se fala em déficit da Previdência e em aumentar a idade mínima para a aposentadoria e cortar benficios de aposentados e talz... Mas pouca gente analisa a questão do déficit pelo lado dos débitos. Se o governo for atrás de todo mundo que deve à Previdência, a situação do déficit fica menos periclitante? Não sei, é uma hipótese... |
Fabiano Angélico Twitter: @fangelico Blog: Notas Soltas (http://algumasnotassoltas.wordpress.com) Facebook: fabiano.angelico Skype: fabiano.angelico (55) 11-8270.3020 |
| --- Em qui, 18/11/10, Fernando Brito <ferna...@gmail.com> escreveu: |
|
Liane Lira
Nov 19, 2010, 10:02:59 AM11/19/10
to thac...@googlegroups.com
Sobre a parte da gravação da conversa:
Se a gravação que prova uma irregularidade é feita por um dos interlocutores, é lícita e não precisa de autorização do outro, mesmo para divulgação jornalística. Se não me engano chama "jornalismo denunciativo".
O que não pode é a gravação por um terceiro, que configura interceptação.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Pedro Markun
Nov 19, 2010, 10:07:29 AM11/19/10
to thac...@googlegroups.com
Saquei.
Minha idéia é na verdade começar a fazer esses contatos com os senadores para cobrar um posicionamento sobre a lei de Acesso a Informação e com os deputados para cobrar posicionamento sobre a Lei Azeredo.
Mas queria documentar isso.
abs,
Pedro Markun
2010/11/19 Liane Lira <lian...@gmail.com>
Fernando Brito
Nov 19, 2010, 12:44:58 PM11/19/10
to Transparência Hacker
De qualquer forma eu ainda estou puxando os dados.
Fiz algumas melhorias no código e já peguei a letra T, U, V, W, X, Y,
Z e OUTROS.
Vou organizar um projeto no GitHub para disponibilizar o código e
os .csv, ok?
Abraços,
Fernando Brito
Fiz algumas melhorias no código e já peguei a letra T, U, V, W, X, Y,
Z e OUTROS.
Vou organizar um projeto no GitHub para disponibilizar o código e
os .csv, ok?
Abraços,
Fernando Brito
Narcélio Filho
Nov 19, 2010, 9:36:16 PM11/19/10
to thac...@googlegroups.com
> Acho que seria melhor gastar os esforços tentando quebrar o captcha
> (que não parece ser tão complicado), ao invés de scrappear todos os
> dados.
> (que não parece ser tão complicado), ao invés de scrappear todos os
> dados.
O captcha dessa página não é difícil de quebrar. Fiz uns testes aqui e
vi que o GNU Ocrad quebra boa parte deles.
Comandos do Ubuntu:
wget 'http://www2.pgfn.fazenda.gov.br/ecac/jcaptcha' -O captcha.jpg
convert captcha.jpg captcha.pnm
ocrad -e letters_only -c ascii -l 2 captcha.pnm
Colocar captcha em dados públicos é realmente um absurdo.
--
[]s, Narcélio
Fernando Brito
Nov 23, 2010, 2:24:11 AM11/23/10
to Transparência Hacker
Pessoal,
Acabei gostando do desafio e estou seguindo em frente.
Fiz diversas modificações no meu código e ele está mais rápido e
falhando bem menos agora. Já obtive as letras Q, R, S, T, U, V, W, X,
Y, Z e OUTROS.
Criei um repositório no GitHub para ir colocando os dados e o script
que faz o scrapping [1].
Na verdade eu ainda estou fazendo uns últimos ajustes para
disponibilizar a primeira versão do código.
Como também não tenho todas as letras, não há muito para se ver no
repositório, mas assim que eu tiver todas as letras irei criar um
webservice para consulta e criar um único arquivo csv.
Abraços,
Fernando Brito
[1] = https://github.com/fernandobrito/devedores-pgfz/
Acabei gostando do desafio e estou seguindo em frente.
Fiz diversas modificações no meu código e ele está mais rápido e
falhando bem menos agora. Já obtive as letras Q, R, S, T, U, V, W, X,
Y, Z e OUTROS.
Criei um repositório no GitHub para ir colocando os dados e o script
que faz o scrapping [1].
Na verdade eu ainda estou fazendo uns últimos ajustes para
disponibilizar a primeira versão do código.
Como também não tenho todas as letras, não há muito para se ver no
repositório, mas assim que eu tiver todas as letras irei criar um
webservice para consulta e criar um único arquivo csv.
Abraços,
Fernando Brito
[1] = https://github.com/fernandobrito/devedores-pgfz/
Pedro Markun
Nov 23, 2010, 6:21:04 AM11/23/10
to thac...@googlegroups.com
Fernando,
rola rodarmos seu script em paralelo? Com outras letras? Ou a forma do script não permitiria? Podemos fazer um mutirão rápido.
abs,
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Fernando Brito
Dec 4, 2010, 12:08:32 PM12/4/10
to Transparência Hacker
Olá,
Eu movi a página para o repositório THacker do GtiHub:
https://github.com/thacker/devedores-pgfz
Os dados já estão quase completos... só falta uns 15% da letra A.
Os .csv separados por letra estão aqui: https://github.com/thacker/devedores-pgfz/tree/master/csv/
Assim que eu acabar eu junto tudo em um .csv só e aviso aqui.
Agora só fica faltando uma api (Webservice?) para consultar os dados.
Abraços,
Fernando Brito
Eu movi a página para o repositório THacker do GtiHub:
https://github.com/thacker/devedores-pgfz
Os dados já estão quase completos... só falta uns 15% da letra A.
Os .csv separados por letra estão aqui: https://github.com/thacker/devedores-pgfz/tree/master/csv/
Assim que eu acabar eu junto tudo em um .csv só e aviso aqui.
Agora só fica faltando uma api (Webservice?) para consultar os dados.
Abraços,
Fernando Brito
Fabiano Angélico
Dec 4, 2010, 5:03:15 PM12/4/10
to thac...@googlegroups.com
| Grande trabalho, Fernando! |
Fabiano Angélico Twitter: @fangelico Blog: Notas Soltas (http://algumasnotassoltas.wordpress.com) Facebook: fabiano.angelico Skype: fabiano.angelico (55) 11-8270.3020 |
| --- Em sáb, 4/12/10, Fernando Brito <ferna...@gmail.com> escreveu: |
|
|
|
Fernando Brito
Dec 6, 2010, 8:34:03 PM12/6/10
to Transparência Hacker
Demorei, mas finalmente acabei :)
No total o arquivo .csv com todos os devedores contém 1.838.449 linhas
e pesa 86 MB.
Graças aos milagres dos algoritmos de compressão, o pacote para
download ficou com 27.4 MB.
Aqui o link: https://github.com/downloads/thacker/devedores-pgfz/tudo.tar.gz
Ele contém o arquivo .csv e um .txt mostrando as datas que cada letra
foi puxada do site da procuradoria.
O repositório está aqui: https://github.com/thacker/devedores-pgfz
Agora só falta criar uma API local e um webservice, além de atualizar
de tempos em tempos.
Espero que seja útil para alguém. :D
Abraços,
Fernando Brito
No total o arquivo .csv com todos os devedores contém 1.838.449 linhas
e pesa 86 MB.
Graças aos milagres dos algoritmos de compressão, o pacote para
download ficou com 27.4 MB.
Aqui o link: https://github.com/downloads/thacker/devedores-pgfz/tudo.tar.gz
Ele contém o arquivo .csv e um .txt mostrando as datas que cada letra
foi puxada do site da procuradoria.
O repositório está aqui: https://github.com/thacker/devedores-pgfz
Agora só falta criar uma API local e um webservice, além de atualizar
de tempos em tempos.
Espero que seja útil para alguém. :D
Abraços,
Fernando Brito
Vítor Baptista
Dec 7, 2010, 11:13:15 AM12/7/10
to thac...@googlegroups.com
Ficou massa, Fernando. Só uma sugestão: usa o .tar.xz. Só baixar o pacote lzma-utils (ou coisa parecida). O tamanho deve diminuir muito mais...
> --
> Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Rogelio Amorim
Jan 15, 2011, 1:30:00 PM1/15/11
to thac...@googlegroups.com
Apenas ressucitando o tópico...
Fernando,
Gostaria de te parabenizar pelo trabalho.
Usei esses dados no meu trabalho no governo do ES e, cruzando com a lista de licitantes, identifiquei vários fornecedores do Estado inscritos em dívida ativa.
Para validar, tentei tirar a cnd pela internet (receita federal e inss) e muitos deles foram confirmados. Em alguns, o sistema emitiu a "certidão positiva com efeitos de negativa".
Agora iremos fazer diversas auditorias nos órgãos para identificar porque tais fornecedores foram contratados.
No relatório e apresentações, colocarei os créditos.
[ ]`s
Abraços,
Fernando Brito
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Fabiano Angélico
Jan 15, 2011, 2:31:12 PM1/15/11
to thac...@googlegroups.com
| Rogélio: Se possível, coloque o relatório e as apresentações aqui na lista, quando estiverem prontos Parabéns pelo trabalho |
Fabiano Angélico Twitter: @fangelico Blog: Notas Soltas (http://algumasnotassoltas.wordpress.com) Facebook: fabiano.angelico Skype: fabiano.angelico (55) 11-8270.3020 |
| --- Em sáb, 15/1/11, Rogelio Amorim <rogelio...@gmail.com> escreveu: |
Rogelio Amorim
Jan 15, 2011, 4:38:19 PM1/15/11
to thac...@googlegroups.com
Ok. Infelizmente alguns gestores ainda acham que os relatórios de auditoria nos órgãos públicos não devem ser publicados.
Mas as apresentações que forem feitas ao público, com certeza irei disponibilizar.
Reply all
Reply to author
Forward
0 new messages