É possível extrair esses dados?

50 views
Skip to first unread message

teste

unread,
May 23, 2011, 11:18:41 AM5/23/11
to thac...@googlegroups.com
Olá pessoal, 

Gostaria de saber se é possível extrair todos os comprovantes de inscrição cadastral das empresas de determinada cidade e organizar por exemplo em uma tabela. O site é: http://www.govdigital.com.br/comprovanteInscricaoCadastral.action
Escolha por exemplo a cidade de Poços de Caldas e coloque o CNPJ: 17416264000123

Possível ou impossível?

Aguardo resposta.

Pedro Markun

unread,
May 23, 2011, 11:28:54 AM5/23/11
to thac...@googlegroups.com
Putz,

o galho desse tipo de sistema é que você precisa informar o CNPJ, não tem uma lista... e ir chutando simplesmente é meio insano.

abs,
Pedro Markun

2011/5/23 teste <udn...@gmail.com>
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.

Duke

unread,
May 23, 2011, 11:29:38 AM5/23/11
to thac...@googlegroups.com
É possível sim, pelo o que eu vi é HTML, poderia ter problema para criar uma sessão, eu pelo menos nunca precisei nos meus hacks, então, não sei a dificuldade disso.

Sent from iPhone

Emerson Vinicius (Duke)
11 7030-9216

--

Pedro Rocha

unread,
May 23, 2011, 11:29:29 AM5/23/11
to thac...@googlegroups.com
"Teste", eu olhei rapidamente ali e vi que é possível sim. Acho que aquele Scraperwiki não faz(ele consegue fazer login em sistemas?), mas com alguém que conheça qualquer linguagem de programação, isso ai sai ;)

abs,
Pedro Rocha

-------------
skype: pedrorocha.net - Drupal Services



2011/5/23 teste <udn...@gmail.com>
--

udntkwi

unread,
May 23, 2011, 11:37:23 AM5/23/11
to thac...@googlegroups.com
Pessoal, eu não sou programador, não sei a dificuldade em extrair essas informações. O Duke disse ser possível. Eu realmente gostaria de ver esses dados organizados em um formato aberto, tabela por exemplo. Se alguém tiver interesse em tentar, ficaria agradecido.
Os dados que eu gostaria é da cidade de Unaí.
Alguém?

Vítor Baptista

unread,
May 23, 2011, 11:36:45 AM5/23/11
to thac...@googlegroups.com
Duke/Pedro,

Por curiosidade, como vocês fariam pra resolver o problema levantado pelo Markun, de precisar do CPF/CNPJ das empresas?

Abraços,

2011/5/23 Pedro Rocha <pedrogo...@gmail.com>



--
Vítor Baptista

Nitai Silva

unread,
May 23, 2011, 11:39:44 AM5/23/11
to thac...@googlegroups.com
É um pouco insano mesmo chutar, os números. Mas só pra aumentar as
esperanças, os dois últimos dígitos são verificadores e os outros 3,
quase sempre "0001" é algo sobre filial. Talvez exista padrão pros
outros, inclusive pq é pra uma cidade específica.

[]s

On Monday, May 23, 2011, Duke <duke...@gmail.com> wrote:
> É possível sim, pelo o que eu vi é HTML, poderia ter problema para criar uma sessão, eu pelo menos nunca precisei nos meus hacks, então, não sei a dificuldade disso.
>
> Sent from iPhone
> Emerson Vinicius (Duke)11 7030-9216evinicius.com
>
> On 23/05/2011, at 12:18, teste <udn...@gmail.com> wrote:
>
> Olá pessoal,

> Gostaria de saber se é possível extrair todos os comprovantes de inscrição cadastral das empresas de determinada cidade e organizar por exemplo em uma tabela. O site é: http://www.govdigital.com.br/comprovanteInscricaoCadastral.actionEscolha por exemplo a cidade de Poços de Caldas e coloque o CNPJ: 17416264000123

Duke

unread,
May 23, 2011, 11:49:34 AM5/23/11
to thac...@googlegroups.com
Não acho que ir chutando seja a melhor opção, disse que é possível.
Caso seja criado alguma base ou lógica para os CNPJs o scraperwiki tem o menchanize que navega na pagina como um usuário.

Sent from iPhone

Emerson Vinicius (Duke)
11 7030-9216

Pedro Rocha

unread,
May 23, 2011, 11:55:25 AM5/23/11
to thac...@googlegroups.com
Não resolveria, na verdade. Imagino isso como fonte para consulta, em momentos em que você já tem a lista de CNPJs em outro lugar. Para listar todos que estão dentro dessa base de dados, só fazendo um bot para ir lá e sair tentando para todos os números, o que é muito ineficiente.

abs,
Pedro Rocha

-------------
skype: pedrorocha.net - Drupal Services



2011/5/23 Vítor Baptista <lis...@vitorbaptista.com>

Nitai Silva

unread,
May 23, 2011, 12:05:42 PM5/23/11
to thac...@googlegroups.com
Pois, mas se o tempo é relativo, talvez você possa esperar uns 20 dias
pra ter as respostas.

[]s

On Monday, May 23, 2011, Pedro Rocha <pedrogo...@gmail.com> wrote:
> Não resolveria, na verdade. Imagino isso como fonte para consulta, em momentos em que você já tem a lista de CNPJs em outro lugar. Para listar todos que estão dentro dessa base de dados, só fazendo um bot para ir lá e sair tentando para todos os números, o que é muito ineficiente.
>
> abs,
> Pedro Rocha

> -------------http://twitter.com/pedrogomesrochaskypepedrorocha.net - Drupal Services


>
>
>
>
> 2011/5/23 Vítor Baptista <lis...@vitorbaptista.com>
>
>
> Duke/Pedro,
> Por curiosidade, como vocês fariam pra resolver o problema levantado pelo Markun, de precisar do CPF/CNPJ das empresas?
> Abraços,
>
> 2011/5/23 Pedro Rocha <pedrogo...@gmail.com>
> "Teste", eu olhei rapidamente ali e vi que é possível sim. Acho que aquele Scraperwiki não faz(ele consegue fazer login em sistemas?), mas com alguém que conheça qualquer linguagem de programação, isso ai sai ;)
>
>
>
>
>
> abs,
> Pedro Rocha

> -------------http://twitter.com/pedrogomesrochaskypepedrorocha.net - Drupal Services

udntkwi

unread,
May 23, 2011, 12:23:25 PM5/23/11
to thac...@googlegroups.com
Olá, o Pedro disse que um bot para tentar todos os números de CNPJ é ineficiente. Qual o motivo? 
Existe algoritimo para validação de CNPJ de acordo com o site: http://pt.wikipedia.org/wiki/Cadastro_Nacional_da_Pessoa_Jur%C3%ADdica
Não teria como sei lá, criar um código a partir desse algoritimo de validação, para buscar os números corretos, ou evitar os errados?

Vítor Baptista

unread,
May 23, 2011, 12:37:51 PM5/23/11
to thac...@googlegroups.com
Teria, mas mesmo assim são muitas possibilidades. Olha só, um CNPJ é na forma 00.000.000/0000-XX, onde XX são os dígitos verificadores.

A gente pode colocar os 4 últimos dígitos antes dos verificadores sempre em 0001 (ou 0002, 0003) que, salvo engano, representam o número da filial. Então nos sobram 8 dígitos. Se eu não estou com o conhecimento muito enferrujado, 8 dígitos nos dão 10^8 possibilidades (100.000.000 de CNPJs). Como a gente teria que consultar cada CNPJ em todas as cidades (11), o número pula para 11,1 bilhões.

Vamos dizer que façamos isso e, para não derrubar o servidor fazendo consultas muito rápido, resolvamos fazer 1 consulta por segundo. Isso vai levar 11,1 bilhões de segundos, que é algo próximo de 352 anos. Mesmo se estivéssemos interessados só nas empresas de uma única cidade, ainda seriam mais de 3 anos.

Ainda lembrando que o sistema aceita CPF ou CPNJ, esses números são só para CNPJ. A não ser que consiga diminuir o número possibilidades ou aumentar a velocidade das consultas (uma máquina na mesma rede, talvez?), força bruta não é viável...


2011/5/23 udntkwi <udn...@gmail.com>



--
Vítor Baptista

Diego Rabatone

unread,
May 23, 2011, 12:43:35 PM5/23/11
to thac...@googlegroups.com
Esse algoritmo de validação do número do CNPJ não ajuda em praticamente nada.
Digo isso pelo seguinte.
O algarismos do CNPJ não possuem nenhuma lógica ou relação com o tipo da empresa, localidade, tamanho, data de "abertura", etc. É um número consideravelmente aleatório.
Temos, em teoria, 100.000.000 (100 milhões) de possibilidades de CNPJ's primários (matrizes), considerando apenas os oito primeiros algarismos. Se considerarmos as "filiais" (dadas pelos 4 dígitos após a "barra"), esse número sobe para 1.000.000.000.000 (1 trilhão) de possibilidades. Sendo que os dois últimos dígitos são os únicos que poderíamos descobrir de forma automatizada (para cada um desses 1 trilhão de possibilidades temos apenas 1 par para os dois últimos dígitos, que seguem o algoritmo citado).

Mesmo que esta listagem fosse montada, no caso do sitio citado (govdigital.com.br), teríamos que fazer, para cada número, uma consulta por cidade.

Considerando que são 12 cidades naquela listagem, seriam 12 trilhões de CPNJs a serem consultados - e sem certeza absoluta de que aquele site contém todos os CNPJ's das respectivas cidades hein!.

Fazendo uma conta rápida e por cima...

12 trilhões (12x10^12) de Consultas, supondo que consigamos fazer 2 consultas por segundo, precisaríamos de:
6 trilhões de segundos = 100 bilhões de minutos = 1,667 bilhão de horas = 69,444 milhões de dias .....
Isso considerando apenas 1 computador fazendo uma consulta por vez e sem queda nenhuma de desempenho do servidor deles ou das conexões... hehehe...
Claro que daria para reduzir MUITO esse tempo, mas só uma brincadeirinha com números... =p


2011/5/23 udntkwi <udn...@gmail.com>

Pedro Rocha

unread,
May 23, 2011, 12:47:19 PM5/23/11
to thac...@googlegroups.com
Resumidamente, acho difícil alguém topar fazer isso, pois é tanta complicação para algo pequeno(ver a certidão da empresa).

Acho válido para quando queremos verificar a situação de determinada empresa(CNPJ), mas tem poucas cidades.

udntkwi

unread,
May 23, 2011, 12:52:31 PM5/23/11
to thac...@googlegroups.com
É galera, vi que essa questão é bem complicada. Enfim, dar tempo ao tempo.
Quem sabe uma solução mágica apareça.
Esperar o site da receita federal permitir a busca de empresas por cidade, e etc

Tulio Macedo

unread,
May 23, 2011, 3:08:45 PM5/23/11
to thac...@googlegroups.com
Acredito q a solução seria ter uma base prévia de empresas, mas ñ só para esse caso, mas todos os q forem surgindo, uma base única. Empresas q fazem falcatruas num lugar, podem vir a fazer em outro e essa reincidência tb é um fator q merece atenção e denúncia.

Conseguir os 1ºs CNPJ's pode ser complicado, mas é possível q algumas juntas comerciais possam ser raspadas. Tem muito tempo, mas já vi todo o cadastro comercial de onde moro, bastante razoável em tamanho. Hj ñ deve estar mais aberto, a segurança era a falta de acesso da maioria.

Acho q vale a pena buscar esses nºs q podem utilidade em outros projetos, além de ser a "chave" da empresa na Receita, empresas q mudam de nome pra continuar com seus conluios por aí. Mas no site da Receita o CNPJ retorna o nome fantasia e a razão social, e isso é um serviço q pode ser usado sem problema.

--

udntkwi

unread,
May 23, 2011, 3:18:39 PM5/23/11
to thac...@googlegroups.com
Olá Túlio, acho que já até postei nesse grupo sobre esse artigo. Ler: 
A Receita Federal certamente pode contribuir, de forma relevante, para o apri­moramento do Controle Social no Brasil, e, consequentemente, para a redução da cor­rupção.http://www.maoslimpasbrasil.com.br/index.php?option=com_content&view=article&id=92:receita-federal-que-tal-acabar-com-empresas-fantasmas-repeteco-1&catid=7:luiz-otavio-da-rosa-borges&Itemid=12

Tulio Macedo

unread,
May 23, 2011, 3:31:10 PM5/23/11
to thac...@googlegroups.com
Tirando o problema de "adivinhar" CNPJ's, acho q as ideias já apresentadas já tem uma solução, ñ?

Nitai Silva

unread,
May 24, 2011, 11:41:55 AM5/24/11
to thac...@googlegroups.com
Uma parte dos cnpjs você consegue pela API do comprasnet,
http://api.comprasnet.gov.br combinando alguns filtros.

[]s

On Monday, May 23, 2011, Tulio Macedo <tuli...@gmail.com> wrote:
> Tirando o problema de "adivinhar" CNPJ's, acho q as ideias já apresentadas já tem uma solução, ñ?
>
> Em 23 de maio de 2011 16:18, udntkwi <udn...@gmail.com> escreveu:
> Olá Túlio, acho que já até postei nesse grupo sobre esse artigo. Ler: A Receita Federal certamente pode contribuir, de forma relevante, para o apri­moramento do Controle Social no Brasil, e, consequentemente, para a redução da cor­rupção.http://www.maoslimpasbrasil.com.br/index.php?option=com_content&view=article&id=92:receita-federal-que-tal-acabar-com-empresas-fantasmas-repeteco-1&catid=7:luiz-otavio-da-rosa-borges&Itemid=12
>
> Em 23 de maio de 2011 16:08, Tulio Macedo <tuli...@gmail.com> escreveu:
>
> Acredito q a solução seria ter uma base prévia de empresas, mas ñ só para esse caso, mas todos os q forem surgindo, uma base única. Empresas q fazem falcatruas num lugar, podem vir a fazer em outro e essa reincidência tb é um fator q merece atenção e denúncia.
>
>
>
>
>
> Conseguir os 1ºs CNPJ's pode ser complicado, mas é possível q algumas juntas comerciais possam ser raspadas. Tem muito tempo, mas já vi todo o cadastro comercial de onde moro, bastante razoável em tamanho. Hj ñ deve estar mais aberto, a segurança era a falta de acesso da maioria.
>
>
>
>
>
> Acho q vale a pena buscar esses nºs q podem utilidade em outros projetos, além de ser a "chave" da empresa na Receita, empresas q mudam de nome pra continuar com seus conluios por aí. Mas no site da Receita o CNPJ retorna o nome fantasia e a razão social, e isso é um serviço q pode ser usado sem problema.
>
> Em 23 de maio de 2011 13:52, udntkwi <udn...@gmail.com> escreveu:
>
>
>
>
>

> É galera, vi que essa questão é bem complicada. Enfim, dar tempo ao tempo.Quem sabe uma solução mágica apareça.Esperar o site da receita federal permitir a busca de empresas por cidade, e etc

Luis Leao

unread,
May 24, 2011, 2:45:51 PM5/24/11
to thac...@googlegroups.com
Dá para pegar via GET sem passar o JSESSIONID

http://www.govdigital.com.br/comprovanteInscricaoCadastral.action?documento=17416264000123&method:emitir=Emitir&responsavel=1851


O problema é ficar "gerando" CNPJ.

Você precisa desse dado para quê? E qual o objetivo de informar o CNPJ neste caso?


[]'s
Luís



2011/5/23 teste <udn...@gmail.com>
--

udntkwi

unread,
May 24, 2011, 4:18:43 PM5/24/11
to thac...@googlegroups.com
Pelas postagens do pessoal, vi que extrair os dados é possível, porém obter a lista de CNPJs da cidade é mais complicado.
A intenção de obter os dados é para fazer estatística. Enfim

Nitai Silva

unread,
May 25, 2011, 1:03:25 AM5/25/11
to thac...@googlegroups.com
Na API do Comprasnet, aberta pela SLTI, dá pra filtrar pela cidade.

http://api.comprasnet.gov.br/sicaf/doc/fornecedores.html

Porém esses são só os cnpjs das empresas que contratam com o governo
federal, é um começo. Se é pra gerar estatísticas dá pra aceitar uma
taxa de imprecisão.

[]s

On Tuesday, May 24, 2011, udntkwi <udn...@gmail.com> wrote:
> Pelas postagens do pessoal, vi que extrair os dados é possível, porém obter a lista de CNPJs da cidade é mais complicado.A intenção de obter os dados é para fazer estatística. Enfim

udntkwi

unread,
Jul 25, 2011, 1:08:40 PM7/25/11
to thac...@googlegroups.com
Olá pessoal, encontrei no site da Fazenda MG um link onde é possível fazer o download do Cadastro Resumido de Contribuintes do ICMS, http://www.fazenda.mg.gov.br/empresas/sistemas/sintegra/cadastro_simplificado.htm
O arquivo é muito grande, "140mb", dividi o arquivo em vários e to postando um em anexo para que possam ver a estrutura.
Gostaria de saber se alguém topa buscar através dos CNPJs incluídos no arquivo, extrair as informações das empresas da cidade de Unaí MG daqui: http://www.govdigital.com.br/comprovanteInscricaoCadastral.action
Tem como extrair por exemplo, para uma tabela dividindo os campos por coluna? Tem como incluir na tabela a situação cadastral que está incluso no arquivo da Fazenda MG, onde N é não habilitado e H é Habilitado.
Lembrando: Não é algo prioritário. Se alguém quiser "brincar".
ae

Igor Hercowitz

unread,
Jul 25, 2011, 2:58:35 PM7/25/11
to Transparência Hacker
Primeiramente,
Ola a todos. Sou novo na lista e meu nome é Igor, desenvolvo e
atualmente estou brincando um pouco com LISP e Scheme.

Feito as devidas apresentações, sim, é possivel.

Fiz um script rapido para parsear a informacao da lista:

http://pastebin.com/ai6axwLt

agora é necessario ter certeza de onde é cada CNPJ para que possa ser
injetado na pagina.

Abs
Igor


On 25 jul, 14:08, udntkwi <udnt...@gmail.com> wrote:
> Olá pessoal, encontrei no site da Fazenda MG um link onde é possível fazer o
> download do Cadastro Resumido de Contribuintes do ICMS,http://www.fazenda.mg.gov.br/empresas/sistemas/sintegra/cadastro_simp...
> O arquivo é muito grande, "140mb", dividi o arquivo em vários e to postando
> um em anexo para que possam ver a estrutura.
> Gostaria de saber se alguém topa buscar através dos CNPJs incluídos no
> arquivo, extrair as informações das empresas da cidade de Unaí MG
> daqui:http://www.govdigital.com.br/comprovanteInscricaoCadastral.action
> <http://www.govdigital.com.br/comprovanteInscricaoCadastral.action%20>
> Tem como extrair por exemplo, para uma tabela dividindo os campos por
> coluna? Tem como incluir na tabela a situação cadastral que está incluso no
> arquivo da Fazenda MG, onde N é não habilitado e H é Habilitado.
> Lembrando: Não é algo prioritário. Se alguém quiser "brincar".
>
> Em 25 de maio de 2011 02:03, Nitai Silva <nitaibeze...@gmail.com> escreveu:
>
>
>
>
>
>
>
> > Na API do Comprasnet, aberta pela SLTI, dá pra filtrar pela cidade.
>
> >http://api.comprasnet.gov.br/sicaf/doc/fornecedores.html
>
> > Porém esses são só os cnpjs das empresas que contratam com o governo
> > federal, é um começo. Se é pra gerar estatísticas dá pra aceitar uma
> > taxa de imprecisão.
>
> > []s
>
> > On Tuesday, May 24, 2011, udntkwi <udnt...@gmail.com> wrote:
> > > Pelas postagens do pessoal, vi que extrair os dados é possível, porém
> > obter a lista de CNPJs da cidade é mais complicado.A intenção de obter os
> > dados é para fazer estatística. Enfim
>
> > > Em 24 de maio de 2011 15:45, Luis Leao <luis.l...@gmail.com> escreveu:
>
> > > Dá para pegar via GET sem passar o JSESSIONID
>
> >http://www.govdigital.com.br/comprovanteInscricaoCadastral.action?doc...
>
> > > O problema é ficar "gerando" CNPJ.
>
> > > Você precisa desse dado para quê? E qual o objetivo de informar o CNPJ
> > neste caso?
>
> > > []'s
> > > Luís
>
> > > 2011/5/23 teste <udnt...@gmail.com>
>  ae
> 626KExibirDownload

udntkwi

unread,
Jul 25, 2011, 3:05:07 PM7/25/11
to thac...@googlegroups.com
Olá Igor, infelizmente não sou programador. Como fazer para gerar a tabela da forma como mencionei no post anterior? É um procedimento fácil?
Obs: os CNPJS que estão na lista são de todas as cidades de MG. Não é possível saber pela lista qual CNPJ pertence a determinada cidade.

celoca...@gmail.com

unread,
Jul 25, 2011, 3:41:41 PM7/25/11
to thac...@googlegroups.com
Bem-vindo, cara! Bom ver tuas contribuições por aqui, somando! Tamo junto! Abs!

-mensag. original-
Assunto: [thackday] Re: É possível extrair esses dados?
De: Igor Hercowitz <iherc...@gmail.com>
Data: 25/07/2011 15:58

Reply all
Reply to author
Forward
0 new messages