Listagem de empresas do Brasil

[Marcelo R Berwanger]

Bom dia!

Estou iniciando um projeto de machine learning e data science em dados empresariais. No entanto estou com dificuldade em construir o meu banco de dados base, que seria a lista de empresas do Brasil e seus respectivos dados do Cartão CNPJ em lote. Até onde sei é possível consultar esta informação no site da Receita mas de forma manual. Não não encontro nenhuma forma de automatizar esta busca para que possa popular esta base.

Até o momento, consegui a lista de CNPJs disponíveis nos dados abertos da Receita Federal, mas é só o CNPJ e o QSA, mais nenhum dado. E encontrei uma grande diferença pelo que é apresentado, uma diferença de quase 10 milhoes de registros a menos, segundo o que apresentam algumas empresas como Serasa, Econodada, Empresometro, entre outras.

Caso alguém possa me ajudar a trilhar este caminho, agradeço desde já pois isto seria de grande valia para o nosso projeto.

Att

Marcelo Berwanger

[Álvaro Justen [Turicas]]

Criei um script para baixar os dados de sociedade das empresas e converter para um formato mais palatável:

https://GitHub.com/turicas/socios-brasil 

Esse dataset também está disponível no Brasil.IO: https://brasil.io/dataset/socios-brasil

Abs,

--
Você recebeu essa mensagem porque está inscrito no grupo "Infraestrutura Nacional de Dados Abertos" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para INDA-br+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para IND...@googlegroups.com.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/INDA-br/dda759d7-f52b-4c41-b699-1c02cad13f96%40googlegroups.com.
Para mais opções, acesse https://groups.google.com/d/optout.

[Fabiano Angélico]

Interessante, Marcelo. Então quer dizer que a base da Receita Federal tem 10 milhões de registros A MENOS? Você chegou a especular qual seria o gap? Talvez alguma UF ou alguma atividade empresarial (CNAE) específica que a Receita não capturou/publicou? 

Importante dar esse feedback pra Receita...

Fabiano Angélico

Academia/ Linkedin/ Twitter

Skype: fabiano.angelico

Telegram: +55 11 98270.3020
Researcher/Consultant/Lecturer/Trainer

Pesquisador/Consultor/Palestrante/Instrutor

Open Government, Freedom of Information, Transparency, Open Data, Anti-Corruption, Accountability Journalism, Social Accountability, Civic Participation 

Governo Aberto, Acesso a Informação, Transparência, Dados Abertos, Combate à Corrupção, Jornalismo Investigativo, Controle Social, Participação Social

--

Você recebeu essa mensagem porque está inscrito no grupo "Infraestrutura Nacional de Dados Abertos" dos Grupos do Google.

Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para INDA-br+unsubscribe@googlegroups.com.

[Marcelo R Berwanger]

A informação que tenho é a disponibilizada pela própria RFB em:

http://idg.receita.fazenda.gov.br/orientacao/tributaria/cadastros/cadastro-nacional-de-pessoas-juridicas-cnpj/dados-abertos-do-cnpj

Na página não é informado o critério utilizado para filtro e disponibilização dos dados. Nestes dados são disponibilizados apenas:

• CNPJ
• Razão Social
• Sócios
• Qualificação dos Sócios
• CNPJ do Sócio, quando PJ.

Totalizando os registros encontrados nos arquivos TXT de cada estado apresentou um número menor de CNPJS. Agora observando outras empresas que trabalham com este tipo de dados, normalmente apresentam números próximos a 20 milhões de empresas ativas.

Eu particularmente não sei o por que da diferença, mas como foi a primeira publicação de dados abertos da Receita (QSA), acredito que a próxima que deve ocorrer por agora (6 em 6 meses) possa ter uma quantidade maior de dados.

Att

Marcelo Berwanger

Em sexta-feira, 8 de junho de 2018 09:53:15 UTC-3, fabianoangelico escreveu:

Interessante, Marcelo. Então quer dizer que a base da Receita Federal tem 10 milhões de registros A MENOS? Você chegou a especular qual seria o gap? Talvez alguma UF ou alguma atividade empresarial (CNAE) específica que a Receita não capturou/publicou? 

Importante dar esse feedback pra Receita...

Fabiano Angélico

Academia/ Linkedin/ Twitter

Skype: fabiano.angelico

Telegram: +55 11 98270.3020
Researcher/Consultant/Lecturer/Trainer

Pesquisador/Consultor/Palestrante/Instrutor

Open Government, Freedom of Information, Transparency, Open Data, Anti-Corruption, Accountability Journalism, Social Accountability, Civic Participation 

Governo Aberto, Acesso a Informação, Transparência, Dados Abertos, Combate à Corrupção, Jornalismo Investigativo, Controle Social, Participação Social

Em 8 de junho de 2018 09:30, Marcelo R Berwanger <marcelo....@gmail.com> escreveu:

Bom dia!

Estou iniciando um projeto de machine learning e data science em dados empresariais. No entanto estou com dificuldade em construir o meu banco de dados base, que seria a lista de empresas do Brasil e seus respectivos dados do Cartão CNPJ em lote. Até onde sei é possível consultar esta informação no site da Receita mas de forma manual. Não não encontro nenhuma forma de automatizar esta busca para que possa popular esta base.

Até o momento, consegui a lista de CNPJs disponíveis nos dados abertos da Receita Federal, mas é só o CNPJ e o QSA, mais nenhum dado. E encontrei uma grande diferença pelo que é apresentado, uma diferença de quase 10 milhoes de registros a menos, segundo o que apresentam algumas empresas como Serasa, Econodada, Empresometro, entre outras.

Caso alguém possa me ajudar a trilhar este caminho, agradeço desde já pois isto seria de grande valia para o nosso projeto.

Att

Marcelo Berwanger

--
Você recebeu essa mensagem porque está inscrito no grupo "Infraestrutura Nacional de Dados Abertos" dos Grupos do Google.

Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para INDA-br+u...@googlegroups.com.

[Marcelo R Berwanger]

Obrigado Alvaro, vou acessar o seu Git, verifiquei que usamos a mesma fonte de dados.

O que não achei ainda, é uma maneira legal, de baixar as informações do cartão CNPJ, para enriquecer a base de dados.

Encontrei os mesmo problemas que você cita em seu Git.

Base incompleta

Alguns CNPJs não constam nos arquivos (como EI, MEI e de candidatos e empresas inativas), tornando a base incompleta e de difícil cruzamento com outras bases, principalmente quanto a dados históricos. Não foi possível verificar detalhadamente, mas suspeita-se que CNPJs de filiais nem sempre aparecem

Att

Marcelo Berwanger

[Álvaro Justen [Turicas]]

Marcelo, veja no README do projeto, pois já verifiquei algumas informações com a assessoria da Receita (nessa base não constam EI e MEI, nem CNPJs de empresas públicas), inclusive listei lá em uma seção "Erros" os pontos possíveis a melhorar - o problema é que eles não respondem sobre os erros (https://twitter.com/turicas/status/1003674197288194060?s=19). Por falar em erros, o dataset da RFB está com todos os nomes de sócias PJ *errados* - no meu script eu corrijo o que dá pra corrigir, então use os dados resultantes do meu script que você estará com dados mais consistentes e em um formato melhor.

No Brasil.IO estou coletando CNPJs de outros datasets (como gastos diretos do governo federal, disponível no portal da transparência) e reunindo tudo em um novo dataset com CNPJ e razão social, para ficar mais fácil encontrar as empresas.

Abs,

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/INDA-br/da9971ee-446c-4994-95bb-48472185cd4e%40googlegroups.com.

[Marcelo R Berwanger]

Alvaro, ótimo trabalho o que você está realizando no Brasil.io e o seu repositório foi de grande ajuda. Chegamos praticamente nos mesmo erros, você avançou mais do que eu.

O que ainda não descobri, talvez você saiba ou alguém aqui da lista sabe. Como estes sites de internet conseguem baixar os dados do cartão cnpj das empresas em lote? Existe um CNAE especifico que te permite usar um Webservice do governo para ter acesso a estes dados. Por enquanto tenho feito como você, utilizado os dados abertos do governo para montar uma base de dados de CNPJ, porém, não tenho acesso as outras informações.

Identifiquei uma lista de empresas que tem essa informação, algumas atualizadas outras não.

https://www.boavistaservicos.com.br/
http://serasa.com.br

https://cadeempresa.com
https://empresasdobrasil.com
https://cnpj.rocks
http://cnpj.info
http://www.consultascnpj.com
https://www.empresascnpj.com
https://www.cnpjconsultas.com
https://consultacnpjbrasil.com/situacao-cadastral-cnpj-consulta-gratis
https://qcnpj.com
https://www.foneempresas.com
https://www.consultasocio.com/
http://www.sociosbrasil.com
https://www.empresarios.me
https://wooki.com.br

http://econodata.com.br

http://uplexis.com.br

Abs,

[Breno Alencar]

Bom dia!

De forma bem específica, temos os dados das empresas de Recife publicados em formato aberto no Portal: http://dados.recife.pe.gov.br/dataset/empresas-da-cidade-do-recife

Hoje não constam os cnpj's, mas acredito que possa ser solicitado via portal da Transparência para que os dados sejam publicados com essas informações.

Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para INDA-br+unsubscribe@googlegroups.com.

Para postar nesse grupo, envie um e-mail para IND...@googlegroups.com.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/INDA-br/3193101b-01c7-4e8d-8cb6-fea63797c37b%40googlegroups.com.

[Álvaro Justen [Turicas]]

Oi, Marcelo,

Acredito que essas empresas comprem esses dados de outros lugares
(existe um mercado negro de venda de dados) ou mesmo usem robôs que
quebram os captchas para capturar os dados.

Abs,
Álvaro Justen "Turicas"
turicas.info / @turicas (twitter, github, youtube)
+55 41 999 311 221

On Wed, Jun 20, 2018 at 8:51 PM Marcelo R Berwanger

> Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/INDA-br/3193101b-01c7-4e8d-8cb6-fea63797c37b%40googlegroups.com.

[Álvaro Justen [Turicas]]

Breno,

Você consegue usar o dataset da Receita Federal que eu "libertei",
filtrar pelas empresas registradas em PE e então buscar pelas razões
sociais que você tem em seu dataset - dessa forma você conseguirá
encontrar os CNPJs dessas empresas (porém note que podem existir
empresas homônimas, mas não são muitas).

Abs,
Álvaro Justen "Turicas"
turicas.info / @turicas (twitter, github, youtube)
+55 41 999 311 221

>> Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/INDA-br/3193101b-01c7-4e8d-8cb6-fea63797c37b%40googlegroups.com.
>>
>> Para mais opções, acesse https://groups.google.com/d/optout.
>
>

> --
> Você recebeu essa mensagem porque está inscrito no grupo "Infraestrutura Nacional de Dados Abertos" dos Grupos do Google.
> Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para INDA-br+u...@googlegroups.com.
> Para postar nesse grupo, envie um e-mail para IND...@googlegroups.com.

> Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/INDA-br/CAOHmmC0UN%2BVyB_Dk48%2B%3D5KcWSLpn6R4_R%3DdZU4mLJhzLTyepPw%40mail.gmail.com.

[Marcelo R Berwanger]

Álvaro,

Estou usando a API gratuita da ReceitaWS (Não é a Receita Federal). Inclusive consegui o contato de um dos proprietários, eu acredito, mas ele não forneceu de onde eles capturam as informações. E não me deu maiores informações.

Seguindo o caminho correto, liguei para JUCESC aqui em Santa Catarina, mas os dados das empresas são vendidos, só são fornecidos gratuitamente e disponíveis para download, os dados das empresas que abriram processo de encerramento do CNPJ.

É uma tarefa difícil coletar dados públicos de empresas no Brasil.

Att

Marcelo Berwanger

marcelo....@gmail.com
+55 48 996 440 007

[Augusto Herrmann]

Álvaro,

você chegou a abrir uma reclamação sobre isso no e-Ouv? No ano passado, o Portal Brasileiro de Dados Abertos foi integrado ao sistema de ouvidorias do governo federal:

http://dados.gov.br/noticia/governo-integra-portal-brasileiro-de-dados-abertos-e-sistema-da-ouvidoria-geral-da-uniao

Os erros no conjunto de dados podem ser comunicados pela própria página do dataset no portal:

http://dados.gov.br/dataset/qsa

O órgão público (no caso, o Ministério da Fazenda) tem os mesmos ritos e prazos oficiais que se aplicam a qualquer outra reclamação de ouvidoria para encaminharem uma resposta sobre o problema.

Abraço,

Augusto Herrmann

On Friday, June 8, 2018 at 1:56:18 PM UTC-3, alvarojusten wrote:

Marcelo, veja no README do projeto, pois já verifiquei algumas informações com a assessoria da Receita (nessa base não constam EI e MEI, nem CNPJs de empresas públicas), inclusive listei lá em uma seção "Erros" os pontos possíveis a melhorar - o problema é que eles não respondem sobre os erros (https://twitter.com/turicas/status/1003674197288194060?s=19). Por falar em erros, o dataset da RFB está com todos os nomes de sócias PJ *errados* - no meu script eu corrijo o que dá pra corrigir, então use os dados resultantes do meu script que você estará com dados mais consistentes e em um formato melhor.

No Brasil.IO estou coletando CNPJs de outros datasets (como gastos diretos do governo federal, disponível no portal da transparência) e reunindo tudo em um novo dataset com CNPJ e razão social, para ficar mais fácil encontrar as empresas.

Abs,

Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para INDA-br+unsubscribe@googlegroups.com.

[Álvaro Justen [Turicas]]

Oi, Augusto, obrigado pelas informações!
Nós fizemos um pedido através da LAI para correção e complementação
desses dados.

Abs,
Álvaro Justen "Turicas"
turicas.info / @turicas (twitter, github, youtube)
+55 41 999 311 221

>>> Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/INDA-br/da9971ee-446c-4994-95bb-48472185cd4e%40googlegroups.com.
>>> Para mais opções, acesse https://groups.google.com/d/optout.
>

> --
> Você recebeu essa mensagem porque está inscrito no grupo "Infraestrutura Nacional de Dados Abertos" dos Grupos do Google.
> Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para INDA-br+u...@googlegroups.com.
> Para postar nesse grupo, envie um e-mail para IND...@googlegroups.com.

> Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/INDA-br/08de7fbb-65ab-4fc8-bae6-b62817796230%40googlegroups.com.