GEOCODIFICAÇÃO

242 views
Skip to first unread message

Edson Lira

unread,
May 30, 2018, 4:57:17 PM5/30/18
to qgisbrasil
Caros amigos, estou tentando geocodificar  um banco aonde a variável que tenho disponível é o CEP .

Meu banco tem umas 13.500 linhas com informações de pacientes, uma das colunas (variáveis) é o CEP.

Já pesquisei na internet e vi que tem uma app do google mas tem limitações, se não me engano de 2000 linhas por dia, se o usuário quiser mais, deve fazer uma assinatura.

Como sou signatário do software livre, estou tentando buscar alguma alternativa livre.

Quero converter o CEP em lat long.


Alguém tem alguma sugestão? No MMQGIS do QGIS tem a função geocode para arquivos CSV, tentei usar mas deu "pau", acho que tem limitações.



Muito obrigado antecipadamente.


Prof. Edson Lira, Me
ESTATÍSTICO
CEL(92) 99128-6465
MANAUS-AMAZONAS






Antonio Guarda

unread,
May 31, 2018, 8:12:21 AM5/31/18
to qgisbrasil
Edson sugiro vc utilizar o Cadastro de endereços do IBGE, estou usando em minha pesquisa que é por endereço, ela contem o CEP.
Abaixo estou postando como utilizar, já expliquei em outro tópico como utilizar e e por ultimo para um grupo de estudos sobre centralidades....

--------------------------------------------------------

Caros, conforme a solicitação de que eu explicasse como obter maiores detalhes por faces de quadra do arquivo do IBGE, para que se possa fazer um uso mais detalhado por divisões de usos, do jeito que fiz os mapas de calor. Bom estou explicando através de uma discusão que tive sobre o assunto do grupo do Google sobre o QGIS, logo peço desculpas por algum erro. Mas basta entrar em contato dizendo a dificuldade que explico melhor.

Cab esclarecer que existem dois arquivos um em shape e outro em txt. E que alguns destes arquivos em shape de algumas localidades e municípios está com algum deslocamento (este deslocamento pode ser por vários motivos). Estes arquivos estão por Unidade da Federação, codigo do municipio e distrito, e encontrarm-se no endereço http://downloads.ibge.gov.br/downloads_geociencias.htm no diretorio organizacao_do_territorio\recortes_para_fins_estatisticos\malha_de_setores_censitatios\censo_2010\base_de_faces_de_logradouros\... estes arquivos em shape são de todas as faces de logradouros em perímetro urbano legal do pais (com código de situação 1), possuindo os seguintes atributos:  ID = 25461334; CD_GEO = 420540740000011001006; CD_SETOR = 420540740000011; CD_QUADRA = 001; CD_FACE = 006; NM_TIPO_LO = SERVIDAO; NM_TITULO_ = "null"; NM_NOME_LO = FLORISBELA MARIA FERRAZ; TOT_RES = 18; TOT_GERAL = 19.

Não esqueçam que este arquivo esta em SIRGAS2000 com coordenadas em graus decimais. Através deste arquivo se deve gerar um outro arquivo com o centroide das linhas, e devera conter as coordenadas dos pontos, mantendo os atributos das linhas. Logo teremos um arquivo de linhas e outro de pontos com o mesmo atributo. Cada ponto ainda não representa os endereços. Não estando relacionado nestes arquivos os endereços desta face de logradouro, pois seria uma associação 1 para "N" e queremos uma associação 1 para 1 para os endereços. Os endereços estão em outro arquivo que não esta georreferenciado por coordenadas, mas são passives através de associação. Este arquivos de pontos devera ser salvo em CSV para que possamos fazer a associação com os endereços que estava em txt e foram convertidos e transformados e geocodificados conforme é necessário para a associação.

Já o segundo arquivo é um banco de dados alfanumérico dos endereços comentados (e que poderão ser associados ao arquivo shape das áreas urbanas). Sendo que os endereços situados em área rural possuem coordenadas. Este arquivo alfanumérico é disponibilizado em extensão texto, e alguns setores rurais não possuem coordenadas por ter havido erro operacional ou do equipamento em campo, e também deve ser avaliado pois as coordenadas são obtidas com gps de navegação podendo haver erros por vários motivos (atmosférico, interferência, horizonte da constelação, etc.). Logo devemos dividir este arquivo em dois os endereços (que serão do rural) com coordenadas, e os endereços sem cooordenadas (que serão do urbano) este devera ser feita a associação com o arquivo de pontos.

Estes arquivos também estão por Unidade da Federação, município e distrito no endereço http://downloads.ibge.gov.br/downloads_estatisticas.htm no diretório Censos\Censo_Demografico_2010\Cadastro_Nacional_de_Enderecos_Fins_Estatisticos e o arquivo Layout_Donwload.xls nos fornece a estrutura do arquivo txt.

Vejam que nessa estrutura possuem as sequintes colunas ou atributos CD_UF; CD_Munic¡pio; CD_Distrito; CD_Subdistrito; Situacao_Setor; Tipo_Logradouro; Titulo_Logradouro; Nome_Logradouro; Numero_Logradouro;         Modificador_Numero; Elemento_1; Valor_1; Elemento_2; Valor_2; Elemento_3; Valor_3; Elemento_4; Valor_4; Elemento_5; Valor_5; Elemento_6; Valor_6; Latitude; Longitude; Localidade; Nulo; Especie_Endereco; Identificacao_Estabelecimento; Indicador_Endereco; Identificacao_Domicilio_Coletivo; Numero_Quadra; Numero_Face; e CEP.

Considerando que Situacao_Setor se 1 é igual a urbano e 2 a rural. E Especie_Endereco se 01=domicílio particular; 02=domicílio coletivo; 03=estabeleciemento agropecuário; 04=estabelecimento de ensino; 05=estabelecimento de saúde; 06=estabeleciemento de outras finalidades; e 07=edificação em construção.

Já na Identificacao_Estabelecimento podemos identificar fazendo um filtro em cada uma das espécie de endereços  o tipo de estabelecimento, pois neste campo o pesquisador deve disser o nome ou a atividade do estabelecimento. No campo Indicador_Endereco se 1=único e 2=múltiplo.

Para podermos associar os arquivos de pontos ou centroides das linhas de face de quadra com o arquivo txt de endereços primeiro devemos separar o arquivo de texto conforme o Layout. Após devemos concatenar os atributos preenchendo os campos faltantes com “0” para deixar os campos passiveis de indexação. Por exemplo, para obtermos um campo ou atributo igual ao CD_GEO que deve ser como este “420540740000011001006” do arquivo shape, devemos concatenar os campos CD_Munic¡pio; CD_Distrito; CD_Subdistrito; Situacao_Setor; Numero_Quadra; e Numero_Face, preenchendo os campos faltantes com “0” conforme já dito. Assim como devemos fazer o mesmo para obter o CD_SETOR que deve ser como este “420540740000011”, concatenando os campos CD_Munic¡pio; CD_Distrito; CD_Subdistrito; Situacao_Setor.

Feito isto podemos levar o arquivo para o QGisSIG e fazer a união com o arquivo shape.


-----------------------------------------------------------------------

Como podes ver não explicação lá tem o CEP, 
Bom trabalho, e desculpe os erros, a explicação foi dada por WhatsApp

Edson Lira

unread,
May 31, 2018, 8:21:35 AM5/31/18
to qgisb...@googlegroups.com
Valeu Antônio, vou tentar implementar apesar de ser novo no uso do QGIS.

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.

Santamariense Openstreetmapper

unread,
May 31, 2018, 9:17:59 AM5/31/18
to qgisbrasil
O OpenStreetMap é uma opção de dados abertos, porém, de modo geral, a comunidade brasileira ainda mapeou poucos CEPs (Quanto mais colaboradores, mais rápido se faz os mapeamentos). Os objetos mapeados com CEP em Manaus são esses: http://overpass-turbo.eu/s/zdm , ou seja, muito pouco.

Yuri Cavazin Serillo

unread,
Jun 5, 2018, 12:22:10 PM6/5/18
to qgisb...@googlegroups.com
Olá @Edson, tudo bem?

As opções do OSM e do CNEFE são boas.
Porém, se você só tem o CEP para geocodificação (e não tem ao menos nome de rua), provavelmente muitos pontos serão inúteis...

Obrigado,

Em 31 de maio de 2018 10:17, Santamariense Openstreetmapper <image...@gmail.com> escreveu:
O OpenStreetMap é uma opção de dados abertos, porém, de modo geral, a comunidade brasileira ainda mapeou poucos CEPs (Quanto mais colaboradores, mais rápido se faz os mapeamentos). Os objetos mapeados com CEP em Manaus são esses: http://overpass-turbo.eu/s/zdm , ou seja, muito pouco.

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+unsubscribe@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.



--
Yuri Cavazin
Quality, Training and Methods

Edson Lira

unread,
Jun 5, 2018, 12:40:29 PM6/5/18
to qgisb...@googlegroups.com
Muito obrigado a todos pelas sugestões

Em ter, 5 de jun de 2018 12:22, Yuri Cavazin Serillo <ycav...@gmail.com> escreveu:
Olá @Edson, tudo bem?

As opções do OSM e do CNEFE são boas.
Porém, se você só tem o CEP para geocodificação (e não tem ao menos nome de rua), provavelmente muitos pontos serão inúteis...

Obrigado,
Em 31 de maio de 2018 10:17, Santamariense Openstreetmapper <image...@gmail.com> escreveu:
O OpenStreetMap é uma opção de dados abertos, porém, de modo geral, a comunidade brasileira ainda mapeou poucos CEPs (Quanto mais colaboradores, mais rápido se faz os mapeamentos). Os objetos mapeados com CEP em Manaus são esses: http://overpass-turbo.eu/s/zdm , ou seja, muito pouco.

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.



--
Yuri Cavazin
Quality, Training and Methods

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.

Daniel Fagundes

unread,
Jun 19, 2018, 9:55:56 AM6/19/18
to qgisbrasil
Bom dia.

Aproveitando o tópico
Estou geocodificando alguns endereços pela 1 vez  e gostaria de saber como gero a tabela com as latitudes/longitudes encontradas.
Na tabela de atributos não aparece as coordenadas

Obrigado!!

Em quarta-feira, 30 de maio de 2018 17:57:17 UTC-3, Edson Lira escreveu:

Kyle Felipe

unread,
Jun 19, 2018, 10:00:30 AM6/19/18
to qgisbrasil
Se gera os pontos, basta criar uma coluna com a calculadora de campo X e usa o comando $x, e faz uma coluna y e usa o comando $y.

Daniel Fagundes

unread,
Jun 19, 2018, 10:10:50 AM6/19/18
to qgisbrasil
Se nao me engano tinha uma maneira de visualizar a tabela ja com as coordenadas dos pontos gerados.
Mas só vi na teoria... Ou estou enganado?

Kyle Felipe

unread,
Jun 19, 2018, 11:06:32 AM6/19/18
to qgisbrasil
vai depender do plugin/processo que está usando.....

Edson Lira

unread,
Jun 20, 2018, 4:42:13 PM6/20/18
to qgisb...@googlegroups.com
Daniel, tem um tutorial para vc fazer em excell.

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.


--
Prof. Edson Lira, Me.
Estatístico
Manaus- Amazonas- Brasil
Cel (92) 99128-6465

Kyle Felipe

unread,
Jun 21, 2018, 10:48:34 PM6/21/18
to qgisbrasil


@Edson, baixei a planilha que postou para testarmos..
resolvi experimentar fazer o geocoding pelo MMQGIS.
S.O.: DEBIAN STRETCH
QGIS: 2.18.20
Link do manual do MMQGIS: http://michaelminn.com/linux/mmqgis/

Primeiro passo: Salvei sua planilha como CSV, li na documentação que ele importa os endereços nesse formato.
No MMQGIS fui em Imput CSV e escolhi o arquivo que salvei, configurei os campos com os que havia passado.
Na opção WEB SERVICE eu escolhi OpenStreetMap / Nominatim
Configurei os aquivos de saida (Output shp e notfound output list)
cliquei em OK...
Dos 26 endereços passados..., 15 geraram pontos...,
Nos atributos, além das colunas que colocou no excel, foi adicinado mais duas colunas addrtype, e o addrlocat (tem de ler na doc o que eles significam)
No CSV de notfound não tem nada informando o motivo do erro...
Na imagem abaixo, as casas são os pontos geocodados


Baixei os dados OSM do referente ao município que colocou no xls e vi que os endereços não geocodados estão com os nomes diferentes dos nomes usados no OSM (com abreviaturas, algarismos romanos e etc) fiz as devidas alterações e os 11 pontos faltante foram geocodados....
Uma coisa, na formula que usou no slx, o campo fusion não recebia o valor do número da casa... modifiquei ela para pegar o número e o geocoding ficou ainda mais preciso.


Em quarta-feira, 30 de maio de 2018 17:57:17 UTC-3, Edson Lira escreveu:
Reply all
Reply to author
Forward
0 new messages