Gerar SHP de dados do CNEFE || Cooperação QGIS - OSM

1,259 views
Skip to first unread message

Santamariense Openstreetmapper

unread,
Dec 17, 2016, 10:58:21 PM12/17/16
to qgisbrasil
Caros colegas QGiseiros,

No OpenStreetMap estamos discutindo sobre a importação de dados do CNEFE. Com ele será possível coisas como, melhor navegação e até mesmo uma melhor precisão em geocoding que muito é útil para quem gera endereços para objetos usando algumas ferramentas aqui do QGIS.

Existe toda uma questão de como isso será importado lá no OSM, mas creio que a comunidade QGIS possa ajudar nisso:

yjmenezes

unread,
Dec 18, 2016, 10:57:41 AM12/18/16
to qgisbrasil
@Santamariense

O Censo2010 tem bastante furo de coordenadas e de CEP, mas da para filtrar, eu ja fiz isso uma vez.
Os recenseadores nao coletaram as coordenadas o CEPs em muitos lugares ou inseriram dados incompletos. Tera de fazer uma baita consistencia.
O SHP serial do tipo POINT, para cada imovel.
Outro problema eh codificacao, tem muito caracter "sujo".

Em todo caso, eh um material valoroso e melhor que DB de CEP dos Correios que nao possui coordenada alguma.

voce usa *NIX ? Devo ter alguns do scripts que escrevi para filtrar estes dados do Censo2010.

[]s
julio
cartognu.org

Santamariense Openstreetmapper

unread,
Dec 18, 2016, 3:41:01 PM12/18/16
to qgisbrasil
yjmenezes, te mandei uma mensagem in pvt não sei se para o email correto; infelizmente não tenho conhecimento de *NIX. Tô realmente necessitando aprender. Indicaria alguma fonte?

Esses pontos ficariam alinhado em relação à rua???

yjmenezes

unread,
Dec 18, 2016, 4:42:35 PM12/18/16
to qgisbrasil
@Santamariense,

Sobre o CENSO2010:
Eu nao me recordo se os pontos do Censo2010 ficaram bem posicionados, eu nao joguei sobre uma base vetorial de arruamento, apenas visualizei no QGIS a nuvem de pontos sobre os limites dos bairros.
De qq forma, a coleta de dados foi feita com um coletor com GPS de navegacao com erros da ordem de 10m de raio, +-.

Sobre GNU/Linux,
Existem varias distribuicoes. ( Debian, Slackware, RedHat, Gentoo, Arch) e seus derivados ( Ubuntu, Mint, CentOS,.... )
Uma distribuicao eh basicamente um Kernel GNU/Linux e um conjunto de aplicacoes selecionadas.

A maior diferenca sao os gerenciadores de instalacao de programas e algumas tarefas administrativas e na escolha do conjunto de programas da instalacao basica.
Algumas sao mais dificeis pois sao voltadas para servidores e outras mais amigaveis, voltadas para Desktop.

Debian tem 60mil programas mantidos pela comunidade.
Ubuntu mesmo tem as variantes: ( UbuntuServer, UbuntuDesktop, Edubuntu, UbuntuGIS... ) cada um selecionou aplicacoes e gravou num CD de instalacao.


[]s
julio
cartognu.org

https://en.wikipedia.org/wiki/List_of_Linux_distributions

Santamariense Openstreetmapper

unread,
Dec 18, 2016, 5:04:53 PM12/18/16
to qgisbrasil
Sim, eu também cheguei a processar os dados do Censo2010, e cheguei ao mesmo resultado. Eu percebi que foi coletado coordenadas apenas na zona rural. Na zona urbana o máximo que dá para fazer é ter uma nuvem de pontos referentes a um setor censitário. No final das contas, o que se tem é um quebra-cabeças para ser montado: posicionar manualmente cada ponto no local certo dentro do setor censitário. Há muita coisa que se pode deduzir e ocupar, mas importação ao pé da letra está quase impossível lá no OSM.

Eu estava muito desatualizado sobre linux, vou instalar alguma versão no meu computador.  UbuntuGIS??? Que legal, vou instalar!!!

yjmenezes

unread,
Dec 18, 2016, 5:26:02 PM12/18/16
to qgisbrasil
@Santamariense

https://wiki.ubuntu.com/UbuntuGIS
Este pessoal mantem os programas de Geoprocessamento.

[]s
julio
cartognu.org

Antonio Guarda

unread,
Dec 19, 2016, 7:15:23 PM12/19/16
to qgisbrasil
Boa Noite, 
Na realidade existe um equivoco, nos e-mails que acabei de ler, os erros são muito menores do que estão postando. 
Existem dois arquivos um em shape que em algumas localidades e municipios está com algum deslocamento (este deslocamento pode ser por vários motivos), estes arquivos estão por Unidade da Federação, codigo do municipio e distrito, e encontrarm-se no endereço http://downloads.ibge.gov.br/downloads_geociencias.htm no diretorio organizacao_do_territorio\recortes_para_fins_estatisticos\malha_de_setores_censitatios\censo_2010\base_de_faces_de_logradouros\... estes arquivos em shape são de todas as faces de logradouros em perímetro urbano legal do pais (com código de situação 1), possuindo os seguintes atributos:
Campo Tipo Tamanho Descrição 
ID N 10 Código identificador 
CD_GEO C 21 Concatenação dos campos 
CD_SETOR+CD_QUADRA+CD_FACE CD_SETOR C 15 Identificação do Setor 
CD_QUADRA C 3 Número da Quadra
 CD_FACE C 3 Número da Face 
NM_TIPO_LO C 20 Tipo do segmento do Logradouro : RUA, AVENIDA, TRAVESSA, etc... 
NM_TITULO_ C 30 Título do segmento do Logradouro (Almirante, Visconde...etc): ABADE ABADESSA ACADEMICO, etc. 
NM_NOME_LO C 60 Nome do segmento do Logradouro 
TOT_RES N 3 Total de espécie residencial 
TOT_GERAL N 3 Total de espécies

Não estando relacionado neste arquivos os endereços desta face de logradouro pois seria uma associação 1 para "N".
Já o segundo arquivo é um banco de dados alfanumérico dos endereços comentados (e que poderão ser associados ao arquivo shape das áreas urbanas). Sendo que os endereços situados em área rural possuem coordenadas. Este arquivo alfanumérico é disponibilizado em extensão texto, e alguns setores rurais não possuem coordenadas por ter havido erro operacional ou do equipamento em campo, e também deve ser avaliado pois as coordenadas são obtidas com gps de navegação podendo haver erros por vários motivos (atmosférico, interferência, horizonte da constelação, etc.). Estes arquivos também estão por Unidade da Federação, município e distrito no endereço http://downloads.ibge.gov.br/downloads_estatisticas.htm no diretório Censos\Censo_Demografico_2010\Cadastro_Nacional_de_Enderecos_Fins_Estatisticos e possuem a seguinte estrutura:
Variável Posição Inicial Tamanho Categorias
Código da UF 1 2
Código do município 3 5
Código do distrito 8 2
Código do subdistrito 10 2
Código do setor 12 4
Situação do setor 16 1
1=urbano
2=rural
Tipo do logradouro 17 20
Título do logradouro 37 30
Nome do logradouro 67 60
Número no logradouro 127 8
Modificador do número 135 7
Complemento
Elemento 1 142 20
Valor 1 162 10
Elemento 2 172 20
Valor 2 192 10
Elemento 3 202 20
Valor 3 222 10
Elemento 4 232 20
Valor 4 252 10
Elemento 5 262 20
Valor 5 282 10
Elemento 6 292 20
Valor 6 312 10
Latitude 322 15
Longitude 337 15
Localidade 352 60
Nulo 412 60 Campo sem uso
Espécie de endereço 472 2
01=domicílio particular
02=domicílio coletivo
03=estabeleciemento agropecuário
04=estabelecimento de ensino
05=estabelecimento de saúde
06=estabeleciemento de outras finalidades
07=edificação em construção
Identificação estabelecimento 474 40
Indicador de endereço 514 1
1=único
2=múltiplo
identificação domicílio coletivo 515 30
Número da quadra (*) 545 3
Número da face 548 3
CEP 551 8

Já fiz uma associação 1 para "N" e obtive um exito de 85%, apos fiz uma comparação com imagens do Google Erth Street View bem como com o aerolevantamento de Santa Catarina e o resultado são bastante satisfatórios, sendo que devemos também considerar a atualização que vem sendo feito de forma constante nos endereços de forma amostra, mas já esta informação não sei quanto sera divulgada.

[ ]'s
Guarda



Em domingo, 18 de dezembro de 2016 01:58:21 UTC-2, Santamariense Openstreetmapper escreveu:

Rafael Dantas

unread,
Dec 19, 2016, 9:06:20 PM12/19/16
to qgisb...@googlegroups.com

Bacana a ideia. Eu trabalhei como agente censitário de 2008 à 2010 e fui responsável pela atualização da Base Territorial da minha região. Posso dizer que o cnefe após o censo2010 é uma das melhores coisas que se tem. Há anos venho falando isso aqui. Mas antes não estava disponível.
Felizmente, o colega Antônio Guarda foi brilhante em sua explicação. Há algum tempo eu citei, se minha memória não me engana, essa questão da geocodificação quadra/face.
É muito importante que as pessoas saibam o que foi feito e como foi feito.
Só pra se ter uma ideia, numa das etapas do trabalho do recenseador ele deveria fazer uma descrição do entorno.
Quando falamos de erro, claro, ele ocorrem. Mas no IBGE tem um pra fazer e "10 pra corrigir". Cada inconsistência gera uma crítica, e isso vai passando pra toda a cadeia de supervisão.
Recenseador<supervisor<agente censitário chefe do posto de coleta<coordenador de subárea< de área<até o nível estadual e federal (RJ).

Saudações

Rafael


--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.

yjmenezes

unread,
Dec 20, 2016, 6:09:13 PM12/20/16
to qgisbrasil
@Guarda

Eu me refiro ao segundo arquivo.
Para mim o problema foi falta de treinamento no uso dos coletores de dados.
Os coletores sao GPS de navegacao e sofrem menos com erros atmosfericos e interferencias, operam com codigo CA e nao com a fase da portadora.

Apesar disso, considero o materia do CENSO muito bom e importante.

seguem duas amostras  TXT do Censo do RIO e um script AWK que filtra os dados.

O script roda em *NIX e no MSYS.

awk -v OFS=\; -F@ 'BEGIN { print "ur;Nome_logradouro;Num_logradouro;Latitude;Longitude;CEP" }
 { print substr($1,1,2), substr($1,67,60), substr($1,127,8), substr($1,322,15), substr($1,337,15), substr($1,551,8) }'

[]s
julio
cartognu.org

PS: http://www.grymoire.com/Unix/Awk.html



Em segunda-feira, 19 de dezembro de 2016 22:15:23 UTC-2, Antonio Guarda escreveu:
Boa Noite, 
Na realidade existe um equivoco, nos e-mails que acabei de ler, os erros são muito menores do que estão postando. 
Existem dois arquivos um em shape que em algumas localidades e municipios está com algum deslocamento (este deslocamento pode ser por vários motivos), estes arquivos estão por Unidade da Federação, codigo do municipio e distrito, e encontrarm-se no endereço http://downloads.ibge.gov.br/downloads_geociencias.htm no diretorio organizacao_do_territorio\recortes_para_fins_estatisticos\malha_de_setores_censitatios\censo_2010\base_de_faces_de_logradouros\... estes arquivos em shape são de todas as faces de logradouros em perímetro urbano legal do pais (com código de situação 1), possuindo os seguintes
 
Não estando relacionado neste arquivos os endereços desta face de logradouro pois seria uma associação 1 para "N".
Já o segundo arquivo é um banco de dados alfanumérico dos endereços comentados (e que poderão ser associados ao arquivo shape das áreas urbanas). Sendo que os endereços situados em área rural possuem coordenadas. Este arquivo alfanumérico é disponibilizado em extensão texto, e alguns setores rurais não possuem coordenadas por ter havido erro operacional ou do equipamento em campo, e também deve ser avaliado pois as coordenadas são obtidas com gps de navegação podendo haver erros por vários motivos (atmosférico, interferência, horizonte da constelação, etc.). Estes arquivos também estão por Unidade da Federação, município e distrito no endereço http://downloads.ibge.gov.br/downloads_estatisticas.htm no diretório Censos\Censo_Demografico_2010\Cadastro_Nacional_de_Enderecos_Fins_Estatisticos e possuem a seguinte estrutura:
Variável Posição Inicial Tamanho Categorias
Código da UF 1 2
Código do município 3 5
Código do distrito 8 2
Número da face 548 3
CEP 551 8

Já fiz uma associação 1 para "N" e obtive um exito de 85%, apos fiz uma comparação com imagens do Google Erth Street View bem como com o aerolevantamento de Santa Catarina e o resultado são bastante satisfatórios, sendo que devemos também considerar a atualização que vem sendo feito de forma constante nos endereços de forma amostra, mas já esta informação não sei quanto sera divulgada.

[ ]'s
Guarda

censo_filtro_awk.zip

yjmenezes

unread,
Dec 24, 2016, 5:15:46 PM12/24/16
to qgisbrasil
@Guarda

De uma olhada no anexo  censo_rio.txt

[]s
julio
cartognu.org


censo_filtro_awk.zip

Antonio Guarda

unread,
Dec 25, 2016, 2:18:47 PM12/25/16
to qgisbrasil
Boa tarde Julio,
Desculpe a demora em responder... já tinha olhado seus arquivos, mas atividades profissionais e do doutorado me impediram.
Como já havia comentado, os dois municípios/distritos escolhidos por vc há muito poucos endereços rurais por isto pouco endereços com coordenadas. Veja que os dois arquivos que vc escolheu possuem 33587 endereços, sendo que 1428 são endereços em setor rural e que deveriam possuir coordenadas, mas somente 398 possuem. Isto ocorre porque os demais endereços foram registrados como urbano, possuindo quadra e face diferentes de 0, no qual era uma das opções dos recenseadores. Mas e os 64 endereços com quadra e face 0 sem coordenas? Estes sim são erros do equipamento ou operador. Veja o exemplo que criei baixando os dois tipos de arquivos do IBGE (shape e texto, shape contendo quadra/face e texto contendo os endereços). Fiz a transformação dos arquivos texto em csv e separei em com coordenadas e sem coordenadas. Sendo que as duas primeiras colunas do arquivo fui eu que criei fazendo concatenação para facilitar a indexação com o arquivo shape. Qualquer duvida entre em contato.
[ ]'s e Feliz Natal.
Guarda
Exemplo_Censo_Rio_Guarda.zip

yjmenezes

unread,
Dec 25, 2016, 5:24:57 PM12/25/16
to qgisbrasil
@Guarda

thx, vi seus aquivos no QGIS e refletem o que eu havia dito.

Infelizmente o IBGE comprou coletores enlatados com aplicativo rodando em WindowsCE, se nao me falha a memoria.
Vi o coletor ao atender o recenseador em minha residencia em 2010.

Em minha opniao, todos os imoveis poderiam ter coordenadas, mesmo que aproximadas, ( urbanos e rurais ).
O coletor poderia usar a ultima coordenada valida. Isso seria simples de implementar na contratacao das funcionalidades do SW  de coleta do Censo.
Eu afirmo isso porque ja programei e programo firmware.

De qq forma, o material do Censo2010 eh bom e devemos usa-lo, especialmente agora que temos disponivel dados vetoriais.

Eu nao verifiquei se ha campos comuns que pudessem ser usados para fazer a correspondencia entre o Censo tabular e os dados vetoriais.

[]s
julio
cartognu.org
PS: Hoje em dia eh ate mais facil.
Se perguntar ao Zuckerberg ou LarryPage ou Serguei Brin, sao capazes de informar nao so as coordenadas mas o que o usuario toma no cafe da manha.

Yuri Cavazin

unread,
Dec 27, 2016, 6:54:25 PM12/27/16
to qgisb...@googlegroups.com
Pessoal,

Será que não podemos utilizar as faces de logradouros para aprimorar a numeração de quadras?
Com certeza teria um ganho na geocodificação.

Obrigado,

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+unsubscribe@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.



--
Yuri Cavazin
Quality, Training and Methods

santamariense

unread,
Dec 27, 2016, 8:26:56 PM12/27/16
to qgisb...@googlegroups.com
Oi Yuri, esta é a ideia. Se a gente conseguir um método de importar,
vai melhorar a procura de endereços no OSM em quase 100%. Estive
começando a reestudar o caso hoje mesmo, compilar as ideias postas
pelos colegas e ver se consigo avançar em algo. No OSM tem vários
quebrando a cabeça sobre o assunto. Até eu que geralmente só me
envolvo em mapeamentos locais, estou querendo achar uma solução,
porque isto vai ser realmente útil.

O formato OSM final seria uma linha, cujos pontos extremos seriam o
maior e menor número de casas da rua. Veja este exemplo:
http://overpass-turbo.eu/s/kTH
>> um e-mail para qgisbrasil+...@googlegroups.com.
>> Para postar nesse grupo, envie um e-mail para
>> qgisb...@googlegroups.com.
>> Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
>> Para mais opções, acesse https://groups.google.com/d/optout.
>>
>
>
>
> --
> Yuri Cavazin
> Quality, Training and Methods
>
> --
> Comunidade QGIS Brasil: http://qgisbrasil.org/
> ---
> Você recebeu esta mensagem porque está inscrito em um tópico do grupo
> "qgisbrasil" dos Grupos do Google.
> Para cancelar inscrição nesse tópico, acesse
> https://groups.google.com/d/topic/qgisbrasil/FiQksETzQXU/unsubscribe.
> Para cancelar inscrição nesse grupo e todos os seus tópicos, envie um e-mail
> para qgisbrasil+...@googlegroups.com.
> Para postar neste grupo, envie um e-mail para qgisb...@googlegroups.com.
> Visite este grupo em https://groups.google.com/group/qgisbrasil.
> Para obter mais opções, acesse https://groups.google.com/d/optout.
>

Santamariense Openstreetmapper

unread,
Dec 27, 2016, 10:08:17 PM12/27/16
to qgisbrasil
yjmenezes, saberia criar um script para transformar estes arquivos TXT em formato com campos separados por tabulação/; ?  Eu sei que o IBGE, neste link (http://www.censo2010.ibge.gov.br/cnefe/) fornece já com os separadores de campo, porém os arquivos estão fragmentados em setores censitários. -- Isso facilitará a importação para o QGis para poder se trabalhar com os dados.

Santamariense Openstreetmapper

unread,
Dec 27, 2016, 10:24:36 PM12/27/16
to qgisbrasil
Guarda, você saberia alguma maneira de se centralizar os pontos do CNEFE em sua referida face?


Em domingo, 25 de dezembro de 2016 17:18:47 UTC-2, Antonio Guarda escreveu:

yjmenezes

unread,
Dec 28, 2016, 12:56:28 PM12/28/16
to qgisbrasil
@Santamariense

1- Filtrar e reformatar os TXT ja afirmo que eh 100% possivel usando as ferramentas { SED/AWK,TR,GREP...... } .

2- da para escrever script para baixar os dados, tambem sem click click  { WGET, CURL,... }

3- teria de estudar os campos para ver correspondencia entre dado tabular ( TXT ) e os dados vetoriais do DBF do conjunto de  SHPs de faces de quadras.


@Guarda

sobre os coletores de dados enlatados : anexo.
Se fosse FLOSS, a gente arrumava ;-)

[]s
julio
cartognu.org
ibge_case.pdf

Yuri Cavazin

unread,
Dec 29, 2016, 8:25:24 AM12/29/16
to qgisb...@googlegroups.com
Durante o encontro do State of the Map - OSM em São Paulo esse ano, comentaram que esses dados vetoriais eram de uma empresa privada que disponibilizou para o IBGE, e só foi divulgada agora porque o contrato previa um tempo para disponibilização.

Alguém tem mais informação sobre isso?

Abs,

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+unsubscribe@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.

Antonio Guarda

unread,
Dec 29, 2016, 2:25:06 PM12/29/16
to qgisbrasil
Caros,
Novamente, desculpem a demora em responder
Os equipamentos utilizados foram Mio em 2007 e LG em 2010, como todas as empresas publicas eles fazem licitação... Com o objetivo melhor custo beneficio.
Também acho que deveria ser utilizado melhores equipamentos e aplicativos mais robustos, ou que ainda os aplicativos desenvolvidos pelo próprio IBGE, utilizassem arquivo de pós processamento gps rinex ou ainda utilizar o sinal do RMPG do próprio IBGE para corrigir as coordenadas.
Mas como já me disseram, é muito difícil e os custos de aquisição são altos tanto para equipamento quanto para software, mas o que no fornecem é melhor do que nada. Também fiquei sabendo que os endereços do CNEFE estão sendo atualizados e que esta sendo tirado coordenadas de todos os endereços, mas ainda não esta disponível.
Quanto a pergunta do Santamariense, sim vejo o exemplo que estou enviando (continuo com os arquivos do Julio). Nas orientações esta como eu fiz e quanto aos endereços com erro... Mas o que é chato é que fica todos os endereços sobrepostos em um ponto e não esqueça a chave é o CD_GEO (o código com UF, Município, Distrito, Subdistrito, Setor, Quadra e Face) que possui 21 dígitos.
E Yuri, os arquivos das cidades abaixo de 100 mil habitantes o IBGE criou estes dados vetoriais... e algumas cidades acima de 100 mil habitantes o IBGE licitou para indexar quadras e faces a vetores (muitos vetores foram fornecidos pelo próprio IBGE), agora não sei responder sobre a restrição eu acho que era por questões de validação dos dados. Mas não vou dizer que o material do IBGE é de ótima qualidade, mas é o que possuímos de melhor a nível nacional (venho trabalhando com dados do IBGE desde 2004) e podemos melhorar estas informações através de mapeamento colaborativo como o OSM.

Abraço a todos e feliz ano novo...
Guarda
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.
Centroide_face_enderecos.zip

yjmenezes

unread,
Dec 29, 2016, 2:52:22 PM12/29/16
to qgisbrasil
@Guarda

Realmente os SW poderiam ser mais robustos ou feitos com a supervisao do IBGE.
A questao da precisao, creio que mesmo sem  processamento  e com valores de navegacao com erros de +- 10m ja seria um excelente material e seria possivel com os LG e  Mio.

Ok, eh o material que temos e eh concordo com voce sobre a qualidade, eh o que possuimos de melhor. Thx IBGE.

Creio que seja possivel sim melhorar estes dados com ajuda de voluntarios do OSM. Valeria a pena.

vou dar uma olhada no CD_COD e no seu arquivo.

paz e saude para todos em 2017.

[]s
julio
cartognu.org

yjmenezes

unread,
Dec 31, 2016, 3:09:12 PM12/31/16
to qgisbrasil
@Guarda,

Fiz uma consistencia aqui e observei que existem 3 linhas anomalas no arquivo original TXT do IBGE.

Todas as 32657 linhas deveriam ter 558 caracters mas ha 3 linhas anomalas.

dos2unix < 33001000500.TXT | awk '{ if (length($0) != 558) { printf "%d\t" ,NR }} END { print "total linhas", NR }'

11751    18634    26691    total linhas 32657

Teria de examinar estas 3 linhas.

Pode ser problema de codificacao, ISO-8859-1 == Latin-1  ou WINDOWS-1252 vs UTF-8;

converti para UTF-8 com o ICONV:

iconv  33001000500.TXT -f ISO-8859-1 -t UTF-8  | awk '{ if (length($0) != 558) { printf "%d\t" ,NR }} END { print "total linhas", NR }' 
iconv  33001000500.TXT -f WINDOWS-1252 -t UTF-8  | awk '{ if (length($0) != 558) { printf "%d\t" ,NR }} END { print "total linhas", NR }' 

vou fazer mais umas coisinha aqui, jogar no PostGIS.

[]s
julio
PS: http://i18nqa.com/debug/table-iso8859-1-vs-windows-1252.html#compare





diferenca.zip

Antonio Guarda

unread,
Jan 2, 2017, 5:00:55 PM1/2/17
to qgisbrasil
Boa noite Julio, 
Na analise que fiz utilizando o SPSS, o item que estas três linhas tem em comum é na "Variável = identificação estabelecimento; Posição Inicial = 474; Tamanho = 40; Categorias = Espécie trocada pelo sistema." (a categoria é o atributo do campo) e que como podes ver tem um carácter especial acento "é" e um ponto no final, estes dois itens dependendo do software utilizado na analise/conversão traz como anomalia. 
O arquivo que gerei em csv possui todas as linhas, colunas e atributos conforme o layout,
[ ]'s
Guarda

yjmenezes

unread,
Jan 2, 2017, 5:53:27 PM1/2/17
to qgisbrasil
@Guarda,

1- as 3 linhas anomalas, resolvo com o iconv, da para automatizar.
2- Joguei, agora,  o SHP de faces no Postgis
3- vou analisar aqui as 2 chaves que voce criou.  Quais campos foram concatenados ?
4 existe uma versao GNU/Linux do SPSS
http://savannah.gnu.org/projects/pspp
eu nunca usei.

acho que vamos tirar bons resultados com este material.

[]s
julio

Antonio Guarda

unread,
Jan 3, 2017, 4:20:07 PM1/3/17
to qgisbrasil
1- OK

2- OK

3- As chaves que criei, a segunda chave que possui 15 dígitos e se chama "CD_SETOR" como no arquivo shape das faces serve para indexar informações quanto ao setor censitário e ai podemos fazer analise sócio econômica e possui os seguintes campos concatenados:"Variável = Código da UF; Posição Inicial = 1; Tamanho = 2; Categorias = NULO" CONCATENAR "Variável = Código do município; Posição Inicial = 3; Tamanho = 5; Categorias = NULO" CONCATENAR "Variável = Código do distrito; Posição Inicial = 8; Tamanho = 2; Categorias = NULO" CONCATENAR "Variável = Código do subdistrito; Posição Inicial = 10; Tamanho = 2; Categorias = NULO" CONCATENAR "Variável = Código do setor; Posição Inicial = 12; Tamanho = 4; Categorias = NULO" ---------- Já a primeira chave que se chama "CD_GEO" e possui 21 dígitos como no arquivo shape das faces, é possível indexar os endereços possui os seguintes campos concatenados: "Variável = Código da UF; Posição Inicial = 1; Tamanho = 2; Categorias = NULO" CONCATENAR "Variável = Código do município; Posição Inicial = 3; Tamanho = 5; Categorias = NULO" CONCATENAR "Variável = Código do distrito; Posição Inicial = 8; Tamanho = 2; Categorias = NULO" CONCATENAR "Variável = Código do subdistrito; Posição Inicial = 10; Tamanho = 2; Categorias = NULO" CONCATENAR "Variável = Código do setor; Posição Inicial = 12; Tamanho = 4; Categorias = NULO" CONCATENAR "Variável = Número da quadra ; Posição Inicial = 545; Tamanho = 3; Categorias = NULO" CONCATENAR "Variável = Número da face; Posição Inicial = 548; Tamanho = 3; Categorias = NULO"

4- Se vc perguntou se existe uma versão do SPSS desconheço, mas o SPSS (procure como PASW Statistics) é um software estatístico muito parecido com o R, a diferença é que a interface com o usuário é mais amigável e por janelas como o excel. E o R existe em Linux.

yjmenezes

unread,
Jan 3, 2017, 5:19:16 PM1/3/17
to qgisbrasil
@Guarda,

Thx pela descricao dos campos das chaves dos dados do CNEFE.

Sobre o PASW, eu passei o link do PSPP.
Eh de um programa equivalente,  desenvolvido pelo projeto GNU,  disponivel para GNU/Linux.

Ja o R tambem eh desenvolvido pelo projeto GNU mas eh multiplataforma,  tenho ele rodando no GNU/Linux.

Uso tambem o OCTAVE, outro baita programa, equivalente ao MATLAB.  https://www.gnu.org/software/octave/

we go ahead.

[]s
julio
PS: tenho certa dificuldade com interface amigavel tipo  ekacel ;-)



Santamariense Openstreetmapper

unread,
Jan 7, 2017, 6:50:59 AM1/7/17
to qgisbrasil
Oi Rafael,

Estamos especulando na lista do OSM se em uma dada quadra, a ordem das faces (face 1, 2, 3...) representa a ordem de caminhamento de quem estava a campo levantando os dados. Se isto ocorreu, como disse um colega de lá, "tá matada a charada". Porque daí se tem ideia da ordem das casas.

Você, ou algum dos demais colegas, teria esta informação?

Santamariense Openstreetmapper

unread,
Jan 7, 2017, 10:18:54 AM1/7/17
to qgisbrasil
Respondendo minha própria pergunta, pela análise visual que fiz de 1 txt, tudo leva a crer que sim.

Sabendo isso, alguém teria alguma ideia para automatizar ainda mais a importação???? Sabe-se que a numeração nos TXT está numa ordem de modo que ela vai se distribuindo na ordem decrescente da face... exemplo: face 4 -> face 3 -> face 2 -> face 1

Santamariense Openstreetmapper

unread,
Jan 8, 2017, 10:45:44 AM1/8/17
to qgisbrasil

Algorítimo CNEFE XML OSM

 

Repasso aqui o que postei na lista OSM-BR. Para quem não é ambientado, quando se edita no OSM com o JOSM, se usa arquivos *.osm, que nada mais são que arquivos XML.

Ao passo que cada linha do TXT do CNEFE está em ordem decrescente e 
percorre a quadra (fechada ou não) da face N para a face 1, é possível criar por meio de programa um XML já com a numeração de casas esparramadas ao longo da face.

Se a gente conseguir fazer essa ideia sair do papel, não será preciso ter que esparramar manualmente os números nas faces, ou seja, "80%" de redução de trabalho braçal.

Alguém de vocês já programou escrevendo em arquivos XML? Pessoalmente eu peguei a manha de ler arquivos XML em PHP, mas escrever um XML nunca fiz. Posso até aprender, não me parece difícil. Mas não tenho certeza que PHP seja a linguagem ideal, se há que exista, para escrever os arquivos XML OSM. E mesmo que consiga escrever XML precisaria de ajuda na parte lógica.

Alguém saberia onde encontrar programadores experientes dispostos (a ajudar) a criar um programa para fazer isso? A menos que a gente tenha aqui na lista mesmo ;) Ou todos são programadores :0 ???? Eu sou mais um entusiasta do que alguém preparado para isso.

Algorítimo: Ponta-pé inicial:

Algoritimo CNEFE_XML_OSM;
  Ler o arquivo “.osm” (XML) com as faces.  Armazenar os atributos de cada face em um vetor;
  Ler o aquivo cnefeTXT. Armazenar os atributos de cada casa em um vetor;
  Para cada vetor(cnefeTXT) faça {
        Busca no vetor de faces, a face correspondente;
        Obtêm-se os nodes dos extremos da face;
        Analisa-se o sentido do way da face, observando que o último node da face atual será o primeiro node da face antecessora (visto que o cnefeTXT está em ordem decrescente);
        Com base nas coordenadas dos extremos das faces e com o uso de geometria, aloca-se os pontos ao longo da face;
        Escreve no XML os nodes e seus atributos;
        Escreve no XML as faces e seus atributos, extinguindo-se os nodes originais, e adicionando-se os nodes alocados como referencia;
  }
FIM_Algoritimo;

Rafael Dantas

unread,
Jan 10, 2017, 11:14:11 AM1/10/17
to qgisbrasil
Yuri,

acredito que esta não seja a justificativa, ou que esta justificativa não seja completa.
Pelo pouco que sei, uma parte do mapeamentos foi feito pelo o IBGE com seus funcionários e outra parte foi feito por empresas de roteamento e depois foram avaliados e validados pelo próprio IBGE. Lembro que tínhamos uma amostra de endereços que precisávamos conferir se batiam com a realidade, pra isso, usávamos a lista, o cosmo e quando necessário tínhamos que ir a campo conferir ou no mapa da prefeitura.
Mas pelo que sei, estas empresas foram contratadas exclusivamente para este fim. 
Rafael Dantas

Rafael Dantas

unread,
Jan 10, 2017, 11:29:16 AM1/10/17
to qgisbrasil
Santamariense,

dei uma ligada na agência para falar com meu antigo chefe. Ele me lembrou que cada setor tem um ponto inicial, cada setor te um croqui que está armazenados nos bancos de dados do IBGE e uma descrição do setor, neste descrição tem o ponto inicial onde dá início a contagem das quadras. E o cominho sempre deveria ser feito no sentido horário, assim como a ordem das faces. A face 1 deveria ser a mais ao norte.
Isso foi o que consegui com o telefonema.

Vale a pena dar uma olhada aqui no Manual do Recenseador:


Na página 84 do documento tem um exemplo de caminho.

Eu não encontrei o manual do Agente Censitário da Base Territorial.

Saudações

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+unsubscribe@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.



--
Rafael Dantas

Santamariense Openstreetmapper

unread,
Jan 21, 2017, 6:23:40 PM1/21/17
to qgisbrasil
@Rafael, obrigado pelas informações. Também dei uma lida no manual.

Comunico ainda que um colega subiu ao OpenAdress.io a base de dados do CNEFE. Os pontos estão centralizados na quadra. E onde o alinhamento das ruas do IBGE batem com a realidade, é possível ter uma mediana  obtenção de endereço.

É possível baixar dados em http://results.openaddresses.io/ . Não sei informar se tem API.

Existe uma 2ª proposta para apenas pegar um número central na quadra, e interpolar com o central doutra. Indicada, e explicada o motivo do porquê em  https://wiki.openstreetmap.org/wiki/WikiProject_Brazil/CNEFE_2010/Importa%C3%A7%C3%A3o_dos_endere%C3%A7os por Marcos Medeiros, colaborador do OSM e que trabalha no IBGE, como alguns dos colegas aqui.

Santamariense Openstreetmapper

unread,
Jan 21, 2017, 8:31:02 PM1/21/17
to qgisbrasil
Compartilho com os senhores o relatório de uma simulação de mapeamento de numeração de casas usando o CNEFE. Em anexo relatório + arquivo *.osm que pode ser aberto no JOSM, ou no QGIS por meio de plugins como o QuickOSM + camada de tiles do OSM de fudo.

O relatório se refere ao estudo de caso da Proposta 1 
Relatório de caso CNEFE em SM. Proposta 1.zip

Rafael Dantas

unread,
Jan 22, 2017, 10:21:47 PM1/22/17
to qgisbrasil
Olá meus caros,

dei uma olhada nas propostas, infelizmente não poderei opinar pois já foge um pouco dos meus conhecimentos.

Gostaria de fazer um apontamento um tanto restrito, mas que aca dificultando este tipo de trabalho. Me lembro que uma das cidades de nossa cobertura, no caso Santa Cruz do Rio Pardo, havia um grave problema sequência de números, não sei se de lá para cá a prefeitura resolveu, mas era desordem generalizada.
Com relação a ordem das quadras/faces, havia um método, porém com 200 mil recenseadores certamente que há falhas. Todavia, toda vez que se depara com problemas os funcionários atualizam, mas é muito restrita esta atualização.
A próxima grande operação é no censo de 2020. Mas antes deveria ter a Contagem, como ocorreu em 2007. Vai ter?

Att

Rafael



Em sáb, 21 de jan de 2017 às 23:31, Santamariense Openstreetmapper <image...@gmail.com> escreveu:
Compartilho com os senhores o relatório de uma simulação de mapeamento de numeração de casas usando o CNEFE. Em anexo relatório + arquivo *.osm que pode ser aberto no JOSM, ou no QGIS por meio de plugins como o QuickOSM + camada de tiles do OSM de fudo.

O relatório se refere ao estudo de caso da Proposta 1 

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.

Yuri Cavazin

unread,
Feb 7, 2017, 1:47:48 PM2/7/17
to qgisb...@googlegroups.com
Olá pessoal,

Estou com dúvida no seguinte:

O amigo @Santamariense disponibilizou o CNEFE no OPENADRESS.IO.
Para isso,com certeza houve alguma inteligência e engenharia para geocodificação do CNEFE nos centróides da ruas.

Esse arquivo hoje é "Freely Shareable", "Share-Alike"?

 Imagem inline 1

Qual é a licença desse arquivo?
Entendo que o CNEFE é OpenData, e freely shareable, mas agora que foi aplicado uma inteligência e gastou-se horas na engenharia desses dados, como fica a questão da licença?

Supondo que eu vá usar em um outro projeto diferente daquele da inserção no OSM, devo citar fonte?

Obrigado,

Em 23 de janeiro de 2017 01:21, Rafael Dantas <raffae...@gmail.com> escreveu:
Olá meus caros,

dei uma olhada nas propostas, infelizmente não poderei opinar pois já foge um pouco dos meus conhecimentos.

Gostaria de fazer um apontamento um tanto restrito, mas que aca dificultando este tipo de trabalho. Me lembro que uma das cidades de nossa cobertura, no caso Santa Cruz do Rio Pardo, havia um grave problema sequência de números, não sei se de lá para cá a prefeitura resolveu, mas era desordem generalizada.
Com relação a ordem das quadras/faces, havia um método, porém com 200 mil recenseadores certamente que há falhas. Todavia, toda vez que se depara com problemas os funcionários atualizam, mas é muito restrita esta atualização.
A próxima grande operação é no censo de 2020. Mas antes deveria ter a Contagem, como ocorreu em 2007. Vai ter?

Att

Rafael


Em sáb, 21 de jan de 2017 às 23:31, Santamariense Openstreetmapper <image...@gmail.com> escreveu:
Compartilho com os senhores o relatório de uma simulação de mapeamento de numeração de casas usando o CNEFE. Em anexo relatório + arquivo *.osm que pode ser aberto no JOSM, ou no QGIS por meio de plugins como o QuickOSM + camada de tiles do OSM de fudo.

O relatório se refere ao estudo de caso da Proposta 1 

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+unsubscribe@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+unsubscribe@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.

Santamariense Openstreetmapper

unread,
Feb 7, 2017, 2:54:25 PM2/7/17
to qgisbrasil
Só para corrigir, eu disponibilizei apenas o link. O trabalho foi feito pelo usuário Papibaquígrafo.

Então vou perguntar para ele ;)...
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.

Santamariense Openstreetmapper

unread,
Feb 9, 2017, 2:09:20 PM2/9/17
to qgisbrasil
Quando aos dados do CNEFE que estão lá no openadresses, o Papibaquígrafo mantem em o direito de uso original do IBGE.


Em terça-feira, 7 de fevereiro de 2017 16:47:48 UTC-2, Yuri Cavazin escreveu:
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.

Yuri Cavazin

unread,
Feb 10, 2017, 6:28:18 AM2/10/17
to qgisb...@googlegroups.com
Obrigado Santamariense, agradece tampém ao Pabibaquígrafo por disponibilizar de suas horas para dividir com a comunidade.

Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+unsubscribe@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.
Message has been deleted

amarcosgeo

unread,
Jun 3, 2018, 7:57:04 AM6/3/18
to qgisbrasil
Olá pessoal, surgiu alguma novidade nesse assunto?

Venho trabalhando com o CNEFE a cerca de um ano e consegui fazer o georreferenciamento dos endereços. Em outubro vou publicar um TCC onde demonstro a abordagem e a implementação.


Em domingo, 18 de dezembro de 2016 01:58:21 UTC-2, Santamariense Openstreetmapper escreveu:
Caros colegas QGiseiros,

No OpenStreetMap estamos discutindo sobre a importação de dados do CNEFE. Com ele será possível coisas como, melhor navegação e até mesmo uma melhor precisão em geocoding que muito é útil para quem gera endereços para objetos usando algumas ferramentas aqui do QGIS.

Existe toda uma questão de como isso será importado lá no OSM, mas creio que a comunidade QGIS possa ajudar nisso:

SANDRO SILVA

unread,
Jun 3, 2018, 9:03:20 AM6/3/18
to qgisb...@googlegroups.com
Pessoal bom dia, desculpem a minha ignorância, mas como faço para transformar esse arquivo baixado do CNEFE para shp no qgis, baixei um arquivo aqui como exemplo do rio de janeiro e ele veio em formato txt.
obrigado

--
Comunidade QGIS Brasil: http://qgisbrasil.org/
---
Você recebeu essa mensagem porque está inscrito no grupo "qgisbrasil" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.


--

"Você é um espelho que reflete a imagem do Senhor
Não chore se o mundo ainda não notou
Já é o bastante, Deus reconheceu o seu valor
Você é precioso, mais raro que o ouro puro de ofir
Se você desistiu Deus não vai desistir
Ele está aqui prá te levantar se o mundo te fizer cair."(RARIDADE-ANDÉRSON FREIRE)

Kyle Felipe

unread,
Jun 3, 2018, 4:59:04 PM6/3/18
to qgisbrasil
@Sandro  da uma olhada nesse link do @Anderson Medeiros http://www.andersonmedeiros.com/qgis-add-xy/

SANDRO SILVA

unread,
Jun 3, 2018, 5:19:46 PM6/3/18
to qgisb...@googlegroups.com
Kyle, boa noite, mas nas tabelas do Cnefe não tem as coordenadas e o arquivo está no formato txt e  estou tendo dificuldades para abri-lo em excell ou open office para transformar em csv.

Antonio Guarda

unread,
Jun 4, 2018, 7:59:07 AM6/4/18
to qgisbrasil
Oi Antonio Marcos!
Conforme já postei em outros temas, abaixo esta a descrição de como oriento o pessoal a utilizar. 
Os endereços rurais tem coordenadas. Os endereços urbanos devem ser obtidas as coordenadas atraves do arquivo de shape de quadra e face e apos fazer a união.
A dificuldade esta que vc tem que gerar um arquivo de pontos com coordenadas através do arquivo de linhas de quadra e face, mantendo o CD_GEO e exportar para csv, apos com um programa de banco de dados (não consegui fazer com o QGIS) criar uma tabela com todos os endereços associados com os centroides de quadra e face (arquivo de pontos citado a cima) e o pior distribuir estes pontos ao longo da linha de quadra e face quando retornar ao QGIs.
___________________________

Caros, conforme a solicitação de que eu explicasse como obter maiores detalhes por faces de quadra do arquivo do IBGE, para que se possa fazer um uso mais detalhado por divisões de usos, do jeito que fiz os mapas de calor. Bom estou explicando através de uma discusão que tive sobre o assunto do grupo do Google sobre o QGIS, logo peço desculpas por algum erro. Mas basta entrar em contato dizendo a dificuldade que explico melhor.

Cab esclarecer que existem dois arquivos um em shape e outro em txt. E que alguns destes arquivos em shape de algumas localidades e municípios está com algum deslocamento (este deslocamento pode ser por vários motivos). Estes arquivos estão por Unidade da Federação, codigo do municipio e distrito, e encontrarm-se no endereço http://downloads.ibge.gov.br/downloads_geociencias.htm no diretorio organizacao_do_territorio\recortes_para_fins_estatisticos\malha_de_setores_censitatios\censo_2010\base_de_faces_de_logradouros\... estes arquivos em shape são de todas as faces de logradouros em perímetro urbano legal do pais (com código de situação 1), possuindo os seguintes atributos:  ID = 25461334; CD_GEO = 420540740000011001006; CD_SETOR = 420540740000011; CD_QUADRA = 001; CD_FACE = 006; NM_TIPO_LO = SERVIDAO; NM_TITULO_ = "null"; NM_NOME_LO = FLORISBELA MARIA FERRAZ; TOT_RES = 18; TOT_GERAL = 19.

Não esqueçam que este arquivo esta em SIRGAS2000 com coordenadas em graus decimais. Através deste arquivo se deve gerar um outro arquivo com o centroide das linhas, e devera conter as coordenadas dos pontos, mantendo os atributos das linhas. Logo teremos um arquivo de linhas e outro de pontos com o mesmo atributo. Cada ponto ainda não representa os endereços. Não estando relacionado nestes arquivos os endereços desta face de logradouro, pois seria uma associação 1 para "N" e queremos uma associação 1 para 1 para os endereços. Os endereços estão em outro arquivo que não esta georreferenciado por coordenadas, mas são passives através de associação. Este arquivos de pontos devera ser salvo em CSV para que possamos fazer a associação com os endereços que estava em txt e foram convertidos e transformados e geocodificados conforme é necessário para a associação.

Já o segundo arquivo é um banco de dados alfanumérico dos endereços comentados (e que poderão ser associados ao arquivo shape das áreas urbanas). Sendo que os endereços situados em área rural possuem coordenadas. Este arquivo alfanumérico é disponibilizado em extensão texto, e alguns setores rurais não possuem coordenadas por ter havido erro operacional ou do equipamento em campo, e também deve ser avaliado pois as coordenadas são obtidas com gps de navegação podendo haver erros por vários motivos (atmosférico, interferência, horizonte da constelação, etc.). Logo devemos dividir este arquivo em dois os endereços (que serão do rural) com coordenadas, e os endereços sem cooordenadas (que serão do urbano) este devera ser feita a associação com o arquivo de pontos.

Estes arquivos também estão por Unidade da Federação, município e distrito no endereço http://downloads.ibge.gov.br/downloads_estatisticas.htm no diretório Censos\Censo_Demografico_2010\Cadastro_Nacional_de_Enderecos_Fins_Estatisticos e o arquivo Layout_Donwload.xls nos fornece a estrutura do arquivo txt.

Vejam que nessa estrutura possuem as sequintes colunas ou atributos CD_UF; CD_Munic¡pio; CD_Distrito; CD_Subdistrito; Situacao_Setor; Tipo_Logradouro; Titulo_Logradouro; Nome_Logradouro; Numero_Logradouro;         Modificador_Numero; Elemento_1; Valor_1; Elemento_2; Valor_2; Elemento_3; Valor_3; Elemento_4; Valor_4; Elemento_5; Valor_5; Elemento_6; Valor_6; Latitude; Longitude; Localidade; Nulo; Especie_Endereco; Identificacao_Estabelecimento; Indicador_Endereco; Identificacao_Domicilio_Coletivo; Numero_Quadra; Numero_Face; e CEP.

Considerando que Situacao_Setor se 1 é igual a urbano e 2 a rural. E Especie_Endereco se 01=domicílio particular; 02=domicílio coletivo; 03=estabeleciemento agropecuário; 04=estabelecimento de ensino; 05=estabelecimento de saúde; 06=estabeleciemento de outras finalidades; e 07=edificação em construção.

Já na Identificacao_Estabelecimento podemos identificar fazendo um filtro em cada uma das espécie de endereços  o tipo de estabelecimento, pois neste campo o pesquisador deve disser o nome ou a atividade do estabelecimento. No campo Indicador_Endereco se 1=único e 2=múltiplo.

Para podermos associar os arquivos de pontos ou centroides das linhas de face de quadra com o arquivo txt de endereços primeiro devemos separar o arquivo de texto conforme o Layout. Após devemos concatenar os atributos preenchendo os campos faltantes com “0” para deixar os campos passiveis de indexação. Por exemplo, para obtermos um campo ou atributo igual ao CD_GEO que deve ser como este “420540740000011001006” do arquivo shape, devemos concatenar os campos CD_Munic¡pio; CD_Distrito; CD_Subdistrito; Situacao_Setor; Numero_Quadra; e Numero_Face, preenchendo os campos faltantes com “0” conforme já dito. Assim como devemos fazer o mesmo para obter o CD_SETOR que deve ser como este “420540740000011”, concatenando os campos CD_Munic¡pio; CD_Distrito; CD_Subdistrito; Situacao_Setor.

Feito isto podemos levar o arquivo para o QGis SIG e fazer a união com o arquivo shape.

______________________________

Tenha um bom trabalho.

Kyle Felipe

unread,
Jun 4, 2018, 12:59:02 PM6/4/18
to qgisbrasil
Todo csv é um TXT com os dados separados por um padrão, se vc abrir o TXT no qgis (usando a ferramenta de importar um CSV) basta vc ver qual é a forma de separação dos dados na parte de baixo da tela e configurar a importação....

Yuri Cavazin Serillo

unread,
Jun 5, 2018, 7:00:25 AM6/5/18
to qgisb...@googlegroups.com
Obrigado @Antonio por compartilhar seu processo. Porém os pontos de endereço teriam sua localização interpolada não é mesmo? Podemos ter desvios de precisão.
Tudo depende do requerimento...pode ser que para um projeto a precisão não seja necessária...

Uma pergunta rápida:
  1. Alguém já conseguiu transformar o "Faces de Logradouros" para linhas centrais de logradouros? Transformar as duas faces em uma única? Eu tentei mas não obtive sucesso...

Obrigado,

Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+unsubscribe@googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/optout.



--

Antonio Marcos

unread,
Jun 5, 2018, 10:01:18 AM6/5/18
to qgisb...@googlegroups.com, Yuri Cavazin Serillo
Olá Yuri, 

você tocou num ponto importante, a questão da precisão. Eu já consegui fazer a interpolação e a precisão e muito boa =~ 20 metros e no pior dos casos a precisão é de meia quadra, desde que o arquivo de faces não esteja com problema.

Isso no leva a outra questão: qual a precisão dos serviços de geocodificação?


Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para qgisbrasil+unsubscribe@ googlegroups.com.

Para postar nesse grupo, envie um e-mail para qgisb...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/ group/qgisbrasil.
Para mais opções, acesse https://groups.google.com/d/ optout.
--
Yuri Cavazin
Quality, Training and Methods

--

Fernando Costa

unread,
Sep 12, 2022, 3:04:36 PM9/12/22
to qgisbrasil
boa tarde!

Alguem poderia indicar onde posso baixar o CNEFE atualizado que está sendo utilizado neste censo? CNEFE 2020 creio eu...

grato desde ja
Fernando

yjmenezes

unread,
Sep 15, 2022, 8:24:40 AM9/15/22
to qgisbrasil
Reply all
Reply to author
Forward
0 new messages