Acesso a mapa "Estação Radiobase"da Anatel

[Tiago Cardieri]

A Anatel disponibiliza mapa das Estações Radiobase instaladas por todo território nacional.

Indica poder exportar o arquivo para "Excel", mas o arquivo vem em .asp.

Alguem sabe como consigo acessar?

http://sistemas.anatel.gov.br/stel/consultas/ListaEstacoesLocalidade/tela.asp?pNumServico=010

[Luiz Carlos V Silva]

Consultando o Google:  Clica com o botão direito no arquivo, depois clica em propriedades e aonde estiver escrito "Abre com": você coloca o seu navegador, exemplo - Google Chrome, Internet Explorer, Firefox entre outros.

Vai aparecer da mesma forma que visualizada na página de consulta.  Agora e converter realmente para o excel?

Luiz Carlos

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

[Tiago Cardieri]

Não conseguia pq tentava pelo safari. Consegui pelo firefox.

Mas como exporto de .asp, visualizado pelo navedor, em excel ou outro tipo de tabela?

[Pedro Markun]

Cardieri,

parece mesmo bugado daqui. Mas brincando um pouco com os parametros do POST acho que da pra resolver.

(Lembra aquele Plugin Live HTTP Header que eu mencionei? Ele te mostra exatamente o que o seu navegador esta pedindo do servidor.)

abs,
Pedro Markun

2012/5/3 Tiago Cardieri <tha...@tiago.adm.br>

[Tiago Cardieri]

Vou tentar aplicar scrapewiki nele e depois te aviso pra me mostrar como construir o banco de dados?

Tiago Duarte Cardieri 

Skype: tcardieri

[Pedro Markun]

beleuza :)

na quarta que vem estou ai, se quiser fazer uma rodada de aula de scraping em cima desses dados.

2012/5/3 Tiago Cardieri <tha...@tiago.adm.br>

[Patrícia Cornils]

eu queremos!

Patrícia Cornils
11 8372-7473

[Pedro Markun]

fechado então. 19hs?

abs,
pedro markun

2012/5/3 Patrícia Cornils <patrici...@gmail.com>

[Patrícia Cornils]

de que dia, mano?

[Luiz Carlos V Silva]

Oi Tiago,

Tambem não consegui abrir com o Safari, mas abriu no Firefox e Chrome.

Luiz Carlos

[Pedro Markun]

quarta?

2012/5/3 Patrícia Cornils <patrici...@gmail.com>

[Edmilton Neves]

Boas Pessoal!

Cardieri, baixei aqui usando o Chrome. Baixei só para SP e gerou um arquivo de uns 20Mb +/-.

Ao abrir o arquivo dá umas mensagens de formatação, mas, mesmo assim consegui abrir o arquivo com o Excel (Office 2010) e a partir daí gerei um .xls e um .ods numa boa.

Se precisarem do arquivo já pra montar o banco de dados, avisem-me.

Ou melhor, já posso montar um banco de dados com estas informações, mas não sei se tiraria o foco da oficina que estão planejando pra quarta.

O que acham?

Gde. Abraço!

Ed

2012/5/3 Pedro Markun <pe...@esfera.mobi>

[Pedro Markun]

Edmilton,

a oficina pode rolar de todo jeito. Tentei aqui com Chrome e nem com reza brava... tem como subir os arquivos ou montar o db? Sempre ajuda! :)


abs,
Pedro Markun

2012/5/4 Edmilton Neves <edmilto...@gmail.com>

[Tiago Cardieri]

Pô, Edmilton! Se puder subir esse arquivo seria fantástico!

[Patrícia Cornils]

Bota lá no DataHub!

Patrícia Cornils
11 8372-7473

[Pedro Markun]

total!

datahub-lo!

2012/5/4 Patrícia Cornils <patrici...@gmail.com>

[Edmilton Neves]

Opa, 

só confirmando, o data-hub mencionado é este [1]?

Desculpem a ignorância! =)

Se for este, vou ver como funciona e subo a base lá.

[1]  http://thedatahub.org/ 

Gde. Abraço!

2012/5/4 Pedro Markun <pe...@esfera.mobi>

--
Ed

[Pedro Markun]

É isso ai, Edmilton.

É mole. Acho que ele inclusive parseia CSV e XLS sozinho...

Pati, vc usou né? Podia escrever um tutorialzinho em portugues claro, que acha?

[Patrícia Cornils]

Posso tentar. Mas usei com um tutorial ao vivo e a cores, o Rufus. Preciso usar de novo, sozinha, para fazer. Vamos ver se na Virada consigo.

[Pedro Markun]

Eu posso ajudar, pati

é só pq acho que vc vai justamente conseguir traduzir o tutorial pra mais gente ;)

Da pra fazer um screencast quem sabe.

2012/5/4 Patrícia Cornils <patrici...@gmail.com>

[Edmilton Neves]

Boas Pessoal!

Subi o arquivo bruto mesmo aqui [1]. Por favor, veja se conseguem acessar e se ajuda do jeito que está.

Por enquanto apenas SP e AC. Vou entrar numa reunião e mais tarde eu subo o restante.

Depois com mais calma vou dar uma olhada nas APIs e estruturar um dataset melhor para fazermos as consultas.

[1] http://thedatahub.org/dataset/estacoes_anatel 

Gde. Abraço!
Ed

[Pedro Markun]

Edmilton,

então o lance do datahub é que se vc subir um CSV ele já parseia e devolve uma api rest baseada no elasticsearch :D

abs,
Pedro Markun

2012/5/4 Edmilton Neves <edmilto...@gmail.com>

Boas Pessoal!

[Tiago Cardieri]

Alguem topa/é mt dificil (?) colocar essas estações no gmaps?

[Pedro Markun]

Estava dando uma olhada, Cardieri.

É mole, tem que dar um tapa nas coordenada e dar uma limpada na tabela.

O ideal é que cada linha tenha no fim a informação da operadora. Pra gente fazer os filtros.

Vou ver se trabalho nisso no vôo. Mas se quiser brincar o Google Fusion faz.

abs,
Pedro Markun

2012/5/4 Tiago Cardieri <tha...@tiago.adm.br>

[Tiago Cardieri]

No datahub só esta disponivel em .ods. Como funciona exportação pra .xls?

[Pedro Markun]

Oi?

Baixa o LibreOffice, Cardieri.

Liberte-se!

http://pt-br.libreoffice.org/

[Tulio Macedo]

Ótima solução.

[Patrícia Cornils]

:)

Patrícia Cornils
11 8372-7473

[Tiago Cardieri]

libertei-me.

[Tulio Macedo]

\o/

[Pedro Markun]

pra dar um gostinho:

https://www.google.com/fusiontables/DataSource?docid=1PfVdKTmlj6DhoWrluGkam4H_qPabJXNmfDmLI_k

vai em view, map e escolhe heatmap.

só estão as da vivo. Pq precisa colocar a empresa responsavel (e cnpj e outras informacoes) em cada linha.

Pra fazer em casa:

No LibreOffice, seleciona a coluna de Latitude e manda dar 'Procurar e Substituir'
Ai vai em opções avançadas, seleciona 'expressões regulares' e manda substituir:
(.*) <- tudo!
por
-$1 <- tudo mas com o '-' na frente

e ai manda substituir de novo:
'S'
por
'.'

pra deixar no formato certo.

Faz o mesmo com longitude, só que ao invés de S é W.

No fim vai passar tudo de:
Latitude     Longitude
22S281890     48W575586

Pra
Latitude     Longitude
-22.281890     -48.575586

Manda brasa!

abs,
pedro

2012/5/4 Tulio Macedo <tuli...@gmail.com>

[Tiago Cardieri]

Edmilton, rola vc fazer o mesmo com as outras operadoras?

[José Antonio Rocha]

Na visão normal os pontos ficam reunidos em clusters padrão de grade.
Estranho, parece um erro de arredondamento de coordenadas geográficas...

Em 4 de maio de 2012 19:33, Pedro Markun <pe...@esfera.mobi> escreveu:

pra dar um gostinho:

https://www.google.com/fusiontables/DataSource?docid=1PfVdKTmlj6DhoWrluGkam4H_qPabJXNmfDmLI_k

vai em view, map e escolhe heatmap.

--

---

nome: "José Antonio Meira da Rocha"
googletalk: email: MSN: joseanto...@gmail.com
veículo: [ http://meiradarocha.jor.br ]

---

[Pedro Markun]

Na verdade faz algum sentido que as torres estejam em padrão de grade.

Mas da pra re-georeferenciar os endereços pra testar.

abs,
Pedro Markun

2012/5/4 José Antonio Rocha <joseanto...@gmail.com>

[Tiago Cardieri]

Tem como agregar raio padrão da estação radiobase na visualização?

[Patrícia Cornils]

Tiago,


Dois bits:

A prefeitura de SP entrou com uma ação contra operadoras, argumentando que há mais de 2 mil ERBs ilegais na cidade. Não sei onde nem quem nem como, vou tentar apurar. A lei de SP é de 2004. Já na época, os caras da Telesp Celular (que é a Telefônica) diziam que grande parte da rede era ilegal...

Patrícia Cornils
11 8372-7473

[Edmilton Neves]

Boas Pessoal!

Tô na área novamente!

Pedro, ficou muito bom!

Uma dúvida, em Taboão da Serra existem 5 estações (Vivo), mas no mapa não exibe nada. Pode ser problema com as coordenadas?

Pra alinhar o que precisamos fazer:

1) Gerar os arquivos .csv de cada UF já com os dados da operadora (nome e cnpj tá bom?) na mesma linha dos dados de estações.

2) Dado estes arquivos .csv, fazer a lição de casa sugerida pelo Pedro, para acertar os dados de localização.

3) Subir estes dados no FusionTable;

Os dois primeiros passos eu consigo fazer de boa e estou começando agora. Pra subir no FusionTable vou dar uma sapeada em como fazer e mantenho informados, deve ser algo simples.

2012/5/4 Tiago Cardieri <tha...@tiago.adm.br>

Tem como agregar raio padrão da estação radiobase na visualização?

Cardieri, não entendi o lance do raio padrão.

É isso!

Gde. Abraço!

Ed

2012/5/4 Tiago Cardieri <tha...@tiago.adm.br>

--
Ed

[Edmilton Neves]

Nos mesmos moldes que o Pedro criou:

https://www.google.com/fusiontables/DataSource?docid=1EV2fldG4eOD2x_N-rjXViAXk-NQmjncoUgCm_gA 

Ai estão todas as estações já com os dados das operadoras do estado de SP.

Por ai já dá pra exportar os dados e gerar um .csv, então acho que nem precisa subir agora no data-hub. Confere?

Depois farei dos outros estados.

Gde. Abraço!

2012/5/4 Edmilton Neves <edmilto...@gmail.com>

--
Ed

[Edmilton Neves]

Boas Pessoal!

Algo estranho com as coordenadas, mas é desde a origem do dado.

Por exemplo:

A estação  683843575, tem como logradouro a  RUA THEO DUTRA - nº 370 na Vl. Sonia. Está no arquivo como latitude: 23S355500.

Mas, pelo Google Maps, a latitude desta rua é: -23.598805

Sugestões?

Vou nessa, amanhã tem mais! =)

Gde. Abraço!

--
Ed

[Klederson Bueno]

Eu n consigo acessar essa fusion table tem como liberar acesso?

--
/**
 * PHP Architect/Consultant
 * @author Klederson Bueno <klederson [at] klederson [dot] com>
 * @see http://www.phpburn.com
 * @see http://github.com/klederson
 * @see http://www.twitter.com/klederson

 * @about http://about.me/klederson
 */

[Edmilton Neves]

Opa, agora está público. Desculpem a falha! =)

2012/5/4 Klederson Bueno <kled...@klederson.com>

--
Ed

[José Antonio Rocha]

Suspeito que os dados estejam no formato graus-minutos-segundos-décimos.

23S355500 ==> 23°35'55.00S

Em 5 de maio de 2012 10:03, Edmilton Neves <edmilto...@gmail.com> escreveu:

A estação  683843575, tem como logradouro a  RUA THEO DUTRA - nº 370 na Vl. Sonia. Está no arquivo como latitude: 23S355500.

Mas, pelo Google Maps, a latitude desta rua é: -23.598805

Sugestões?

[José Antonio Rocha]

Editei com um editor de texto plano e coloquei <html><head> no início. Mudei a extensão para .html e abri no navegador.

Em 3 de maio de 2012 15:58, Tiago Cardieri <tha...@tiago.adm.br> escreveu:

Mas como exporto de .asp, visualizado pelo navedor, em excel ou outro tipo de tabela?

[José Antonio Rocha]

Consegui reformatar os dados assim:

1. Editei com um editor de texto plano e coloquei <html><head> no início. Mudei a extensão para .html e abri no navegador.

1. Copiei a página HTML inteira e colei no Notepad++ (rodando em Wine).
2. Copiei todo o texto do Notepad++ e colei no LibreOffice Calc. Este meio-campo elimina células mescladas na tabela final.
   
3. Inseri uma coluna A onde colei o nome das operadoras (isto é, criei um campo "Operadora").
   
4. Apaguei os dados das operadoras no início de cada bloco de estações.
5. Criei colunas auxiliares ao lado das colunas de latitude e longitude com a fórmula para converter as medidas em graus-minutos-segundos-décimos para graus-décimos:
   Para latitude: =CONCATENAR(SE(EXT.TEXTO(H2;3;1)="S";"-";"");EXT.TEXTO(H2;4;2)+(EXT.TEXTO(H2;4;2)+CONCATENAR(EXT.TEXTO(H2;6;2);",";EXT.TEXTO(H2;8;2))/60)/60)
   Para longitude: =CONCATENAR(SE(EXT.TEXTO(J2;3;1)="W";"-";"");EXT.TEXTO(J2;4;2)+(EXT.TEXTO(J2;4;2)+CONCATENAR(EXT.TEXTO(J2;6;2);",";EXT.TEXTO(J2;8;2))/60)/60)
   Substitua H2 e J2 pela coluna onde estiverem, respectivamente a latitude e longitude no formato "Anatel".
   
6. Copiei a tabela e colei no Notepad++ para obter as coordenadas em números. Acho que o Google Fusion não faz os cálculos das fórmulas acima.
   
7. Substituí a vírgula decimal pelo ponto decimal com a expressão regular "([0-9][0-9])," substituída por "\1."  (não consegui fazer isto no Calc).
   
8. Gravei como CSV e mandei para o GFusion, indicando TAB como separador e eliminando as colunas de coordenadas inválidas.
   

https://www.google.com/fusiontables/DataSource?snapid=S486564nLqd

[José Antonio Rocha]

Correção:

Em 5 de maio de 2012 21:41, José Antonio Rocha <joseanto...@gmail.com> escreveu:

Para latitude: =CONCATENAR(SE(EXT.TEXTO(H2;3;1)="S";"-";"");EXT.TEXTO(H2;1;2)+(EXT.TEXTO(H2;4;2)+CONCATENAR(EXT.TEXTO(H2;6;2);",";EXT.TEXTO(H2;8;2))/60)/60)
Para longitude: =CONCATENAR(SE(EXT.TEXTO(J2;3;1)="W";"-";"");EXT.TEXTO(J2;1;2)+(EXT.TEXTO(J2;4;2)+CONCATENAR(EXT.TEXTO(J2;6;2);",";EXT.TEXTO(J2;8;2))/60)/60)

[Edmilton Neves]

Boas Pessoal!

José Antonio, matou a pau! As coordenadas estão do jeitinho que vc falou.

Bom, liberei alguns arquivos .csv (de AC à DF + SP) lá no data-hub [1].

Nestes arquivos já temos as operadoras na mesma linha das estações, mas os dados de localização estão brutos (do jeito que veio da Anatel). 

Então, num resumão, ainda preciso:

- Aplicar esta função que o José Antonio mandou e criar as duas colunas com a localização formatada.

- Subir arquivos .csv das outras UFs;

[1] http://thedatahub.org/en/dataset/estacoes_anatel

Gde. Abraço!

Ed

[Pedro Belasco]

Caras, cheguei atrasadom, mas quando vi que resolveram, jás tinha escrto a mensagem .. 

está errada esta conversão.

o formato da tabela é em radianos, que tem que ser convertido para decimal.

22S281890 quer dizer Latitude sul, 22graus, 28 minutos, 18,9 segundos

isso é 22.471916670 graus decimais ou 0.392208935 radianos ... tem que fazer assim, senão dá errado.

o google maps / osm gosta de decimais, que é mais fácil de calcular com computadores.

tem este conversor aqui http://www.csgnetwork.com/degminseccalc.html que faz o calculo, que é meio chatinho... eu tinha um webservice que fazie essa conversão em algum servidor, preciso achar.

2012/5/4 Pedro Markun <pe...@esfera.mobi>

--
Pedro Belasco
-11 8108 4565

[Tiago Cardieri]

Duas coisas:

1) Zuardi deu idéia de usar esses dados para melhorar o banco de dados do OpenStreetMaps. Rola?

2) Tem como cruzar esses endereços com sites (scraperwiki) de contato telefonico (p.e.,  http://www.telelistas.net/ ), para que os proprietarios de imoveis locados para ERBs sejam contatados?

[Pedro Markun]

2) Tem que fazer login no telelistas... mas a principio dá :)
2a) O que me lembra da ideia da pati de pegar a base de orelhões e fazer um app-voip que ligue pra todos pra ver quais funcionam.

abs,
Pedro Markun

2012/5/9 Tiago Cardieri <tha...@tiago.adm.br>