Ajuda pesquisa antropologia (Site Igreja Universal)

[Gustavo Aires]

Olá, um amigo meu passou o contato de vocês. Estudo na USP e tenho um projeto de pesquisa relacionado a Igreja Universal. Para realizar o estudo de diretrizes de expansão da igreja eu precisaria de todos os endereços das filiais pelo mundo. Esses endereços estão disponíveis no site, mas são quase 6.000 . Existe alguma forma de coletar esses dados por meio de algum programa de moda mais rápido e fácil?

o site é www.universal.org/endrecos/

Se alguém puder me ajudar agradeço muito (:

[Pedro Markun]

Existe.

Scraping ta ai pra isso :)

--
Você recebeu essa mensagem porque está inscrito no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAAY5BNza2tgwTwnUD2GDxLX2h0vSiD2VCNVuV_MDn%2BNLnh8%2BRQ%40mail.gmail.com.
Para mais opções, acesse https://groups.google.com/d/optout.

[Vitor Baptista]

Oi Gustavo,

A forma de fazer isso, no geral, involve programação. Como o site de endereços é relativamente simples, é possível que você consiga extrair os dados usando o Portia (http://scrapinghub.com/portia/), evitando programar (caso você não saiba).

Abraços,

Vitor.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CABnW7VfSyz2WD_Ot9aeSvu%2BMJXbH0WKp6kym4EwMKcnP-N4pNQ%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

--

Vítor Baptista

http://vitorbaptista.com

[Alex Juchem]

Olá @Gustavo e de mais.

Como o Vitor falou, é muito simples pegar esses dados ai, no momento estou sem tempo :(

Uma dica que te deixo é usar a YQL, até fiz aqui para obter a 1º página:

https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20html%20where%20url%3D%27http%3A%2F%2Fwww.universal.org%2Fenderecos%2Ftodas%2F1%2F%27%20and%20xpath%3D%27%2F%2F*%5B%40id%3D%22viewlist%22%5D%2Ful%5B2%5D%2Fli%27&format=json&env=store%3A%2F%2Fdatatables.org%2Falltableswithkeys

Tu pode ver como ficou estruturando o resultado (json) colando ele nesse editor online: http://www.jsoneditoronline.org/?id=dc2a58f3988eabbd2ea14373513c87f2

O YQL pode te devolver o resultado em formato json ou xml.

Documentação do YQL: https://developer.yahoo.com/yql/

Para procurar o que tu quer em uma página, o YQL utiliza o xpath.

Abraços.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CANybZpcaddVaH95eUGEKN_BmTZyWHqXTZfNJ2hx%3DeZz1Oi8OLg%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

--

<?= ((('1 cachorro' + '1 gato') == '2 mamíferos') ? 'Verdadeiro' : 'Falso');

[Julio Trecenti]

Consegui baixar dentro do Brasil (5938).

O problema é que se vc busca algo muito vago ele nao solta os resultados.

O código nao deve mudar muito para pegar o resto do mundo.

Código aqui (em R): https://gist.github.com/jtrecenti/cae4c23b95e967cbfd7c 

Divirta-se!

Abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAF9WOCyTdOj%2BebMwdwyUv-znC7qcg9qauPZqwX3b3_NYvgqzYw%40mail.gmail.com.