[thackday] Dados a serem raspados

[Emerson Vinicius]

Olá
Gostaria de compartilhar um problema/duvida minha.
Sempre me pego na duvida: "O que raspar?", ou seja, tenho vontade, e de certa forma tempo, para ajudar em alguma coisa mais não sei onde buscar as informações e se tem não sei como mostra-las

Seria interessante se tivesse local(poderia ser na wiki mesmo) onde teria informações(link, o que precisa trazer, etc) de dados que por algum motivo seja importante para ser raspados.

Não sei se foi claro, mais é apenas uma idéia e gostaria de saber o que vocês acham

Emerson Vinicius - Web Developer
Skype: emersonvinicius
Gtalk: duke.m16 ou duke16.x
Twitter: @emersonvinicius
MSN: ers_d...@hotmail.com

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.

[Pedro Markun]

Oi Emerson,

muito bom! Tem algumas coisas no wiki do thackday e mais algumas coisas no wiki do legisdados... mas concordo que seria legal centralizar mesmo.

Ainda vou escrever mais sobre isso, mas estamos já tem algum tempo planejando um espaço para a comunidade conseguir articular melhor seus projetos e eventos. A idéia é um cruzamento de kickstart.com com o repositório de projetos da sunlight foundation com mais algumas coisas.... shaked, not blended...

Por hora... com as eleições chegando, todo o material do TSE e TREs é bem vindo! E eu ainda estou na pilha (apesar de alguem da comunidade ter me falado que estava em cima disso) de montar aquele site que rankeia os servidores públicos pela quantidade de milhas aéres que eles voaram, a partir dos registros de viagens disponiveis nos sites de governo.

abs,
Pedro Markun

2010/5/25 Emerson Vinicius <duke...@gmail.com>

[Emerson Vinicius]

Opa

Vlw Pedro

Vou ver se brinco com os dados do TSE 

Emerson Vinicius -  Web Developer

Skype: emersonvinicius

Gtalk: duke.m16 ou duke16.x

Twitter: @emersonvinicius

MSN: ers_d...@hotmail.com

[Ricardo Poppi]

Duke, eu criei um script no selenium ide que raspa o resultado das eleições por zona eleitoral, disponíveis no TSE. A idéia é usar esses dados para ampliar o xerifes do df para o Brasil. Fiz uma postagem sobre isso.

O problema é que o seleninum ide para quando encontra um erro, e no tse tem várias tabelas faltando, então ele para toda hora...:(

O próximo passo é melhorar esse script, usando selenium rc (ou criar um "from scratch"), que raspe esses resultados sem dar erro. Ai podemos compartilhar esses dados no "catálogo" do thackday.

Abcs!

Ricardo Poppi
http://www.google.com/profiles/ricabras

Emerson Vinicius escreveu:

[Pedro Belasco]

Caríssimo Poppi, 

Fiz umas experiência bem sucedidas com o greasemonkey + um webservice para raspagem de páginas restritas.

Podemos tentar colocar alguma coisa no ar para o TSE, que dá inclusive, para distribuir entre raspadores voluntários.

Aliás? O senhor está em SP agora?

Um abração...

P.

[Ricardo Poppi]

Pedro! Que bom, vou querer umas aulinhas sobre essa sua experiência. Estou em SP, vou estar no conip amanhã, chego no período da manhã, em algum horário ainda desconhecido...hehehe. Mas acho que nos vemos por lá, não?

Ricardo Poppi
http://www.google.com/profiles/ricabras

Pedro Belasco escreveu:

[Pedro Belasco]

Genial. Nos vemos por lá. 

Abracao. 

Pedro Belasco

+55 11 8108.4565

[Emerson Vinicius]

Também estarei lá :D

Emerson Vinicius -  Web Developer

Skype: emersonvinicius

Gtalk: duke.m16 ou duke16.x

Twitter: @emersonvinicius

MSN: ers_d...@hotmail.com

[Daniel]

Eu achei a ferramenta e o script bem interessante. Fiz um beta aqui em
casa para ver em funcionamento e ficou um charme, só não consegui
superar o problema dos erros quando há brechas na base do tse. Quando
reinicia o script ele começa do começo?

Daniel

2010/5/25 Emerson Vinicius <duke...@gmail.com>:

[Ricardo Poppi]

Daniel e demais colegas, no meu post sobre o Selenium IDE havia faltado a dica do complemento de flow control. Sem ele o selenium vai dar erro. Já atualizei lá no blog, mas reproduzo aqui:

Para as instruções de label e goto funcionarem é preciso instalar um complemento que agrega “flow control” ao Selenium IDE. Grave-o numa pasta e depois, pela interface do Selenium IDE, vá em Opções > Opções > Extensões do Selenium Core > Procurar e Selecione o arquivo “goto_sel_ide.js” baixado anteriormente. Lembre-se de carregar o complemento novamente se tiver que reiniciar o Selenium.

Abcs!

Ricardo Poppi
http://www.google.com/profiles/ricabras

Daniel escreveu: