Google Groups Scraper

[Pedro Markun]

Caros,

ainda na tentativa de aprender a programar e inspirado pelas visualizações da Drica e do Julio...

http://scraperwiki.com/scrapers/tramitacao-camaragovbr_1/edit/

(a url é pq fiz um fork do código)

um scraper de google groups... mas estou com aquele velho problema com encodings mandrakes... passei um bom tempo hoje tentando acertar esses ponteiros, sem sucesso. Alguém que manja de python e unicode pode dar uma luz?

Como é um problema recorrente, estava tentando fazer uma função que olha uma string e vê se ela esta bichada... antes de subir pro db do scraperwiki. Mas da pau pau pau.

abs,

Pedro Markun

ps: Estou entrando em contato com o pessoal do scraperwiki pq sei que isso tb tem a ver com a maneira que o scraperwiki.datastore.save salva os resultados... mas queria já ter um quick-fix

[Fabricio C Zuardi]

sei que seu objetivo maior seja talvez aprender apenas, mas se for para usar o conteudo da lista, é necessário mesmo scrapping? baixar dos feeds em xml direto ja nao resolve mais da metade do problema?

https://groups.google.com/group/thackday/feeds?hl=pt

[]s

Fabricio

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.

[Pedro Markun]

Zuardi,

o problema dos feeds é que eles não vão até o inicio da lista =/

Tenho guardado os feeds faz algum tempo... mas pra resgatar o histórico (dessa e de outras listas) acho que só usando a interface web, não?

abs,
Pedro Markun

2011/3/18 Fabricio C Zuardi <fabr...@fabricio.org>

[Diego Rabatone]

Pedro, estou por lá (scraperwiki)... acompanhe o Chat.. =)

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

2011/3/18 Pedro Markun <pe...@esfera.mobi>

[Diego Rabatone]

Resolveu?!

--------------------------------
Diego Rabatone Oliveira

2011/3/18 Diego Rabatone <dir...@diraol.eng.br>

[Emerson Vinicius]

Puts estava fazendo um código legal para isso, deu uns problemas no Browser+Internet e perdi o código :/

já vou mandar minhas sugestões para a lista do Scraper Wiki, para funcionar  mesmo quando offline, pelos menos ele salvar o código e quando voltar online ele atualizar.

qualquer coisa começo denovo ele amanha.

$ cat /etc/contact
   Emerson Vinicius (Duke)
   twitter: @emersonvinicius
   gtalk: duke.m16
   evinicius.com
   blog.evinicius.com

2011/3/18 Diego Rabatone <dir...@diraol.eng.br>