scraper wiki

[Eduardo Leoni]

Esse projeto parece útil:

http://scraperwiki.com/

alguém aqui já usou?

-eduardo

[Vítor Baptista]

Parece interessante... só não vi muita diferença dele pro YQL...

2010/3/30 Eduardo Leoni <e.l...@gmail.com>

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hackday" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.

--
Vítor Baptista
Comissão Organizadora
IV Encontro de Software Livre da Paraíba
6, 7, 8 e 9 de Maio de 2010
Estação Ciência, Cultura e Artes Cabo Branco
João Pessoa, PB.

http://www.ensol.org.br

[Pedro Markun]

legal,

mais uma pro arsenal.

2010/3/30 Vítor Baptista <lis...@vitorbaptista.com>

[Pedro Markun]

pythonistas da lista,

alguém topa bolar um workshop de um dia sobre como usar o scraperwiki para criar scrapers? voltado para gente que nunca programou? acham que é possível?

estamos trabalhando com a Esfera para criar um sistema de microbolsas que poderiam financiar iniciativas como essa... mas por hora ainda não conseguimos colocar a idéia de pé.

mas acho que se um ou mais de vocês toparem montar esse workshop, a gente consegue montar esse curso lá na casa de cultura digital e descolar uma grana pro professor.

abs,

pedro markun

2010/3/30 Pedro Markun <pe...@esfera.mobi>

[Pedro Belasco]

Fala Markun,

Achei fenomenal esse scraperwiki. na real é um envelope que roda um script em python e devolve os resultados formatados. Reutilizável. Genial.

Para passar o conteúdo para quem não tem nenhuma intimidade é meio complexo, pois depende de conhecimento de XPath/DOM, o mínimo de requisições POST/GET e parâmetros, o que por sua vez pressupõe um mínimo de intimidade com o HTTP e suas manhas, Fora o basicão do Python que como outras linguagens de script e OO tem todo um universo de coisas, bibliotecas e quetais. 

Eu sugeriria pelo menos umas duas sessões para ter tempo de assimilar os conceitos, colocar a mão na massa e sair com alguma coisa palpável, e o que é mais interessante, com o pessoal entendendo o que acontece debaixo do capô.

[Diego Rabatone]

Pedro(s),

concordo com o Belasco, acho que umas duas "rodadas" seria um bom número para um começo.

Já tivemos a experiência, lá na Poli, de fazer uma "micro-oficina de Python para não programadores" (na verdade foi uma oficina interna com o pessoal do grupo, mas tinha muita gente que não havia programado nada ainda, em linguagem nenhuma).
Mas acho que, mesmo com o clima muito disperso e descontraído que foi, foi produtiva.

--------------------------------
Diego Rabatone Oliveira

2010/3/30 Pedro Belasco <pe...@estudiocromatica.com>

[Daniela B. Silva]

Belasco! Bora pensar esse curso/workshop/conjunto de encontros sobre "python (ou programação?) for dummies", meu!

Eu quero ser um dos dummies.

2010/3/30 Pedro Belasco <pe...@estudiocromatica.com>

[Pedro Markun]

Uai,

vamos começando a formatar isso então. Acho que pode ser mesmo mais longo, mas na verdade pensei em montarmos algo bem basico e deixar recursos para o cara ir aprendendo os truques mais pra frente ou em outros módulos.

• Requisitando páginas web
• Páginas estáticas
• Páginas dinâmicas (loops simples para mudança de URL)
• Forms e outras bizarrices (que não seriam cobertos pelo curso basico)
• Entendendo páginas web
• Estrutura de um HTML
• Reconhecendo padrões scrapeaveis
• DOM/XPath
• Traduzindo isso em Python
• sintaxe do BeautifoulSoup
• loops uteis para extrair informação
• funções uteis para limpar os dados

Posso jogar isso na wiki... é um rascunho feito em minutos só mesmo pra não deixar a bola parar. No fundo, minha idéia é partir de uma (ou mais) páginas web com um conjunto de dados  e cada pessoa/dupla sei lá ir montando seu scrapper com a ajuda do professor.

Pode parecer meio ineficaz, mas esse modelo de aprender de fora pra dentro, mudando uma linha aqui e um parametro ali funciona surpreendentemente bem e se não da um entendimento fundamental das mecanicas, permite fisgar o interesse por tempo suficiente para a gente dar o segundo passo.

Diego, tem algo documentado dessa experiência?

abs,

Pedro Markun

2010/3/30 Diego Rabatone <dir...@diraol.eng.br>

[Luciano Pacheco]

Posso dar um treinamento/curso/workshop de Python.

Já fiz alguns treinamentos de Python e seria tranquilo.

Já usei o BeautifulSoup também.

Vou dar uma olhada no scraperwiki que realmente pareceu algo bem legal.

Até mais,
-- 
Luciano Pacheco
blog.lucmult.com.br

2010/3/30 Daniela B. Silva <daniel...@gmail.com>

[Pedro Markun]

ousando e jogando a bola pra cima,

e se pensassemos em algo formatado já para o

Open Web Courses

https://www.drumbeat.org/project/p2p-university-hacking-open-web-developer-degree/news/help-design-open-web-developer-curricu

que a Mozilla esta propondo através do Drumbeat?

http://www.drumbeat.org

não acho que precise ser um objetivo claro, mas vale levar em conta.

2010/3/30 Luciano Pacheco <luc...@gmail.com>

[Fabiano Angélico]

Eu quero ser um dos dummies (2). Fabiano Angélico Twitter: @fangelico Blog: Notas Soltas (http://algumasnotassoltas.wordpress.com) Facebook: fabiano.angelico Skype: fabiano.angelico (55) 11-8270.3020 --- Em ter, 30/3/10, Daniela B. Silva <daniel...@gmail.com> escreveu:

---

Veja quais são os assuntos do momento no Yahoo! + Buscados: Top 10 - Celebridades - Música - Esportes

[Pedro Belasco]

Opa... Tomo a liberdade de sugerir algumas modificações na estrutura...

O maravilhoso mundo do screen-scraping.

O que diabo é uma página na web 

Arquitetura da Internet, como computadores conversam HTTP

Os verbos Mágicos: GET e POST e suas respostas.

Truques e ferramentas para ver o que acontece. Firebug e cURL

A sacada do DOM, e como achar o que você quer dentro de uma página 

XPath, ParseTree, HTML/XML

Reconhecendo "boas vítimas" e sacaneando as más.

Respeitável púbico, com vocês, o incrível parser

Prazer, BeautifulSoup. Quem é, e o que faz.

Limpando a bagunça: Expressões regulares, manipulação de strings e outros truques sujos

Fazendo o ScraperWiki trabalhar para você e para a humanidade.

E mais... para quem quiser

Documentando seu código decentemente e não sendo um mala sem alça.

Outras possibilidades igualmente legais com outras linguagens e possibilidades.

• Requisitando páginas web
• Páginas estáticas
• Páginas dinâmicas (loops simples para mudança de URL)
• Forms e outras bizarrices (que não seriam cobertos pelo curso basico)
• Entendendo páginas web
• Estrutura de um HTML
• Reconhecendo padrões scrapeaveis
• DOM/XPath
• Traduzindo isso em Python
• sintaxe do BeautifoulSoup
• loops uteis para extrair informação
• funções uteis para limpar os dados

[Eduardo Leoni]

valeu Belasco! onde é que está o botão do "up vote"? rs rs

seria legal também já ir catalogondo as "vítimas":

a) educativas (que não tem muito mistério parsear. tipo wikipedia.)
b) intermediárias (precisam de post/get. de outro modo gentis)
c) evil pages - (câmara/tse. parece que fazem a página difícil de
parsear de propósito.0

-e

2010/3/30 Pedro Belasco <pe...@estudiocromatica.com>:

[Everton Zanella Alvarenga]

Bom, se estamos falando em curso, temos que criar conteúdo, nem que
seja para traduzir.

Como tem bastante gente que mencionou Python, que tal começarmos
algumas páginas na wikiversidade?

http://pt.wikiversity.org

Já *começaram* algo em português:

http://pt.wikiversity.org/wiki/Introdu%C3%A7%C3%A3o_ao_Python
http://pt.wikibooks.org/wiki/Python

E tem bastante material em inglês para nos inspirar

http://ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/6-189January--IAP--2010/CourseHome/index.htm
http://ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/6-189January--IAP--2008/CourseHome/index.htm
http://www.crunchcourse.com/class/mit-opencourseware-600-introduction/2010/jan/
http://en.wikiversity.org/wiki/Python

Estou achando legal que um amigo está fazendo, na Wikiversidade, para
seu curso no Centro Cultural São Paulo sobre "O futuro da informação":

http://pt.wikiversity.org/wiki/O_Futuro_da_Informa%C3%A7%C3%A3o

Criar conteúdo toma tempo, mas se cada um fizer um pouquinho, dá para
sair algo legal se focarem em cada tópico.

Gostei das sugestões do Belasco.

[Everton Zanella Alvarenga]

Inclusive, já que tocamos no tema, hoje a aula do Alexandre Abdo,
daqui a pouquinho, é sobre Recursos Educacionais Abertos. A quem
interessar possa:

http://rea.net.br/2010/03/28/aula-sobre-recursos-educacionais-abertos-na-proxima-terca-em-sao-paulo/

É só aparecer no Centro Cultural da Vergueiro.

Em 30 de março de 2010 16:47, Everton Zanella Alvarenga
<evert...@gmail.com> escreveu:

[Pedro Belasco]

Eita que tá ficando sério este negócio.

Posso ajudar a preparar o material deste curso para a escola e transmitir um pouco da experiência que acumulei sobre o tema. Não é grandiscoisa mas fico feliz se tiver gente interessada no tema.

O Luciano Pacheco que já se habilitou poderia ajudar na empreitada?
Que tal tomar uma cerveja amanhã para clarear as idéias? Pedro? Daniela? Alguém mais aqui bebe? Socialmente, claro.

[Everton Zanella Alvarenga]

Em 30 de março de 2010 16:58, Pedro Belasco
<pe...@estudiocromatica.com> escreveu:

> Eita que tá ficando sério este negócio.
>
> Posso ajudar a preparar o material deste curso para a escola e transmitir um pouco da experiência que acumulei sobre o tema. Não é grandiscoisa mas fico feliz se tiver gente interessada no tema.
>
> O Luciano Pacheco que já se habilitou poderia ajudar na empreitada?
> Que tal tomar uma cerveja amanhã para clarear as idéias? Pedro? Daniela? Alguém mais aqui bebe? Socialmente, claro.

Opa!

Pode ser à noite? Caso sim, onde? Se for perto de algum metrô, melhor.

[Carlos Eduardo Moreira dos Santos]

Muito legal, parece um pouco com o que eu quero fazer. Não conheço python e gostaria de participar.

2010/3/30 Everton Zanella Alvarenga <evert...@gmail.com>

[pe...@estudiocromatica.com]

Opa...

Acho que o esquema é noturno mesmo.
Lá perto do marechal pra mim está bótimo.

[Pedro Markun]

que tal no fuad? umas 20hs?

por aqui, confirmamos!

abs,

pedro markun

2010/3/30 pe...@estudiocromatica.com <pe...@estudiocromatica.com>

[Pedro Belasco]

Confere?

http://www.esquinagrill.com.br/

[Pedro Markun]

confere!

2010/3/31 Pedro Belasco <pe...@estudiocromatica.com>

[Emerson Vinicius]

Não virou mesmo esse Curso hein....

Pow eu queria um troço rolando na casa de cultura.

Emerson Vinicius -  Web Developer

Skype: emersonvinicius

Gtalk: duke.m16 ou duke16.x

Twitter: @emersonvinicius

MSN: ers_d...@hotmail.com

[Pedro Belasco]

Cara, 

To com um programinha meio pronto... 

Topa ajudar a organizar uma turma?

Abraço

[Haydee Svab]

Achei bem legal essa ideia de um workshop sobre como usar o scraperwiki para criar scrapers voltado para gente que nunca programou. Até porque ainda não entendi o que é o scraperwiki.
Fica aí meu apoio e interesse de participação, casa aconteça esse curso ;-)
Eu participei dessa aula de python p/ não-programadores e foi bem proveitosa - mas não acho que tenhamos feito registro disso...
abs,
Haydée

Haydée Svab
http://blog.hsvab.eng.br/

[Emerson Vinicius]

Claro que topo

Acho que esses workshops deveriam ser mais freqüentes , tipo rolar um a cada Thackday e tal

Abs

Emerson

[Pedro Markun]

Opa,

a CCD esta a disposição.

De quanto tempo é o plano do curso, Belasco? Vamos marcar pro fim do mês?

abs,
Pedro Markun

>> - Requisitando páginas web
>> - Páginas estáticas
>> - Páginas dinâmicas (loops simples para mudança de URL)
>> - Forms e outras bizarrices (que não seriam cobertos pelo curso
>> basico)
>> - Entendendo páginas web
>> - Estrutura de um HTML
>> - Reconhecendo padrões scrapeaveis
>> - DOM/XPath
>> - Traduzindo isso em Python
>> - sintaxe do BeautifoulSoup
>> - loops uteis para extrair informação
>> - funções uteis para limpar os dados

>>
>>
>> On Mar 30, 2010, at 3:57 PM, Pedro Markun wrote:
>>
>> Uai,
>>
>> vamos começando a formatar isso então. Acho que pode ser mesmo mais longo,
>> mas na verdade pensei em montarmos algo bem basico e deixar recursos para
>> o
>> cara ir aprendendo os truques mais pra frente ou em outros módulos.
>>

>> - Requisitando páginas web
>> - Páginas estáticas
>> - Páginas dinâmicas (loops simples para mudança de URL)
>> - Forms e outras bizarrices (que não seriam cobertos pelo curso
>> basico)
>> - Entendendo páginas web
>> - Estrutura de um HTML
>> - Reconhecendo padrões scrapeaveis
>> - DOM/XPath
>> - Traduzindo isso em Python
>> - sintaxe do BeautifoulSoup
>> - loops uteis para extrair informação
>> - funções uteis para limpar os dados

>>>>>>> thackday+u...@googlegroups.com<thackday%2Bunsu...@googlegroups.com>

>>>>>>> .
>>>>>>> Para obter mais opções, visite esse grupo em
>>>>>>> http://groups.google.com/group/thackday?hl=pt-BR.
>>>>>>>
>>>>>>>
>>>>>>
>>>>>>
>>>>>> --
>>>>>> Vítor Baptista
>>>>>> Comissão Organizadora
>>>>>> IV Encontro de Software Livre da Paraíba
>>>>>> 6, 7, 8 e 9 de Maio de 2010
>>>>>> Estação Ciência, Cultura e Artes Cabo Branco
>>>>>> João Pessoa, PB.
>>>>>>
>>>>>> http://www.ensol.org.br
>>>>>>
>>>>>>
>>>>>> --
>>>>>> Você está recebendo esta mensagem porque se inscreveu no grupo
>>>>>> "Transparência Hackday" dos Grupos do Google.
>>>>>> Para postar neste grupo, envie um e-mail para
>>>>>> thac...@googlegroups.com.
>>>>>> Para cancelar a inscrição nesse grupo, envie um e-mail para

>>>>>> thackday+u...@googlegroups.com<thackday%2Bunsu...@googlegroups.com>

>>>>>> .
>>>>>> Para obter mais opções, visite esse grupo em
>>>>>> http://groups.google.com/group/thackday?hl=pt-BR.
>>>>>>
>>>>>
>>>>>
>>>>
>>>> --
>>>> Você está recebendo esta mensagem porque se inscreveu no grupo
>>>> "Transparência Hackday" dos Grupos do Google.
>>>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
>>>> Para cancelar a inscrição nesse grupo, envie um e-mail para
>>>> thackday+u...@googlegroups.com.
>>>> Para obter mais opções, visite esse grupo em
>>>> http://groups.google.com/group/thackday?hl=pt-BR.
>>>>
>>>>
>>>>
>>>> --
>>>> Você está recebendo esta mensagem porque se inscreveu no grupo
>>>> "Transparência Hackday" dos Grupos do Google.
>>>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
>>>> Para cancelar a inscrição nesse grupo, envie um e-mail para

>>>> thackday+u...@googlegroups.com<thackday%2Bunsu...@googlegroups.com>

>>>> .
>>>> Para obter mais opções, visite esse grupo em
>>>> http://groups.google.com/group/thackday?hl=pt-BR.
>>>>
>>>
>>>
>>> --
>>> Você está recebendo esta mensagem porque se inscreveu no grupo
>>> "Transparência Hackday" dos Grupos do Google.
>>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
>>> Para cancelar a inscrição nesse grupo, envie um e-mail para

>>> thackday+u...@googlegroups.com<thackday%2Bunsu...@googlegroups.com>

>>> .
>>> Para obter mais opções, visite esse grupo em
>>> http://groups.google.com/group/thackday?hl=pt-BR.
>>>
>>
>>
>> --
>> Você está recebendo esta mensagem porque se inscreveu no grupo
>> "Transparência Hackday" dos Grupos do Google.
>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
>> Para cancelar a inscrição nesse grupo, envie um e-mail para
>> thackday+u...@googlegroups.com.
>> Para obter mais opções, visite esse grupo em
>> http://groups.google.com/group/thackday?hl=pt-BR.
>>
>>
>>
>> --
>> Você está recebendo esta mensagem porque se inscreveu no grupo
>> "Transparência Hackday" dos Grupos do Google.
>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
>> Para cancelar a inscrição nesse grupo, envie um e-mail para
>> thackday+u...@googlegroups.com.
>> Para obter mais opções, visite esse grupo em
>> http://groups.google.com/group/thackday?hl=pt-BR.
>>
>>
>> --
>> Você está recebendo esta mensagem porque se inscreveu no grupo
>> "Transparência Hackday" dos Grupos do Google.
>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
>> Para cancelar a inscrição nesse grupo, envie um e-mail para

>> thackday+u...@googlegroups.com<thackday%2Bunsu...@googlegroups.com>

>> .
>> Para obter mais opções, visite esse grupo em
>> http://groups.google.com/group/thackday?hl=pt-BR.
>>
>
>
>
> --
> Haydée Svab
> http://blog.hsvab.eng.br/
>

[Pedro Belasco]

Fala meu caro,

A idéia é passar em um período (umas 4h) o conteúdo com umas atividades práticas.
Achava legal fazermos um testdrive do conteúdo antes.
Emersão, nos falamos no início da próxima semana para fechar o conteúdo da oficina?

PB

[Emerson Vinicius]

Beleza, Segunda nos falamos.

O TestDrive do conteudo pode ser feito em mim mesmo :D

Emerson Vinicius, ou Duke :)

[Pedro Markun]

eu também me habilito

[André Luiz de Oliveira]

o/

2010/6/2 Pedro Markun <pe...@esfera.mobi>:

[Ricardo Poppi]

Me habilito para o test drive de participação remota! o/

Ricardo Poppi
http://www.google.com/profiles/ricabras

André Luiz de Oliveira escreveu:

[Alexandre Gomes]

Faço coro ao Poppi!  \o

2010/6/2 Ricardo Poppi <rica...@gmail.com>

--
[]s!