101 Scraping em Python para Comunicadores

[Pedro Markun]

Caros,

vou retomar as oficinas de scraping, ok? Começando quarta-feira que vem (01/02), na CCD.

O que: Oficina de Scraping em Python

Quando: Quarta-Feira (01/02) das 19h30hs até as 21hs

Favor trazer:

Notebook com Python instalado ( http://www.python.org/download/ )

Cadastro no PythonAnywhere: http://www.pythonanywhere.com

Cadastro no Scraperwiki: https://scraperwiki.com

Um endereço web com informações para serem raspadas:

Ex: Lista de SubPrefeitos ( http://www.prefeitura.sp.gov.br/cidade/secretarias/subprefeituras/subprefeituras/subprefeitos/index.php?p=21778 )

Pra quem quiser ir aquecendo:

http://www.python.org.br/wiki/AprendaProgramar

http://www.diveintopython.net/toc/index.html

http://www.diveintopython.net/native_data_types/index.html#odbchelper.dict (Dicionários)

http://www.diveintopython.net/file_handling/for_loops.html (O tal 'for')

http://docs.python.org/library/ (Documentação da Biblioteca padrão do Python)

http://www.w3.org/TR/CSS2/selector.html (Documentação dos seletores de CSS que vamos usar para encontrar coisas)

http://lxml.de/index.html#documentation (Documentação da biblioteca LXML que vamos usar pra raspar coisas)

https://scraperwiki.com/docs/python/ (Documentação do Scraperwiki que é onde vamos salvar os dados)

abs,

Pedro Markun

[Duke]

Massa!

Se der apareço, seria bacana criar um repositorio no git da comunidade com os codigos que forem produzidos.
--
Sent from my Android phone with K-9 Mail. Please excuse my brevity.

Pedro Markun <pe...@esfera.mobi> wrote:

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

[Pedro Markun]

Duke,

não topa fazer uma primeira oficina de git na terça, então? Ai a gente já monta o repo na oficina e produz um mini-tutorial de como usar.

abs,
Pedro Markun

2012/1/23 Duke <du...@riseup.net>

[Ronalson Filho]

Olá, boa tarde.

Existe a possibilidade de transmissão Ao-Vivo ou gravação das oficinas, para a galera que mora em outros Estados? 

Valeu.

abs,
___________________________________
Ronalson Vargas Mendes Filho
@ronalson

[Pedro Markun]

Ronalson,

se alguém topar cuidar da infra, acho que rola sim. Minha experiência com streaming dessas oficinas é sempre meio torpe... pq não consigo dar atenção pra quem estar lá e pro online, mas sempre topo tentar.

abs,

Pedro Markun

2012/1/24 Ronalson Filho <ron...@gmail.com>

[rg3915]

CCD é a Casa de Cultura Digital?

[rg3915]

Nossa, o que é e onde é CCD?

On 24 jan, 14:27, Pedro Markun <pe...@esfera.mobi> wrote:
> Caros,
>
> vou retomar as oficinas de scraping, ok? Começando quarta-feira que vem
> (01/02), na CCD.
>

> *O que:* Oficina de Scraping em Python
> *Quando:* Quarta-Feira (01/02) das 19h30hs até as 21hs
> *Favor trazer:*
> Notebook com Python instalado (http://www.python.org/download/)

> Cadastro no PythonAnywhere:http://www.pythonanywhere.com
> Cadastro no Scraperwiki:https://scraperwiki.com
> Um endereço web com informações para serem raspadas:

> Ex: Lista de SubPrefeitos (http://www.prefeitura.sp.gov.br/cidade/secretarias/subprefeituras/sub...
>  )
>
> *Pra quem quiser ir aquecendo:*
> *http://www.python.org.br/wiki/AprendaProgramar*http://www.diveintopython.net/toc/index.htmlhttp://www.diveintopython.net/native_data_types/index.html#odbchelper...
>  (Dicionários)http://www.diveintopython.net/file_handling/for_loops.html(O tal 'for')
>
> http://docs.python.org/library/(Documentação da Biblioteca padrão do
> Python)http://www.w3.org/TR/CSS2/selector.html(Documentação dos seletores de CSS
> que vamos usar para encontrar coisas)http://lxml.de/index.html#documentation(Documentação da biblioteca LXML
> que vamos usar pra raspar coisas)https://scraperwiki.com/docs/python/(Documentação do Scraperwiki que é

[André Filipe de Assunção e Brito]

Eu acredito que documentar tudo via Wiki já é de uma ajuda tremenda!

2012/1/24 Pedro Markun <pe...@esfera.mobi>:

--
André Filipe de Assunção e Brito
Graduando em Oceanografia
Centro de Estudos do Mar / UFPR
twitter.com/decko

[Pedro Markun]

Ops,

falha minha. É isso mesmo, Casa de Cultura Digital.

Rua Vitorino Carmilo, 453 - casa 02.
próx metrô marechal deodoro

2012/1/24 rg3915 <rg3...@yahoo.com.br>

[Edmilton Neves]

Markun, 

preciso confirmar presença em algum lugar ou é só aparecer?

Gde. Abraço!

Ed

[Pedro Markun]

confirmada a presença :)

2012/1/31 Edmilton Neves <edmilto...@gmail.com>

--

[Edmilton Neves]

Adoro essa lista! =)

Valeu!!!! 

2012/1/31 Pedro Markun <pe...@esfera.mobi>

confirmada a presença :)

[Daniela B. Silva]

Ei, pessoal, apareçam!

Abraço,

Dani

2012/1/31 Edmilton Neves <edmilto...@gmail.com>

[Edmilton Neves]

Boas pessoal!

Passando por aqui pra registrar meu agradecimento e a qualidade do workshop, muito bom!

Para mim, o que foi passado foi suficiente para sair do zero e principalmente dar um pique na vontade de sair scrapeando tudo, como disse o Markun!

Mais uma vez muito obrigado e contem comigo para colaborações!

Gde. Abraço!

Ed

[Patrícia Cornils]

Quarta, sete e meia, tem de novo?

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Patrícia Cornils
11 3124-7444 ou 8372-7473

[Edmilton Neves]

2012/2/2 Patrícia Cornils <patrici...@gmail.com>

Quarta, sete e meia, tem de novo?

Patrícia, pelo que conversei com o Markun ontem, sim! Ele ficou de confirmar na lista.

Ed

[Edmilton Neves]

Boas pessoal!

Dedicado ao "prof. Markun", segue meu primeiro rascunho de scraper [1].

A idéia é pegar as CPIs que estão em aberto no portal da câmara municipal de São Paulo, por enquanto, só o nome e o link para a página detalhada.

O próximo passo será pegar mais alguns detalhes da CPI.

Valeu, seu workshop me ajudou!!!

[1] https://scraperwiki.com/scrapers/01_-_cpis_em_aberto_-_sao_paulo/

Gde. Abraço!

--
Ed

[Daniela B. Silva]

Arrasou, Edmilton!

2012/2/3 Edmilton Neves <edmilto...@gmail.com>

[Duke]

Mass demais Ed

Uns toques, que pode ser muito cedo mais é bom para fixar.

Não sei seu nivel de conhecimento então vou bem devagar…

voce tinha o codigo assim:

    # nome da CPI
    data['nome'] = linha.cssselect('td')[1].text_content()

    # url de detalhe da CPI, utilizada também como id único
    data['urlDetalhe'] = linha.cssselect('td a')[0].get('href')

primeiro perceba que você faz duas seleções, eu pensei o seguinte, esse 'nome' deve estar dentro do link(a), por que ele não pega do mesmo lugar? não sei o motivo mas pode fazer assim:

    # nome da CPI
    data['nome'] = linha.cssselect('td a')[0].text_content()

    # url de detalhe da CPI, utilizada também como id único
    data['urlDetalhe'] = linha.cssselect('td a')[0].get('href')

O problema é que ainda temos duas seleções de dados, o que é ruim, temos que tentar otimizar, por que se essas seleções são para pegar a mesma coisa então uma delas é desnecessarias, então fiz isso:

    _linha = linha.cssselect('td a')[0]

    # nome da CPI
    data['nome'] = _linha.text_content()

    # url de detalhe da CPI, utilizada também como id único
    data['urlDetalhe'] = _linha.get('href')

Ou seja, peguei o que é a mesma coisa, que é o primeiro([0]) 'td a' e coloquei em uma variável que faz a operação de parse apenas uma vez agora. 

O que eu fiz é chamade de refactor, ou, refatoração, é diminuir o codigo ou o processamento sem perder as funcionalidades.

Sempre tente  escrever menos codigo e o mais bonito possivel, costumo escrever o que vem na cabeça e depois ir refatorando, com o tempo você começa a escrever de uma forma melhor possivel ;)

Acho que é isso, parabens pelo codigo esta bom, depois mostra o resultado

Duke

[Edmilton Neves]

Dani, bem que o Markun disse, dá vontade de sair scrapeando tudo agora! 

Duke, a idéia é essa mesmo, expor o código para que os mais experientes no assunto comentem possíveis melhorias! Suas dicas são ótimas! Se tiver mais, não se acanhe! =)

Obrigado!

Vamos que vamos, só praticando mesmo pra ficar bom no negócio e contribuir com o coletivo!

Gde. Abraço!

Ed

[Pedro Markun]

Opa,

Duke! Acho que tá mais do que na hora do workshop de Git, hein? Ia ser legal todo mundo poder intercambiar códigos e refactors via git ;)

abs,
Pedro Markun

2012/2/3 Duke <du...@riseup.net>

[Duke]

Seria lindo mesmo,
Estou mais sussegado de tudo esse mês. O proximo workshop de scraper sera na quarta? Posso fazer algo para terça, como você havia proposto semana passada, acho que rola?

--
Sent from my Android phone with K-9 Mail. Please excuse my brevity.

[Daniela B. Silva]

Acho perfeito, Duke, eu quero participar dos 2!

2012/2/2 Duke <du...@riseup.net>

[Duke]

Vou pegar uns links hoje para preparar a galera.

Duke

--
Sent from my Android phone with K-9 Mail. Please excuse my brevity.

[Duke]

Galera na terça as 19h30(ta certo?) teremos um workshop de git, 

Vamos ter uma introdução ao git, como usar-lo para versionar codigos, textos, livors, receitas de bolo, etc

Preciso que vocês tenham o git instalado:

Para GNU/Linux:  apt-get install git-core ou yum install git-core

Para Windows: http://code.google.com/p/msysgit/downloads/list?can=3 arquivo Git-1.7.9-preview20120201.exe 

Para Mac OS X:  sudo port install git-core ou brew install git

Não sei como é a instalação no Windows, dever se facil. No mac, se você não tiver o XCode, ou equivalente, não vai funcionar

Alguns Links:

http://akitaonrails.com/2008/04/02/micro-tutorial-de-git  antigo, 2008, e muitas vezes a linguagem é para alguem que conheça algumas coisas, foi um dos primeiros post que li, recomendo para conhecer o git

http://gitref.org/   bom, passa por quase todos os comandos do git

http://rogerdudler.github.com/git-guide/index.pt_BR.html é muito bom, como eles mesmo se titulam: apenas um guia prático para começar com git. sem complicação ;) 

http://book.git-scm.com/index.html esse vai do basico ao avançado, se tiver tempo, vale a leitura

Acredito que seja isso,

Abraços

[Liane Lira]

Ebaaaa!!! Finalmente vou entender isso aí!

Cecília, ele falou que dá pra usar pra receita de bolo... isso me lembra bolo... que me lembra Cecília!  ;-)

To lá \o/

[Pedro Markun]

OPa!

Eu confirmo presença :)

Galera que quer ajudar no Queremos Saber ou no Fale com seu Representante (aguardo sugestões de nome!) por favor aparece ai... já que o código do projeto esta todo no git.

abs,
Pedro Markun

2012/2/5 Liane Lira <lian...@gmail.com>

[Bicarato]

Catzo! Serah que consigo?

Vou me esforcar...

:: Paulo Bicarato (mobile) ::
:: www.alfarrabio.org ::

---

De: Pedro Markun <pe...@esfera.mobi>
Enviada: domingo, 5 de fevereiro de 2012 17:30
Para: thac...@googlegroups.com
Cc: Cecilia Tanaka <cecilia...@gmail.com>
Assunto: Re: Git para Comunicadores [Era: Re: [thackday] 101 Scraping em Python para Comunicadores]

OPa!

Eu confirmo presença :)

Galera que quer ajudar no Queremos Saber ou no Fale com seu Representante (aguardo sugestões de nome!) por favor aparece ai... já que o código do projeto esta todo no git.

abs,
Pedro Markun

2012/2/5 Liane Lira <lian...@gmail.com>

Ebaaaa!!! Finalmente vou entender isso aí!

Cecília, ele falou que dá pra usar pra receita de bolo... isso me lembra bolo... que me lembra Cecília!  ;-)

To lá \o/

Em 5 de fevereiro de 2012 15:30, Duke <du...@riseup.net> escreveu:

Galera na terça as 19h30(ta certo?) teremos um workshop de git, 

Vamos ter uma introdução ao git, como usar-lo para versionar codigos, textos, livors, receitas de bolo, etc

Preciso que vocês tenham o git instalado:

Para GNU/Linux:  apt-get install git-core

[A mensagem original inteira não está incluída]

[Tiago Cardieri]

Não sei se ficarei até o final, mas vou aparecer com certeza!

--

Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Tiago Cardieri

Skype
Voxer
Cel.
     

[Diego Casaes]

Bolo?! Até queria, mas terça-feira não posso! Tomem nota das instruções do Duke alguém!

2012/2/5 Tiago Cardieri <tiago.c...@gmail.com>

--
Diego Casaes
Global Campaigner
AVAAZ.org
di...@avaaz.org
skype: diegocasaes

Follow me on Twitter: @casaesdiego

For updates in Portuguese, follow @diegocasaes

[Cecilia Tanaka]

O que é uma reunião de hackers bêbados? É um encontro dos Alcoólicos "Anonymous!!!" :D

Pronto, Li! Agora você me associará a piadas ruins, além de bolos, hahaha!!! :D

Tentarei comparecer, porque adoro (trollar) o Duke, mas com 99,9% de certeza, chegarei atrasada, porque tenho uma reunião às 19h, ui! :P

Muitos e muitos beijos!!!

Ceci
--
"Discordo daquilo que dizes, mas defenderei até a morte o teu direito de o dizeres". - Voltaire

[Liane Lira]

Cecília, você sabe que não é só o bolo (e as piadas ruins) que dão saudades de você, né? rs

[Gutem]

Vou ver se dou uma passada...

- Gutem
http://meadiciona.com/gutem
http://www.flickr.com/photos/gutem

[Duke]

Sobre a piada: ¬¬
Aparece lá sim Ceci, mas tenho que dizer, eu te trollo mais!

Galera eu preciso que todos, pelo menos tente, ter o git instalado na
maquina e saiba o que é o Terminal ;)

Abraços,

> *O que é uma reunião de hackers bêbados? É um encontro dos Alcoólicos
> "Anonymous!!!" :D
>
> *Pronto, Li! Agora você me associará a piadas ruins, além de bolos,

> hahaha!!! :D
>
> Tentarei comparecer, porque adoro (trollar) o Duke, mas com 99,9% de
> certeza, chegarei atrasada, porque tenho uma reunião às 19h, ui! :P
>
> Muitos e muitos beijos!!!
>
> Ceci

> **--

>>>>> ** Seria lindo mesmo,

--
Duke
du...@riseup.net
vertigem.xxx

[Tiago F. Pimentel]

Salve, povo....

chegando um pouco atrasado na conversa. 

Eu e Artus (ambos da InterAgentes) temos interesse em participar (e claro em contribuir no que pudermos). 

Cabemos?

abs,

Tiago F. Pimentel

[bicudo]

tentarei ir tb..

onde será ? casa 02 ?

abrazo
bicudo

[Duke]

Eu deixo! :P

A Casa esta aberta, não galera do CCD?

Mais um link ai para galera ler,
http://pt.whygitisbetterthanx.com/

Não que eu concorde ou discorde do site, mas existem coisas que são
realmente dificil de entender se você não passou por problemas de outras
ferramentas de controle de versão e que o git tenta resolver, esse link é
legal por que da para conhecer um pouco do que é o git e o que difere ele
dos outros.

ps: Hoje eu descobri que é Casa dA Cultura Digital e não dE :/

--
Duke
du...@riseup.net | du...@vertigem.xxx
vertigem.xxx

[Liane Lira]

A CCD é coração de mãe!

[Daniela B. Silva]

Todo mundo cabe, e pros Interagentes é só descer a escada :)

2012/2/6 Liane Lira <lian...@gmail.com>

[Tiago Cardieri]

Git instalado.

Abraço!

[Liane Lira]

Pessoal, fizemos um pad da aula aqui:
http://okfnpad.org/oficinagit

Foi muito bom - viva o Duke! Ainda teremos uma continuação especialmente para github.

Abraços!

[Duke]

Se poderem ver os link que mandei, acredito que vai ficar.mais claro, vou buscar algo sobre.comandos linux.

--
Sent from my Android phone with K-9 Mail. Please excuse my brevity.

[Edmilton Neves]

Perdi! :(

Mas vou dar uma boa lida no Pad pra acompanhar. Os links são estes que estão no começo do Pad?

Duke, existe intenção de próximos workshops sobre o assunto? Em caso positivo, pensa em algo complementar/sequencial a este que aconteceu ontem ou outro com a mesma base de conteúdo?

Gde. Abraço!

Ed

[erico dias]

http://wiki.ubuntu-br.org/ComandosBasicos

2012/2/8 Edmilton Neves <edmilto...@gmail.com>:

> --
> Você recebeu esta mensagem porque está cadastrado no grupo "Transparência
> Hacker"
> Para enviar uma mensagem a todo o grupo, escreva para
> thac...@googlegroups.com
> Para não receber mais mensagens, envie um email para
> thackday+u...@googlegroups.com
> Para mais informações, ou para ler mensagens arquivadas deste grupo, visite
> http://groups.google.com/group/thackday?hl=pt-BR

--
ºLº :)

[Duke]

Galera vejam esse link de comandos basicos que o erico enviou!

Edmilton, os links que citei são os que enviei um dia depois da proposta do workshop, onde começa essa thread, ainda não vi o pad, mas acredito que os link devem ser bons. Teremos continuação na proxima terça, da tempo estudar, vou criar algo como um resumo do que rolou lá.

Para o pessoal que foi,
Uma coisa que ficou na minha cabeça, o git pareceu meio complicado, sendo que não é, o esquema de working directory, stage, Head|Local, remoto e stash confunde, :(, pelo menos eu não entendi, mas com tempo vc pega, e trabalhando no dia a dia com o git vc nem pensa nessa muito nessas paradas. O git ira apenas versionar, sabe quando vc salva um arquivo antes de terminar de escreve-lo? O git entra ai, vc salva ele, adiciona as modificações(git add) e envia essas modificações para o versionamento com uma mensagem(git commit -m "mensagen") dai quando termina o dia vc envia para um servidor remoto(git push nomedoservidor), tem uma leva de comandos(checkout, branch, status, merge, fetch, rebase) que ajuda esse workflow e mais uma leva que se usa em casos especiais(tag, cherry-pick, remote, entre outros) os comandos que aprendemos ontem, são os normalmente usados no dia dia.
Vou tentar criar uma forma de explicar melhor esses comandos, acho que eu expliquei de uma forma que tentei aprender e não consegui, mostrar com desenhos, igual os slides(links no meu segundo email na thread), é bem mais interessante, sem contar que mexer no terminal não faz parte da vida de alguns de vcs, não tinha pensado o quando isso afetaria, enfim, permito que vcs me enchem o saco o quanto quiserem para qualquer duvida, podem mandar fora da lista no meu email, vou pensar melhor sobre a proxima terca, vamos falar de servidores remoto, usando o github de example, vou tentar facilitar.

Abraços,

Duke
--
Sent from my Android phone with K-9 Mail. Please excuse my brevity.

[Tiago Cardieri]

Duke, valeu ontem! Caso eu queira testar no QueremosSaber, atualizando algum texto (p.e. legal), tem como?

*tarefa pra casa

[Duke]

Tem Tiago,

Era o que iriamos ver depois, vou ver se acho algo sobre ou gravo um screencast de como colaborar.


Desenhei um esquema, bem rascunhado, sorry, e bem basico, feio, do workflow do git enquanto estava tomando um cafe, tirando o remote, foi o que vimos ontem, nao se espantem todos vimos isso ontem e foi sussa.

http://picplz.com/user/xduke/pic/96w0j/

Os triangulos são comandos, quadrados são os estagios, em working directory e stage temos arquivos, no local e remote commits.

Existe uma ideia nao muito real do working directory, mas nao importa muito.

--
Sent from my Android phone with K-9 Mail. Please excuse my brevity.

[André Filipe de Assunção e Brito]

Parabens ae galera!

2012/2/7 Liane Lira <lian...@gmail.com>:

--
André Filipe de Assunção e Brito
Graduando em Oceanografia
Centro de Estudos do Mar / UFPR
twitter.com/decko

[Pedro Markun]

Caros,

Acho que não vou conseguir chegar pra oficina hoje. Estou enrolado na campus. Fica pra próxima semana?

Abs,
Pedro

[Duke]

Parei a revisão no git log do pad http://okfnpad.org/oficinagit

Um bom documento esse!

A noite continuou.

Abraços,

Duke

du...@riseup.net

du...@vertigem.xxx

vertigem.xxx

@emersonvinicius

11 70309216

[Tiago Cardieri]

...

[Liane Lira]

Ei, Duke, vamos ter a segunda aula hoje? Eu quero! :)

[Duke]

Posso,
Ir mais vou mais tarde, faz tanto tempo que não saiu para trabalhar que
nem lembrava que hoje é terça

pode ser as 20h no lugar de 19h30?

Duke
vertigem.xxx

>>> *Tiago Cardieri
>>>
>>> Skype
>>> Voxer
>>> Cel.
>>>
>>>
>>> *

> --
> Você recebeu esta mensagem porque está cadastrado no grupo "Transparência
> Hacker"
> Para enviar uma mensagem a todo o grupo, escreva para
> thac...@googlegroups.com
> Para não receber mais mensagens, envie um email para
> thackday+u...@googlegroups.com
> Para mais informações, ou para ler mensagens arquivadas deste grupo,
> visite http://groups.google.com/group/thackday?hl=pt-BR
>

--
Duke
du...@riseup.net | du...@vertigem.xxx
vertigem.xxx

[Tiago Cardieri]

streaming, skype (voz, video e/ou compartilhamento de tela), pad, twitter, gtalk, msn, qq coisa????

[Liane Lira]

Vamos marcar outro dia? Tem bastante gente interessada que não pode ir hoje!

[Duke]

Eu topo!

--
Duke
du...@riseup.net | du...@vertigem.xxx
vertigem.xxx

[Liane Lira]

Terça q vem então, pessoal?

[Diego Rabatone]

No meio do carnaval Liane?... Isso que é empolgação hein!!!

--------------------------------
Diego Rabatone Oliveira

[Liane Lira]

Ops...

[Liane Lira]

Então, quando? :P