Oficina de Scraper - Edição Judiciário - 08/03 - 19h00

[Pedro Markun]

Alô,

confirmando então. Mas uma edição da 'oficina de scraper para quem não sabe', dessa vez focando em algumas páginas do judiciario.

O que: Oficina de Scraper para quem não sabe!
Quando: 08/03 - 19hs (quinta-feira)
Onde: Casa de Cultura Digital - Rua Vitorino Carmilo, 453, casa 02
Santa Cecilia / São Paulo / SP - próx ao metrô Marechal Deodoro

Pra ir esquentando os motores:
https://scraperwiki.com/scrapers/scraper-101-acompanhamentoprocessual/

Na thread anterior (procurem na lista!) tem mais uma série de links e etapas preparatórias. Cola lá :)

abs,
Pedro Markun
ps: De lambuja, o Cardieri vai ensinar pra gente a anatomia básica do andamento de um processo... né Cardieri?
ps2: Só vai ter transmissão de alguém topar fazer - antes que perguntem.

2012/2/26 Tiago Cardieri <tiago.c...@gmail.com>

http://www.stf.jus.br/portal/processo/verProcessoAndamento.asp?incidente=2312886 

Em 26 de fevereiro de 2012 14:01, Tiago Cardieri <tiago.c...@gmail.com> escreveu:

Eu penso em dois objetos:

1) pesquisar pela parte, e raspar os dados categorizados naquela tabela do pinheirinho

2) raspar os andamentos do processo numa relação "data > andamento > ontologia própria"

"Ontologia própria" como tradução dos andamentos (leigalizar).

Os dois juntos (1 e 2) num formato bidimencional seria o ideal.

Em 25 de fevereiro de 2012 23:07, Tulio Macedo <tuli...@gmail.com> escreveu:

Posso tentar conseguir as especificações de uma pág escolhida. A maioria do conteúdo é colocado via CMS e se for tem uma área responsável pelos dados.

Em 25 de fevereiro de 2012 14:10, Pedro Markun <pe...@esfera.mobi> escreveu:

claro.

não digo o site, mas a gente pode começar por uma página de lá.

algum alvo específico? :)

manda ai pra eu já ir estudando!

abs,
pedro markun

2012/2/25 Tiago Cardieri <tiago.c...@gmail.com>

Markun, 

rola um "após esta oficina, vc será capaz de scrapear o site do, p.e., STF"?

Agente já testa por ele durante a semana e tem o que treinar até a próxima oficina.

Em 25 de fevereiro de 2012 12:36, Tiago Cardieri <tiago.c...@gmail.com> escreveu:

Marcado 19h30?

Em 25 de fevereiro de 2012 10:07, Patrícia Cornils <patrici...@gmail.com> escreveu:

Não. Até o fim do mês estou presa no computador até as 19h30... mas vcs podem conversar antes, uai. E a gente pode conversar por aqui.

Em 24 de fevereiro de 2012 17:43, Tiago Cardieri <tiago.c...@gmail.com> escreveu:

Só que quanto antes, sobraria mais tempo pra bolar um projeto pra chamar o  Friedrich.

18hrs não rola pra vc, paty? 

Em 24 de fevereiro de 2012 16:41, Tiago Cardieri <tiago.c...@gmail.com> escreveu:

Vcs decidem o horário. To tranquilo na quinta.

Em 24 de fevereiro de 2012 16:35, Patrícia Cornils <patrici...@gmail.com> escreveu:

Por mim, fechou. Talvez chegue um pouco atrasada, por causa do horário-mala do meu frila. Mas chego. Êba!

Em 24 de fevereiro de 2012 16:21, Pedro Markun <pe...@esfera.mobi> escreveu:

Opa,

fechado quinta. Horário, podemos deixar 19h30? Se puder ser mais cedo, pra mim, melhor.

Mas fecho com o horário que você puder. (Dessa vez vou tentar não dar bolo!)

abs,
Pedro Markun

2012/2/24 Tiago Cardieri <tiago.c...@gmail.com>

Markun, rola confirmar pra quinta? Qual horário?

Dani, Sobre o Friedrich, no final dessa oficina agente monta um projeto pra ele poder vir, que acha?

Paty, bora agitar o  Friedrich vir pra cá dar essa força pra gente!

Em 24 de fevereiro de 2012 12:02, Daniela B. Silva <daniel...@gmail.com> escreveu:

Quinta!

Em 23/02/2012 21:42, "Pedro Markun" <pe...@esfera.mobi> escreveu:

Opa,

semana que vem já estou de volta no pareo. Quarta? Tem reunião da OGP que deve acabar por ai e continuar com cerveja.

Quinta? Terça?

abs,
Pedro Markun

2012/2/23 Patrícia Cornils <patrici...@gmail.com>

E eu? :(

Em 23 de fevereiro de 2012 20:15, Daniela B. Silva <daniel...@gmail.com> escreveu:

Cardieri, o Friedrich, da OKFN (ele ajudou a gente a instalar o Queremos Saber naquele hackday), me contou hoje que eles têm uma bolsa do Knight Center pra trabalhar database journalism em vários lugares do mundo - uma das coisas que ele ensina nas oficinas é scraping, e ele disse que, se tiver uma boa história, ele vem fazer isso com a gente no Brasil. Contei pra ele sobre Pinheirinho, vamos ver se rola ;)

A gente pode marcar um horário na semana que vem pra trabalhar nesse scraping, eu não manjo muito, mas podemos tentar aprender juntos.

On Thu, Feb 23, 2012 at 2:09 PM, Tiago Cardieri <tiago.c...@gmail.com> wrote:

To maluco pra scrapear dados do controle processual do judiciário.

Oficina? Ou um auxilio à distância? Alguém??

Abraço!

Em 23 de fevereiro de 2012 15:50, Fabricio Zuardi <fabr...@fabricio.org> escreveu:

Será que publicar e divulgar os links para download de CSVs extraidos aqui e/ou outro lugar não é um começo?

Tipo, criar esta cultura de avisar o pessoal que tem dados brutos novos em tal lugar, e perguntar sobre ideias do que fazer com a materia prima?

Oficinas de R, Excel, Google Refine e outras coisas do tipo pode animar tb. Ou propor hackdays tematicos para mexer num conjunto de dados especificos de cada vez…

Sei lá, só jogando uns pensamentos no ar...

On Feb 23, 2012, at 10:50 AM, Edmilton Neves wrote:

Boas pessoal!

2012/2/23 Pedro Markun <pe...@esfera.mobi>

como a gente faz pra melhorar esses fluxos, hein?

 

Markun, podemos replicar o esforço que existe em ensinar as pessoas a fazer o scraper, também para as outras fases.

Talvez incrementar aquele grupo de estudos às quartas, eu topo montar um de SQL se a turma quiser.

Gde. Abraço!

-- 

Ed

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Tiago Cardieri

Skype
Voxer
Cel.
     

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Patrícia Cornils
11 3124-7444 ou 8372-7473

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Tiago Cardieri

Skype
Voxer
Cel.
     

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Patrícia Cornils
11 3124-7444 ou 8372-7473

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Tiago Cardieri

Skype
Voxer
Cel.
     

--
Tiago Cardieri

Skype
Voxer
Cel.
     

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Patrícia Cornils
11 3124-7444 ou 8372-7473

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Tiago Cardieri

Skype
Voxer
Cel.
     

--
Tiago Cardieri

Skype
Voxer
Cel.
     

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

--
Tiago Cardieri

Skype
Voxer
Cel.
     

--
Tiago Cardieri

Skype
Voxer
Cel.
     

--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

[Ricardo Matheus]

É para todo mundo este convite? Adoraria aprender e ajudar vocês.

[Tiago Cardieri]

Chique, faço sim. Querem escolher algum "tipo de ação"*?

Esse do pinheirinho é "Falência", e talvez não seja o mais interessante.

Direito Penal

Direito Tributário

Direito Eleitoral

Direito Administrativo

Direito Civil

Direito Comercial

Direito Trabalhista

Direito Ambiental

*não especificar seria o mesmo q eu te pedir pra explicar um "processo computacional"... até dá, mas fica genérico ao inutilizável

[Patrícia Cornils]

Uau. Animau :D

Que facilitar para a arquibanca e para o tobogã e colocar os links neste thread?

Em 26 de fevereiro de 2012 20:16, Pedro Markun <pe...@esfera.mobi> escreveu:

[Pedro Markun]

claro :)

chega junto!

2012/2/26 Ricardo Matheus <ricardo...@gmail.com>

[Pedro Markun]

pô, ta a mesma distância de você e de mim :P

Favor trazer:

Notebook com Python instalado ( http://www.python.org/download/ )

Cadastro no PythonAnywhere: http://www.pythonanywhere.com

Cadastro no Scraperwiki: https://scraperwiki.com

Um endereço web com informações para serem raspadas:

Ex: Lista de SubPrefeitos ( http://www.prefeitura.sp.gov.br/cidade/secretarias/subprefeituras/subprefeituras/subprefeitos/index.php?p=21778 )

Pra quem quiser ir aquecendo:

http://www.python.org.br/wiki/AprendaProgramar

http://www.diveintopython.net/toc/index.html

http://www.diveintopython.net/native_data_types/index.html#odbchelper.dict (Dicionários)

http://www.diveintopython.net/file_handling/for_loops.html (O tal 'for')

http://docs.python.org/library/ (Documentação da Biblioteca padrão do Python)

http://www.w3.org/TR/CSS2/selector.html (Documentação dos seletores de CSS que vamos usar para encontrar coisas)

http://lxml.de/index.html#documentation (Documentação da biblioteca LXML que vamos usar pra raspar coisas)

https://scraperwiki.com/docs/python/ (Documentação do Scraperwiki que é onde vamos salvar os dados)

colei num pad pra facilitar:
http://okfnpad.org/oficina-scraper101

2012/2/26 Patrícia Cornils <patrici...@gmail.com>

[Tiago Cardieri]

É dia 8 ou 1º?

[Pedro Markun]

1o! falha nostra :)

2012/2/26 Tiago Cardieri <tiago.c...@gmail.com>

[Ricardo Matheus]

Só para saber, ficou para quinta esta oficina ou ficou para quarta feira, dia 29?

Abs

[Tiago Cardieri]

Ricardo, vc pode quarta, 29?

[Ricardo Matheus]

Claro. A partir de qual horário?

Ja instalei tudo aquilo pedido e estou começando a estudar python.

From: Tiago Cardieri <tha...@tiago.adm.br>
Reply-To: <thac...@googlegroups.com>
Date: Tue, 28 Feb 2012 18:38:17 -0300

[Liane Lira]

Vai rolar hoje mesmo? :)

[Ricardo Matheus]

Eu vou! :>

[Pedro Markun]

vai! vai!

eu vou sair daqui e vou prai :)

2012/2/29 Ricardo Matheus <ricardo...@gmail.com>

[Ricardo Matheus]

Caros, pelo pouco tempo que fiquei na casa de cultura, um privilégio assistir a aula de scrap do Sr. Markun! De qualquer sorte, foi uma pena não poder ficar até o final, mas aprendi a fazer lista, dicionário e a identificar os seletores do CSS. Acredito que ainda falta muito pra aprender metade do que a galera sabe! Hehehe

Além disso tivemos uma baita aula de judiciário e processo civil do Sr. Cardieri. Muito bacana mesmo. Falava com propriedade sobre o assunto. Mais legal ainda ver o potencial do encontro entre a tecnologia de um e o conhecimento das leis do outro.

Espero ter outra oportunidade para trabalhar a temática e conhecer melhor a galera alto-astral que finalmente se personificaram das bibliografias aqui da lista! Rs

Se pá levo bolo de cenoura na próxima! A cerva eu deixo com a Stéphanie!

Att.,

Ricardo Matheus

[Pedro Markun]

Opa,

valeu pela presença Ricardo :)

Mal ae, a aula de judiciario comeu boa parte da aula de scraping, mas acho que vale a pena :D

E vai mandando as duvidas aqui na lista que a gente vai se acertando.

abs,
Pedro Markun

2012/3/1 Ricardo Matheus <ricardo...@gmail.com>