Pedindo ajuda: Hackers na Mídia
12 views
Skip to first unread message
Daniela B. Silva
Jul 9, 2011, 11:03:02 PM7/9/11
to thackday
Oi, todomundo!
Estou aqui no Transparência HackDay Campinas trabalhando num projeto com Diego Casaes e Livia Ascava – vamos fazer algumas visualizações simples e análises de termos e informações das matérias sobre hackers que saíram em 2011 na mídia. A ideia é fazer comparações com os posts carregando esse termo que saíram aqui na lista da thacker nesse mesmo período.
A metodologia que tiramos do bolso do batman, quero dizer, que criamos para isso está aqui: ietherpad.com/hackersnamidia.
Cada um hackeia com o que pode. Como scraping (ainda) não é o nosso forte, estamos montando uma planilha com dados das matérias por meio desse formulário aqui: http://moourl.com/hackersnamidia. O Diego está chamando de "crowdclipping". O clipping funciona, só está faltando a parte da crowd :P
Quem pode ajudar? É assim:
- entre no ietherpad
- coloque seu nome na frente do veículo que você vai pesquisar (pra duas pessoas não pegarem o mesmo trampo)
- use a ferramenta de busca do veículo para encontrar matérias com o termo hacker
- visualize por data e coloque as informações de todas as matérias que você achar no ano de 2011 no formulário (inclusive colando o texto completo no campo determinado, é importante)
- faça o mesmo para hackers, pra ver se você perdeu alguma coisa
É um trabalho chatinho, mas acho que pode render conclusões legais. Estou fazendo o Estadão e percebendo, com surpresa, que os resultados para "hacker" são altamente políticos – aparecem quase todos nas editorias de política e internacional. Achei ums poucos em Economia (sobre o caso do Playstation) e só um em tecnologia até agora... Enfim.
Ajuda? Ajuda?
Bjs,
Dani
Daniela B. Silva
Jul 9, 2011, 11:04:00 PM7/9/11
to thackday
Alguém aí é assinante do Estadão e tem uma senha?
2011/7/10 Daniela B. Silva <daniel...@gmail.com>
✿◠‿◠)♥ Diólia de Carvalho Graziano
Jul 10, 2011, 9:53:25 AM7/10/11
to thac...@googlegroups.com
Bom dia, fiz o scraping da Carta Capital com as palavras Hacker e Hackers. Com a primeira, no singular, obtive, em 2011, os mesmos resultados que na busca com a palavra no plural, porém acrescidos de duas matérias que NÃO mencionam o termo da busca, nem mesmo nos comentários! Estranho né? Obviamente optei por não incluir as tais duas matérias, uma sobre Hugo Chaves, a outra sobre as vítimas do Haiti, embora apareçam no mecanismo de busca. Só para constar:
Matérias de 6 de julho e 11 de janeiro:
abs,
2011/7/10 Daniela B. Silva <daniel...@gmail.com>
Oi, todomundo!
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.
Daniela B. Silva
Jul 11, 2011, 6:56:36 PM7/11/11
to thac...@googlegroups.com
Oba :D
Valeu, Diolia!
Gente, na quarta-feira de manhã tem uma consulta pública sobre o PL Azeredo – detonando hackers desde 2009 – na Câmara, em BSB. Acho que vale muito a pena produzir algumas visualizações dessas matérias até lá.
Mutirão já???
Beijos
Núbia Souza
Jul 11, 2011, 7:07:31 PM7/11/11
to thac...@googlegroups.com
Vou dar uma ajuda nisso =D
Núbia Souza.
Núbia Souza.
Diego Casaes
Jul 11, 2011, 7:53:14 PM7/11/11
to thac...@googlegroups.com
Eu peguei o Extra agora. Mas ainda falta gente pra trabalhar no conteúdo das revistas!
✿◠‿◠)♥ Diólia de Carvalho Graziano
Jul 11, 2011, 10:05:04 PM7/11/11
to thac...@googlegroups.com
Daniela B. Silva
Jul 12, 2011, 12:34:22 AM7/12/11
to thac...@googlegroups.com
Estou raspando as matérias do Estadão :D
(Cansei de fazer 'scraping sem código', estou aqui tentando aprender \o/)
Tenho que resolver os acentos ainda, depois vou fazer um pra Folha.
Bjs
2011/7/11 ✿◠‿◠)♥ Diólia de Carvalho Graziano <dio...@gmail.com>
Pedro Markun
Jul 12, 2011, 2:24:47 AM7/12/11
to thac...@googlegroups.com
http://scraperwiki.com/scrapers/thacker-hackers-epoca/
ps: Capi, resolvi o bug dos acentos. Checa no código =p
2011/7/12 Daniela B. Silva <daniel...@gmail.com>
Tatiane Ribeiro
Jul 12, 2011, 11:40:24 AM7/12/11
to Transparência Hacker
Oi galera!
Pelo que vi está faltando a revista Viva Mais e Caras?
É isso?
Acho que a planilha não está completa
http://ietherpad.com/hackersnamidia
Me diga, pois, gostaria de ajudar.
Beijos
On 11 jul, 20:53, Diego Casaes <di...@esfera.mobi> wrote:
> Eu peguei o Extra agora. Mas ainda falta gente pra trabalhar no conteúdo das revistas!
>
> On 11/07/2011, at 20:07, Núbia Souza wrote:> Vou dar uma ajuda nisso =D
>
> > Núbia Souza.
>
Pelo que vi está faltando a revista Viva Mais e Caras?
É isso?
Acho que a planilha não está completa
http://ietherpad.com/hackersnamidia
Me diga, pois, gostaria de ajudar.
Beijos
On 11 jul, 20:53, Diego Casaes <di...@esfera.mobi> wrote:
> Eu peguei o Extra agora. Mas ainda falta gente pra trabalhar no conteúdo das revistas!
>
> On 11/07/2011, at 20:07, Núbia Souza wrote:> Vou dar uma ajuda nisso =D
>
> > Núbia Souza.
>
> > Em 11 de julho de 2011 19:56, Daniela B. Silva <danielabsi...@gmail.com> escreveu:
> > Oba :D
>
> > Valeu, Diolia!
>
> > Gente, na quarta-feira de manhã tem uma consulta pública sobre o PL Azeredo – detonando hackers desde 2009 – na Câmara, em BSB. Acho que vale muito a pena produzir algumas visualizações dessas matérias até lá.
>
> > Mutirão já???
>
> > Beijos
>
> > Dani
>
> > 2011/7/10 ✿◠‿◠)♥ Diólia de Carvalho Graziano <diol...@gmail.com>
> > Oba :D
>
> > Valeu, Diolia!
>
> > Gente, na quarta-feira de manhã tem uma consulta pública sobre o PL Azeredo – detonando hackers desde 2009 – na Câmara, em BSB. Acho que vale muito a pena produzir algumas visualizações dessas matérias até lá.
>
> > Mutirão já???
>
> > Beijos
>
> > Dani
>
>
> > Bom dia, fiz o scraping da Carta Capital com as palavras Hacker e Hackers. Com a primeira, no singular, obtive, em 2011, os mesmos resultados que na busca com a palavra no plural, porém acrescidos de duas matérias que NÃO mencionam o termo da busca, nem mesmo nos comentários! Estranho né? Obviamente optei por não incluir as tais duas matérias, uma sobre Hugo Chaves, a outra sobre as vítimas do Haiti, embora apareçam no mecanismo de busca. Só para constar:
> > Matérias de 6 de julho e 11 de janeiro:
> >http://www.cartacapital.com.br/internacional/o-ano-que-vivemos-em-perigo
>
> > abs,
>
> > Diólia ૐ
>
> > about.me/diolia ✿◠‿◠)♥ "Se funciona, é obsoleto." Mcluhan
>
> > +55 11 9989-8455 Vivo
>
> > 2011/7/10 Daniela B. Silva <danielabsi...@gmail.com>
> > Bom dia, fiz o scraping da Carta Capital com as palavras Hacker e Hackers. Com a primeira, no singular, obtive, em 2011, os mesmos resultados que na busca com a palavra no plural, porém acrescidos de duas matérias que NÃO mencionam o termo da busca, nem mesmo nos comentários! Estranho né? Obviamente optei por não incluir as tais duas matérias, uma sobre Hugo Chaves, a outra sobre as vítimas do Haiti, embora apareçam no mecanismo de busca. Só para constar:
> > Matérias de 6 de julho e 11 de janeiro:
> >http://www.cartacapital.com.br/internacional/o-ano-que-vivemos-em-perigo
>
> > abs,
>
> > Diólia ૐ
>
> > about.me/diolia ✿◠‿◠)♥ "Se funciona, é obsoleto." Mcluhan
>
> > +55 11 9989-8455 Vivo
>
> > Oi, todomundo!
>
> > Estou aqui no Transparência HackDay Campinas trabalhando num projeto com Diego Casaes e Livia Ascava – vamos fazer algumas visualizações simples e análises de termos e informações das matérias sobre hackers que saíram em 2011 na mídia. A ideia é fazer comparações com os posts carregando esse termo que saíram aqui na lista da thacker nesse mesmo período.
>
> > A metodologia que tiramos do bolso do batman, quero dizer, que criamos para isso está aqui: ietherpad.com/hackersnamidia.
>
> > Cada um hackeia com o que pode. Como scraping (ainda) não é o nosso forte, estamos montando uma planilha com dados das matérias por meio desse formulário aqui:http://moourl.com/hackersnamidia. O Diego está chamando de "crowdclipping". O clipping funciona, só está faltando a parte da crowd :P
>
> > Quem pode ajudar? É assim:
> > entre no ietherpad
> > coloque seu nome na frente do veículo que você vai pesquisar (pra duas pessoas não pegarem o mesmo trampo)
> > use a ferramenta de busca do veículo para encontrar matérias com o termo hacker
> > visualize por data e coloque as informações de todas as matérias que você achar no ano de 2011 no formulário (inclusive colando o texto completo no campo determinado, é importante)
> > faça o mesmo para hackers, pra ver se você perdeu alguma coisa
> > É um trabalho chatinho, mas acho que pode render conclusões legais. Estou fazendo o Estadão e percebendo, com surpresa, que os resultados para "hacker" são altamente políticos – aparecem quase todos nas editorias de política e internacional. Achei ums poucos em Economia (sobre o caso do Playstation) e só um em tecnologia até agora... Enfim.
>
> > Ajuda? Ajuda?
>
> > Bjs,
>
> > Dani
>
> > --
> > Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
> > Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> > Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
> > Para obter mais opções, visite esse grupo emhttp://groups.google.com/group/thackday?hl=pt-BR.
>
> > Estou aqui no Transparência HackDay Campinas trabalhando num projeto com Diego Casaes e Livia Ascava – vamos fazer algumas visualizações simples e análises de termos e informações das matérias sobre hackers que saíram em 2011 na mídia. A ideia é fazer comparações com os posts carregando esse termo que saíram aqui na lista da thacker nesse mesmo período.
>
> > A metodologia que tiramos do bolso do batman, quero dizer, que criamos para isso está aqui: ietherpad.com/hackersnamidia.
>
> > Cada um hackeia com o que pode. Como scraping (ainda) não é o nosso forte, estamos montando uma planilha com dados das matérias por meio desse formulário aqui:http://moourl.com/hackersnamidia. O Diego está chamando de "crowdclipping". O clipping funciona, só está faltando a parte da crowd :P
>
> > Quem pode ajudar? É assim:
> > entre no ietherpad
> > coloque seu nome na frente do veículo que você vai pesquisar (pra duas pessoas não pegarem o mesmo trampo)
> > use a ferramenta de busca do veículo para encontrar matérias com o termo hacker
> > visualize por data e coloque as informações de todas as matérias que você achar no ano de 2011 no formulário (inclusive colando o texto completo no campo determinado, é importante)
> > faça o mesmo para hackers, pra ver se você perdeu alguma coisa
> > É um trabalho chatinho, mas acho que pode render conclusões legais. Estou fazendo o Estadão e percebendo, com surpresa, que os resultados para "hacker" são altamente políticos – aparecem quase todos nas editorias de política e internacional. Achei ums poucos em Economia (sobre o caso do Playstation) e só um em tecnologia até agora... Enfim.
>
> > Ajuda? Ajuda?
>
> > Bjs,
>
> > Dani
>
> > --
> > Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
> > Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> > Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
>
> > --
> > Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
> > Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> > Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
> > Para obter mais opções, visite esse grupo emhttp://groups.google.com/group/thackday?hl=pt-BR.
> > --
> > Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
> > Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> > Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
>
> > --
> > Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
> > Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> > Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
> > Para obter mais opções, visite esse grupo emhttp://groups.google.com/group/thackday?hl=pt-BR.
> > --
> > Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
> > Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> > Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Capi Etheriel
Jul 13, 2011, 10:06:23 AM7/13/11
to thac...@googlegroups.com
UnicodeDammit é ótimo. mas normalmente o encoding não varia pro mesmo site.
sendo um site só, eu detecto manualmente. se forem muitos... bom, se for o caso, dá pra usar o UnicodeDammit só pra detectar o encoding, não?
sendo um site só, eu detecto manualmente. se forem muitos... bom, se for o caso, dá pra usar o UnicodeDammit só pra detectar o encoding, não?
Pedro Markun
Jul 13, 2011, 11:02:33 AM7/13/11
to thac...@googlegroups.com
Normalmente o encoding não deveria variar :P
Na prática acontece bastante.
A documentação do LXML recomenda isso, inclusive. Usar o UnicodeDammit só pra descobrir o charset. É o que estou usando nos scripts lá.
abs,
UnicodeDammit é ótimo. mas normalmente o encoding não varia pro mesmo site.
sendo um site só, eu detecto manualmente. se forem muitos... bom, se for o caso, dá pra usar o UnicodeDammit só pra detectar o encoding, não?
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para ver esta discussão na web, acesse https://groups.google.com/d/msg/thackday/-/t74PzxSvn3gJ.
Reply all
Reply to author
Forward
0 new messages