Scrapy e Image Pipeline

15 views
Skip to first unread message

decko

unread,
Jun 6, 2013, 10:59:02 AM6/6/13
to thac...@googlegroups.com
Salve galera

Alguém ai já trabalhou com o Scrapy fazendo downloads de imagens? To
tentando sobreescrever a função de nomear os arquivos mas to meio
perdido. Gostaria de renomear os arquivos utilizando algumas
informações que obtenho no scrape, mas ele insiste em renomear
utilizando um hash SHA1.

Se alguém já se aventurou por estas bandas?

--
@decko
André F. A. Brito

Pedro Markun

unread,
Jun 6, 2013, 11:20:23 AM6/6/13
to thac...@googlegroups.com, Capi Etheriel
O Capi fez outros dias um scraper que baixa tirinhas XKCD.

Não sei se o source esta publico?

2013/6/6 decko <de...@birosca.mobi>

--
--
Você recebeu esta mensagem porque está cadastrado no grupo "Transparência Hacker"
Para enviar uma mensagem a todo o grupo, escreva para thac...@googlegroups.com
Para não receber mais mensagens, envie um email para thackday+u...@googlegroups.com
Para mais informações, ou para ler mensagens arquivadas deste grupo, visite http://groups.google.com/group/thackday?hl=pt-BR

---
You received this message because you are subscribed to the Google Groups "Transparência Hacker" group.
To unsubscribe from this group and stop receiving emails from it, send an email to thackday+u...@googlegroups.com.
For more options, visit https://groups.google.com/groups/opt_out.



decko

unread,
Jun 6, 2013, 11:25:41 AM6/6/13
to thac...@googlegroups.com, Capi Etheriel
Caaapiiiii, caaapiiiii

2013/6/6 Pedro Markun <pe...@esfera.mobi>:

capi etheriel

unread,
Jun 7, 2013, 6:45:06 PM6/7/13
to decko, thac...@googlegroups.com
decko, sobe seu código pra eu ler? eu tropecei nessa parte de baixar :P

mas olha, sobre o SHA1: vc tá usando o pipeline que vem pronto no scrapy né. Eu sugiro vc definir um novo pipeline que herda do image pipeline e sobrescrever o pedaço que renomeia o arquivo: o método image_key (dá uma olhada na implementação padrão, ele recebe uma url e deduz o nome do arquivo a partir dela).


2013/6/6 decko <de...@birosca.mobi>



--
Capi Etheriel
Desenvolvedor e Designer para Web
Comunidade Transparência Hacker
http://barraponto.blog.br http://zerp.ly/barraponto
Reply all
Reply to author
Forward
0 new messages