Scraping agostano?

87 views
Skip to first unread message

Alberto

unread,
Aug 9, 2012, 4:52:17 AM8/9/12
to spaghett...@googlegroups.com
Non esageriamo, va'. 

Però con un conoscente – parlamentare europeo – ci dicevamo ieri che probabilmente i parlamentari reagiscono di più al messaggio di un cittadino sui social media che non a una mail – per la semplice ragione che il messaggio sui social si vede, e quindi rispondere dà più vantaggi di immagine e non rispondere dà più svantaggi. Quindi, nel fare campagne sui parlamentari europei, ha più impatto "Twitta a un europarlamentare" che non "scrivi a un europarlamentare". A noi interesserebbe ottenere altre 150 firme di parlamentari sulla Dichiarazione scritta per una governance aperta e collaborativa, che servirebbero per passare la soglia necessaria per l'adozione di questa dichiarazione da parte del Parlamento Europeo.

Io, però, non ho trovato una risorsa con gli account Twitter e Facebook dei MEPs. Ci sarebbe Tweet your MEPs per i soli tedeschi, ma mi risulta giù.

Quindi, mi stavo chiedendo se qualche ubergeek qui sarebbe in grado di prendere questa pagina:


e tirarne fuori un elenco di parlamentari europei che usano Twitter/Facebook, con i link ai rispettivi profili? 

Alfredo Serafini

unread,
Aug 9, 2012, 6:50:46 AM8/9/12
to spaghett...@googlegroups.com
Ciao
bella idea!

da una rapidissima occhiata basta giocare un po' con le uri di richiesta per ottenere il json che usano per "popolare" dinamicamente la pagina:
http://www.epnewshub.eu/feederfrontendapi/contributors/1/?&limit=2147483647

con questa dovrebbe ridare l'intera lista, all'interno della quale è facile riconoscere ciò che ti serve, altrimenti se ne può fare parsing e convertirlo in altre cose, tipo un csv.
Per vedere per bene il json, ti consiglio di installare jsonview:
per chrome:
per firefox:

se ti è utile farne il parsing posso fartelo, ma ad occhio c'è già qui tutto quello che ti/vi può servire, almeno credo :-)
Alfredo

Alberto Cottica

unread,
Aug 9, 2012, 7:29:33 AM8/9/12
to spaghett...@googlegroups.com

Alfredo, sei un genio... ma anche un tentatore. Qui va a finire che gioco tutto il giorno invece di lavorare :-(

Fabio Ferri

unread,
Aug 9, 2012, 8:09:33 AM8/9/12
to spaghett...@googlegroups.com, alb...@cottica.net
Bell'idea, e bel ragionamento!

Tweet your MEPs  ha cambiato indirizzo e dovrebbe essere qui http://europatweets.eu/ .

Ciao

Fabio

Alberto

unread,
Aug 9, 2012, 9:48:12 AM8/9/12
to spaghett...@googlegroups.com
La chiamata alle API con jsonview va che è un piacere. YAY!

Come si fa per cavarne un file? O meglio ancora: come si fa per cavarne una pagina web in cui c'è una lista con tutti i MEPs che hanno Twitter, divisi per paese? 

A me vengono in mente soluzioni molto artigianali, tipo "seleziona tutto", copia, poi apri un file in TextMate, incolla e salva. Poi da lì si potrebbero sfrondare i MEPs che non usano i media sociali eccetera.

Però è chiaro che non è una soluzione elegante. Ci vorrebbe una pagina che tirasse su i dati direttamente dall'API: magari un scriptino Javascript per scegliere il paese, tu scegli "Italia" e la pagina fa una chiamata all'API e ti mette una lista di MEPs italiani con i link all'account Twitter e al profilo Facebook. C'è un tutorial da qualche parte?

(se avessimo un sito ci si potrebbero mettere anche questi "hack della domenica" di SOD. Così, tanto per dire) 

lbonesini

unread,
Aug 9, 2012, 9:51:22 AM8/9/12
to spaghett...@googlegroups.com
Intanto, giusto per dare un'occhiata offline, ecco i dati su foglio elettronico (allegato).
Ciao. Luca
europa.ods

Alberto

unread,
Aug 9, 2012, 10:06:05 AM8/9/12
to spaghett...@googlegroups.com
Strano, ho provato a scaricarlo ma il mac lo legge come file ZIP. Ho provato a decomprimerlo, ma mi viene fuori un improbabile europa.ods.cpgz Tu l'ha compresso in upload?

Alessio 'Blaster' Biancalana

unread,
Aug 9, 2012, 10:07:43 AM8/9/12
to spaghett...@googlegroups.com
Alberto, io lo leggo correttamente.
Ti serve che rifaccia l'upload?

Alberto

unread,
Aug 9, 2012, 10:09:31 AM8/9/12
to spaghett...@googlegroups.com
Sì, dai, prova. Non comprimere, che tanto è piccolo. Grazie!

Alessio 'Blaster' Biancalana

unread,
Aug 9, 2012, 10:11:07 AM8/9/12
to spaghett...@googlegroups.com
Vedi se riesci. Per aprirlo ho usato LibreOffice, non ricordo se 3.5 o 3.6, comunque è a posto.
europa_up.ods

Alberto

unread,
Aug 9, 2012, 10:20:37 AM8/9/12
to spaghett...@googlegroups.com
Secondo me è MacOS che ha delle pippe. Ho provato a aprirlo da Linux con LibreOffice e funziona perfettamente. Grazie!

lbonesini

unread,
Aug 9, 2012, 10:53:05 AM8/9/12
to spaghett...@googlegroups.com
Sorry, m'ero assentato un attimo. Pare tutto risolto, giusto?

Alessio 'Blaster' Biancalana

unread,
Aug 9, 2012, 10:54:35 AM8/9/12
to spaghett...@googlegroups.com
Pare di si Luca :)
Anch'io comunque vorrei trovare il tempo di mettermi a giocare con quella API, mi sembra veramente interessante come discorso.

Ale

korsh

unread,
Aug 9, 2012, 11:06:56 AM8/9/12
to spaghett...@googlegroups.com
Le righe sono 791 i parlamentari 1291 secondo me mancano questi:

ciao

ario

Alberto

unread,
Aug 9, 2012, 11:34:56 AM8/9/12
to spaghett...@googlegroups.com
Ario ha ragione, mancano parlamentari. 

Quelli con Twitter sono 301, quelli con Facebook 318.

lbonesini

unread,
Aug 9, 2012, 11:41:42 AM8/9/12
to spaghett...@googlegroups.com
Sì, in effetti non ho controllato e ho preso solo quelli che uscivano da qui:

Adesso controllo.

lbonesini

unread,
Aug 9, 2012, 6:04:46 PM8/9/12
to spaghett...@googlegroups.com
Il sito funziona ad intermittenza ed è difficile usarlo (ci riproverò); una domanda: ma siamo sicuri che il numero non sia giusto? Non dovrebbero essere settecento-e-rotti (754?) i parlamentari europei?

korsh

unread,
Aug 9, 2012, 7:51:46 PM8/9/12
to spaghett...@googlegroups.com
Hai ragione dovrebbero essere 754. Dai 790 tolti i gruppi e gli id dei paesi rimangono 753 ( non so forse un seggio vacante).
Dovrebbero essere tutti. Sbagliavo io, il fatto che qui http://www.epnewshub.eu/#/template=contributors&mp=2-0-0 da 1291 valori, dentro c'è probabilmente di tutto.

Comunque a me da 290 parlamentari europei (tolti i gruppi ecc.) con account twitter e 284 con facebook  ma 485 parlamentari con il sito.
Ho provato a fare qualche controllo  e ho notato che alcuni parlamentari europei che hanno il sito hanno anche l'account twitter e/o facebook anche se non è segnalato dal parlamento europeo.

Anche io ho trovato molta lentezza a caricare questa pagina http://www.epnewshub.eu/#/template=contributors&mp=2-0-0.

ciao

ario

Alberto

unread,
Aug 10, 2012, 4:24:27 AM8/10/12
to spaghett...@googlegroups.com
Ario, è ragionevole che ci sia qualche ritardo e sbavatura nell'immettere i dati, per cui il numero reale dei parlamentari con Twitter/Facebook è un po' più alto di quello che si vede dal sito. 

Nel frattempo, se guardate qui scoprite che "il sito Tweet you MEP è in evoluzione. Sarà pronto... per le elezioni europee del 2014! Niente da fare, mi serve prima (senza contare che mi sembra esagerato programmare a due anni una cosa così semplice). Bisognerà inventarsi un accricco.

Alfredo Serafini

unread,
Aug 10, 2012, 5:52:50 AM8/10/12
to spaghett...@googlegroups.com
intanto c'è la versione mobile (che ovviamente funziona anche da browser) che sembra utilizzabilissima...
ma se vuoi si può fare una paginetta per consumare i dati, bisognerebbe capire cosa c'è da fare

Alberto

unread,
Aug 10, 2012, 6:37:19 AM8/10/12
to spaghett...@googlegroups.com
Come dicevo: una pagina in cui puoi vedere l'elenco (per nazione) dei MEPs dotati di Twitter e Facebook; e un link ai loro accounts.

Mi dai l'URL del sito mobile?

Fabio Ferri

unread,
Aug 10, 2012, 8:02:54 AM8/10/12
to spaghett...@googlegroups.com
http://www.europatweets.eu/# 
la versione mobile credo sia solo per iphone 

Alberto

unread,
Aug 10, 2012, 8:33:03 AM8/10/12
to spaghett...@googlegroups.com
No, quel sito è solo un aggregatore di tweets: puoi leggere i tweets dei MEPS. Però in alto a sx trovi il link a TweetyourMEP, che è un sito dove puoi SCRIVERE tweets indirizzati ai MEPS... ma, come dicevo, risulta in costruzione.

Gabriele Boccassini

unread,
Aug 13, 2012, 6:27:58 AM8/13/12
to spaghett...@googlegroups.com
Se vuoi giocare con quei dati, basta usare i due url

http://www.epnewshub.eu/feederfrontendapi/contributors/0
e
http://www.epnewshub.eu/feederfrontendapi/contributors/1

in google refine caricandoli naturalmente con Json.

Gabriele


Il giorno giovedì 9 agosto 2012 10:52:17 UTC+2, Alberto ha scritto:
Reply all
Reply to author
Forward
0 new messages