Open data in retromarcia: downgrade del dataset degli europarlamentari. Chi ci può fare uno scrape?

[Alberto]

L'ottimo Alfredo ha scoperto che il vecchio dataset che usavamo per TweetYourMEP (2012-13, se non ricordo male) è stato peggiorato, presumo dopo le elezioni europee del 2014. Adesso si trova sull'European Data Portal (esattamente qui), ma i campi con gli account Facebook e Twitter sono spariti. Ho provato a mandare un tweet a EU_Dataportal, ma non ho molta speranza sui risultati. 

Qualcuno di voialtri grattatori potrebbe farci uno scrape al volo degli account twitter degli europarlamentari in carica? Che ne so, Vincenzo, Napo, Piersoft, uno dei Matteo, che tanto con quel nome pare che si sia bravi in automatico... 

Grazie, neh. Laura e Alf lavorano all'applicazione, con il supporto di Paolo. Monica si è offerta di fare un bottone per MEP che genera un emendamento automatico in Atoma Nkoso. Io, come al solito, riesco a fare poco, ma non è cattiva volontà. Però ci mancano... i dati! Quindi insomma, un'altra grande produzione SOD. Al vostro buon cuore :-)

[Stefano]

Sulle pagine dei singoli membri (html) ci sono nel box a destra.

Ci si arriva dalla ricerca avanzata

http://www.europarl.europa.eu/meps/en/search.html

Ci vorrebbe uno di quei begli scraper che autocliccano i form di ricerca tipo stregoneria...

Stefano

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

[andy]

Ciao,

2017-01-06 14:39 GMT+01:00 Alberto <alberto...@gmail.com>:

L'ottimo Alfredo ha scoperto che il vecchio dataset che usavamo per TweetYourMEP (2012-13, se non ricordo male) è stato peggiorato, presumo dopo le elezioni europee del 2014. Adesso si trova sull'European Data Portal (esattamente qui), ma i campi con gli account Facebook e Twitter sono spariti. Ho provato a mandare un tweet a EU_Dataportal, ma non ho molta speranza sui risultati. 

fatto un po' di corsa e senza check: https://docs.google.com/spreadsheets/d/1Ks1eGJBSmox07o3cUqUR_YLfOmj68630j9PcT9RXXUc/edit?usp=sharing

Ho estratto soltanto email, website, fb e twitter.

Saluti,

a

___________________

Andrea Borruso
website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
___________________

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

[Stefano]

Il giorno 6 gennaio 2017 20:10, andy <abor...@gmail.com> ha scritto:

Ciao,

2017-01-06 14:39 GMT+01:00 Alberto <alberto...@gmail.com>:

L'ottimo Alfredo ha scoperto che il vecchio dataset che usavamo per TweetYourMEP (2012-13, se non ricordo male) è stato peggiorato, presumo dopo le elezioni europee del 2014. Adesso si trova sull'European Data Portal (esattamente qui), ma i campi con gli account Facebook e Twitter sono spariti. Ho provato a mandare un tweet a EU_Dataportal, ma non ho molta speranza sui risultati. 

fatto un po' di corsa e senza check: https://docs.google.com/spreadsheets/d/1Ks1eGJBSmox07o3cUqUR_YLfOmj68630j9PcT9RXXUc/edit?usp=sharing

Ho estratto soltanto email, website, fb e twitter.

Acc, hai vinto te, avevo appena finito lo scraper e fatto girare sui belgi :D (tra l'altro ottima sicurezza antispam per le mail...) 

Saluti,

a

Ciao,

Stefano

 

___________________

Andrea Borruso
website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
___________________

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

--

[andy]

2017-01-06 20:16 GMT+01:00 Stefano <sab...@gmail.com>:

Acc, hai vinto te, avevo appena finito lo scraper e fatto girare sui belgi :D (tra l'altro ottima sicurezza antispam per le mail...) 

A me pare peggio che non ci siano questi dati esposti in altri modi. E non penso solo agli account social, ma al genere, alla nazionalità, la data di nascita, ecc.. Boh??

[Alberto]

Ma infatti! E non avete idea di quanto sia orgoglioso di voi :-)

[Alberto]

Andrea, non vorrei prendermi il proverbiale braccio, però secondo me servono anche altri dati. L'ideale sarebbe avere il collegio di elezione. Immagino un viaggio utente in cui io metto dentro il mio comune e mi escono i MEP eletti nella mia circoscrizione. 

Se questo è troppo difficile (o magari semplicemente per una prima release) almeno la nazionalità. Un MEP danese non mi considera, e ha ragione: sono solo uno scocciatore, lui non sta lì a rappresentare me. Un italiano, invece, pensa "Uh, un elettore!". O almeno dovrebbe. 

Puoi per favore aggiungere:

• country
• constituency (che non c'è per tutti, per esempio la Danimarca ha il collegio unico)
• political group

Sto usando il sito in in versione inglese. In Italiano i campi vengono chiamati Paese, Circoscrizione elettorale e Gruppo politico

Scusa, eh. Ma ormai ci sei... :-D

[andy]

Ciao Alberto,

2017-01-06 20:35 GMT+01:00 Alberto <alberto...@gmail.com>:

Scusa, eh. Ma ormai ci sei... :-D

ho inserito una chiamata live al file XML[1] in un altro foglio ("XMLimport"), e inserito un VLOOKUP nel foglio "dati" per estrarre dal primo "country", "politicalGroup" e "nationalPoliticalGroup".

Sarebbe bene fare una copia in CSV del primo foglio.

Notte

[1] http://www.europarl.europa.eu/meps/en/xml.html?query=full&filter=all

[Guglielmo Celata]

Ciao cari, ho creato uno scraper per i dati dei meps, e l'ho messo su morph.io: https://morph.io/openpolis/meps

Ho preso tutti i dati che sono riuscito a trovare nelle pagine dei singoli parlamentari.

Il codice è in python e la piattaforma permette di contribuire facilmente.

Trovate i dati direttamente nella pagina, scaricabili come csv, sql o accessibili con delle api.

Al momento dell'invio di questa email, il parser è ancora in esecuzione, dovrebbe finire in qualche minuto.

Guglielmo

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

[Guglielmo Celata]

I dati CSV sono scaricabili solo da chi ha un account github. Per gli altri eccoli qui in allegato.

Guglielmo

[Guglielmo Celata]

Gruppi del Parlamento europeo, partiti e nazionalità ci sono, la circoscrizione elettorale però non la trovo.

Guglielmo

[Alberto Cottica]

Guglielmo, sei su Telegram?

Guglielmo

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.

[Guglielmo Celata]

Sì, però non sono esperto. Cosa devo fare?

Guglielmo

Guglielmo, sei su Telegram?

Guglielmo

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

[Laura Camellini]

++ borruso!!!!

Dato che hai usato le spreadsheet possiamo addirittura usare le webcomponent che ho creato 2 anni fa con polymer...

Che meraviglia!!!

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.

[Alberto]

Guglielmo: bellissimo! Grazie a tutti! 

[andy]

Aggiungo una bella lettura che mi ha segnalato Andrea Raimondi https://medium.com/@eliflab/analyzing-meps-connections-on-twitter-who-s-worth-following-98a386ac4787

C'erano anche i dati.

Saluti

Il sab 7 gen 2017, 12:21 Alberto <alberto...@gmail.com> ha scritto:

Guglielmo: bellissimo! Grazie a tutti! 

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

--

______
Scusami per la brevità, ti sto scrivendo dal cellulare.

website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E EPSG:4326

[Alberto]

Mi ha riscritto Glen dell'European Data Portal:

Alberto hello. I can confirm that your suggestion will be taken care of and looks promising. The problem may be the time frame for you. We don't know. I will try to leave your suggestion open and get back to you when it's made available. I hope this is OK. If for some reason I dont respect this promise, keep your eyes open. Keep in touch. Glen

Speriamo bene. Nel frattempo, con Laura e Alfredo cerchiamo di finire il nuovo TweetYourMEP...