Riflessione data driven sulle comunità OpenData

66 views
Skip to first unread message

Andrea Nelson Mauro

unread,
Oct 5, 2016, 4:44:15 AM10/5/16
to opendatasicilia
Ciao gente, 

in un precedente post ho girato qui l'elenco dei membri del gruppo facebook OpendataSicilia e la cosa ha suscitato qualche interesse.
Specie a seguito di alcuni scambi con Ludovica e Patrick per cercare di estrarre statistiche (partecipazione di gender, professioni, etc...) mi sta frullando in testa l'idea di provare ambiziosamente a fare una sorta di "State of Open Data communities" italiane.

Mi spiego: anni fa, il catalizzatore principale sugli opendata era spaghetti opendata. Negli anni molte cose/gruppi/iniziative autonome/i sono nati e ne sto vedendo fiorire spesso. O meglio: mi accordo settimanalmente di nuove cose che sono state fatte.
Allora mi chiedo appunto: perché non proviamo a costruire qualcosa di onnicomprensivo (almeno come obiettivo)?
Qual è lo stato dell'ecosistema degli opendata in Italia tra attivisti, aziende, etc?

Così, come primo passo, dallo scraping del gruppo fb di odsicilia, ho tirato giù tutti i membri dei gruppi facebook opendata che conosco

I dati sono qui, e spero suscitino altro interesse

ciro spataro

unread,
Oct 5, 2016, 4:53:37 AM10/5/16
to opendatasicilia
idea bella e ambiziosa,
e potente per gli sviluppi che può avere,
ne sono affascinato
--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/e3cd9278-e9ed-4329-9b81-9bce6f02b870%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.

Giuseppe Reale

unread,
Oct 5, 2016, 5:19:54 AM10/5/16
to opendatasicilia
Ciao,

Bel lavoro!!! Avevo pensato anch'io, dopo aver fatto un paper sul caso ods insieme a Davide Arcidiacono (uscirà a breve su una rivista), alla possibilità di estendere l'analisi ad altri gruppi open data e ne avevo già parlato con qualche sociologo/politologo così, tanto per sondare l'interesse...
I dati che hai estratto e il sistema che hai creato per fare questa operazione sono molto utili per chi si occupa di ricerca sociale! 
Io In questo momento sono in fase di conclusione del mio dottorato e tutto ottobre non credo di poterci mettere mano ma anche a me frullano tante idee nella testa! Se fra un mesetto l'idea che hai lanciato è ancora in fieri e ci sono spazi di collaborazione ne riparliamo molto volentieri, sarebbe bello creare un piccolo gruppo di ricerca se tempistiche e impegni lo consentono ;-)

G

Il giorno 5 ottobre 2016 10:44, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:
--

Andrea Nelson Mauro | Dataninja.it

unread,
Oct 5, 2016, 6:43:07 AM10/5/16
to opendatasicilia
Giuseppe: certo! ne parlavamo giorni va anche con Ludovica Ioppolo che è qui in lista e lavora in Istat.

Quello che occorre fare in questa prima fase è allargare il più possibile l'elenco dei soggetti da monitorare. Al momento ci sono quei gruppi facebook (che ho elencato nel foglio). Ce ne sono altri? @Ciro: ne conosci alcuni che a me sono sfuggiti?

Una volta allargata la base di soggetti da monitorare, possiamo andare avanti.
Considerate che un'altra cosa che si può fare è scaricare tutti i post dei gruppi facebook (e monitorare interazioni, argomenti, etc...)

Se siete iscritti a facebook e cliccate qui, dovreste vedere anche voi un esempio, come lo screenshot che allego
(se non vi funziona, sarà quasi certamente colpa del fatto che dovete avere un token valido...)





Per altre opzioni visita https://groups.google.com/d/optout.



--
Andrea Nelson Mauro - Datajournalist
dataninja.it
http://twitter.com/nelsonmau
fb_gr_posts.png

Giuseppe Reale

unread,
Oct 5, 2016, 6:52:52 AM10/5/16
to opendatasicilia
Ottimo, allora ci aggiorniamo nelle prossime settimane! Non conosco direttamente Ludovica Ioppolo ma ho seguito il suo interessante intervento a Messina ;-)

PS: Io lo scorso anno avevo trovato questi gruppi (agosto 2015):

Gruppi Open Data

Open Data Sicilia

Open Data Venezia

Open Data Calabria

Open Data Torino

Open Data Emilia Romagna

Open Data Bari

Open Data Romagna

Open Data Territorio Enna

Open Data Lecce

Sardinia Open Data

Open Data Milano

Open Data Salerno

Open Data Trentino

Open Data Matera





Andrea Nelson Mauro | Dataninja.it

unread,
Oct 5, 2016, 6:55:09 AM10/5/16
to opendatasicilia
@giuseppe: fai un foglio gdrive con nome e link, please? sennò ti tolgo l'amicizia su facebook! :)))




Per altre opzioni visita https://groups.google.com/d/optout.

Giuseppe Reale

unread,
Oct 5, 2016, 7:15:55 AM10/5/16
to opendatasicilia
;-)))... Eccolo


credo che siano più o meno gli stessi che hai individuato tu ma, ripeto, li avevo elencati lo scorso anno.. magari è spuntato altro.

G

Ludovica Ioppolo

unread,
Oct 5, 2016, 7:30:10 AM10/5/16
to opendat...@googlegroups.com
Eccomi!
Davvero un'ottima base di partenza.

Io vorrei iniziare a inserire una colonna sesso:
1. il foglio "unici" è l'elenco complessivo dei componenti di tutti i gruppi pulito dei doppioni, giusto?
2. chiedo accesso alle modifiche o lavoro in un file a parte?

3. sulla possibilità di "scaricare tutti i post dei gruppi facebook (e monitorare interazioni, argomenti, etc...)" io me la cavo con le analisi testuali (parole ed espressioni ricorrenti) per esplorare per es. temi e motivazioni prevalenti, ma devo imparare praticamente tutto sul processo di "estrazione" dei dati (giuro che ci provo, ma bisogna avere moooolta pazienza).

Partiamo da qui e poi valutiamo come procedere per analisi più approfondite sulla partecipazione a movimenti/comunità opendata in Italia.
Si potrebbe anche pensare ad una mini web survey per analizzare le motivazioni della partecipazione (o della non partecipazione nel caso del gender gap).

Mi riprometto di mandarvi anche un po' di dati sul divario di genere nella partecipazione politica e sociale in generale in Italia.

Ludovica



ciro spataro

unread,
Oct 5, 2016, 7:41:18 AM10/5/16
to opendatasicilia
ottimo il foglio google di censimento
mettetemi - please - in editing anche a me
se scopro/trovo altri gruppi opendata aggiungo
____



Giuseppe Reale

unread,
Oct 5, 2016, 7:44:45 AM10/5/16
to opendatasicilia
Fatatto Ciro ;-)

ciro spataro

unread,
Oct 5, 2016, 7:45:55 AM10/5/16
to opendatasicilia
thanks
:-)
--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Andrea Nelson Mauro | Dataninja.it

unread,
Oct 5, 2016, 7:50:30 AM10/5/16
to opendatasicilia
grazie! sto scrapando ancora e rifaccio l'elenco, vi ho aggiunti! (ludovica, giuseppe, ciro)

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Per altre opzioni visita https://groups.google.com/d/optout.

Andrea Nelson Mauro | Dataninja.it

unread,
Oct 5, 2016, 8:13:57 AM10/5/16
to opendatasicilia
Bene, bene, bene: al momento abbiamo 4081 utenti unici identificati tramite l'url della pagina del profilo di ciascuno di loro.
mi sono accorto anche di (presunti) bachi di facebook: alcuni utenti listati tra membri dei gruppi, non hanno link a pagine profilo personali (immagino, perché sono utenti che si sono cancellati nel tempo).

Sospetto che: ogni profilo ha un elenco dei membri memorizzato in una specie di cache. Questa cache non si aggiorna frequentemente con il database generale.

vabbè è una cosa un po' nerd, ma fa vedere che anche facebook sotto il cofano ha vari errori e bug :)

una cosa da fare sarebbe quella del gender: si aggiunge una colonna e si fa a mano o qualcuno (a caso) che sa usare R ci da una mano?

se serve possiamo splittare i nomi e i cognomi mettendoli in colonne separate.

Lavorate please sul foglio Utenti Unici, mentre non modificate Utenti[Dev] che è quello con le formule per il controllo degli unici (vlookup vari e if...)

ciau!

Andrea Nelson Mauro | Dataninja.it

unread,
Oct 5, 2016, 8:20:04 AM10/5/16
to opendatasicilia
@Davide (Taibi) se vuoi fare un grafo di proiezione (lo so che ci hai già pensato!!! :D ) ti conviene usare il foglio FullRaw che è con tutti gli utenti per gruppi, quindi viene mappato anche il fatto che singoli utenti sono presenti in più gruppi. Il grafo quindi avrebbe dei grossi nodi A che sono i gruppi e dei nodi B che sono gli utenti. I nodi B possono essere collegati a più gruppi (tipo, io sono membri di 11 gruppi fb opendata come molti altri di noi tipo Ciro o Andy...).

Probabilmente è sufficiente fare un foglio a due colonne: 1 colonna: nome utente + 2 colonna: nome gruppo, buttarlo dentro gephi e... bam, si dovrebbe vedere :-)

appena trovo un altro po' di tempo di lavoro

baci!


davide taibi

unread,
Oct 5, 2016, 10:53:43 AM10/5/16
to opendat...@googlegroups.com
Avrei voluto fare il grafo con i post, ma per adesso mi accontento di questo :-)
Mi metto all'opera!

  Davide

davide taibi

unread,
Oct 5, 2016, 11:32:14 AM10/5/16
to opendat...@googlegroups.com
vi do un anticipo...c'è un gruppo di gente molto intrecciata nei social riguardanti gli OD in Italia .... :-)
opendatafb.png

davide taibi

unread,
Oct 5, 2016, 11:44:15 AM10/5/16
to opendat...@googlegroups.com
Ed ecco a voi i più connessi:

francesco.barresi.9 14
nelsonmau 13
antonino.galante 13
emanuela.gasca 13
andreaborruso 12
piersoft 12
naporsocapo 12
flavia.marzano 12
riccardo.grosso 11
iberti 11
annovigiulia 11
franco.morelli 11
matteobrunati 11
maurizio.cafa 11
francesca.dechiara 10
saveriog.malatesta 10
fabiana.limiti 10
giovanni.biallo.1 10
francesca.gleria 10


ciro spataro

unread,
Oct 5, 2016, 11:56:33 AM10/5/16
to opendatasicilia
davide
qualche dataviz con i pallini che fluttuano e che cliccandoci fanno vedere le relazioni nelle comunità open data....?
e e ...e quà si costruiscono le brand reputation su FB per argomento opendata :P 

Giuseppe Reale

unread,
Oct 5, 2016, 12:03:20 PM10/5/16
to opendatasicilia

ciro spataro

unread,
Oct 5, 2016, 12:14:54 PM10/5/16
to opendatasicilia
bene  bene
così alle mie email sotto il mio none e cognome e account tweetter 
metterò il link alla pagina che visualizza le palline che fluttuano e che fanno vedere a quali comunità rompo le scatole, eh eh
________


davide taibi

unread,
Oct 5, 2016, 12:20:42 PM10/5/16
to opendat...@googlegroups.com
Ciro a me risulta che sei solo in due gruppi, devi incrementare se vuoi mettere il link ai palloni che fluttuano ;-)

  Davide 

ciro spataro

unread,
Oct 5, 2016, 12:25:44 PM10/5/16
to opendatasicilia

pensavo di rompere le scatole a più persone 🤔
buono buono ... 


ciro spataro

unread,
Oct 5, 2016, 12:28:09 PM10/5/16
to opendatasicilia
ho capitoooo 😉
da questa data analysis nascono gli OPEN DATA national Influencers
...il tormentone del 2017

Andrea Nelson Mauro | Dataninja.it

unread,
Oct 5, 2016, 12:51:51 PM10/5/16
to opendatasicilia

ho fatto un tentativo anch’io con kumu.io
https://kumu.io/nelsonmau/odcomm

per ottenere questo risultato è sufficiente fare una tabella in csv con due colonne:
1° colonna = elenco dei nomi
2° colonna = elenco gruppo di appartenenza

quindi ad esempio

nome gruppo
andrea borruso opendatasicilia
andrea borruso opendata emilia-romagna
ciro spataro opendata sicilia

e così via.
partendo dai nostri dati, sono oltre 4000 comode righe



p.s.: per fare questa tabellina dentro la mail, c'è un trucco
installare questa estensione di chrome che permette di farlo in markdown
http://markdown-here.com

questo in basso è il modo in cui faccio la tabella. 

nome | gruppo
---| ---
andrea borruso | opendatasicilia
andrea borruso | opendata emilia-romagna
ciro spataro | opendata sicilia
... | ...

Una volta scritta così,  clicco su CTRL+ALT+M e il gioco è fatto


Per altre opzioni visita https://groups.google.com/d/optout.

davide taibi

unread,
Oct 5, 2016, 12:53:26 PM10/5/16
to opendat...@googlegroups.com
Qualcosa di meno interattivo qui:


  Davide

ciro spataro

unread,
Oct 5, 2016, 3:56:24 PM10/5/16
to opendatasicilia

Nino Galante

unread,
Oct 5, 2016, 5:48:04 PM10/5/16
to opendatasicilia, ciro...@gmail.com
sono un ritardatario, scusatemi, me ne rendo conto; un po' di anni fa, all'inizio della nostra community, avevo cominciato questo lavoro di censimento delle comunità italiane che si occupano di open data, che poi però è rimasto al palo, provate a vedere se c'è qualche comunità che vi è sfuggita.

N.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAJyZuPKYfwUtent%3D5hxcBiRbrFooso4BuRJ9z2pTB1BsD0cS_g%40mail.gmail.com.<div class="m_-6886589042947808575m_-1442166416619343608HOE

Andrea Nelson Mauro

unread,
Oct 6, 2016, 1:54:04 AM10/6/16
to opendatasicilia, Ciro Spataro

Ninuzzo, ma in ritardo in che senso? Futtitinni :)

Faresti una gran cosa se riuscissi a trovare altre realtà fuori da Facebook da monitorare.

Quanto a quelli che già hai raccolto, controlla tu stesso nel file gsheet che ho condiviso: nel foglio Meta che l'elenco dei gruppi monitorati, aggiungi lì i mancanti!

---
sorry for typos, sent by mobile
---
Andrea Nelson Mauro
dataninja.it
twitter.com/nelsonmau


Nino Galante

unread,
Oct 7, 2016, 6:27:35 AM10/7/16
to opendatasicilia, ciro...@gmail.com
Dunque,

ho aggiunto nel foglio meta i nomi di tre gruppi fb non riportati, Roma, Sardegna e Toscana.
Della Sardegna era già stata segnalata la pagina (non scrapabile) di Sardinia Open Data, i riferimenti che ho inserito riguardano invece proprio il gruppo fb sardo. Ho comunque notato che già sono stati creati i relativi sheet di Roma e Toscana anche se i gruppi non erano riportati nel foglio meta.

Ho notato infine che oltre al gruppo fb dell'Emilia Romagna, è stato considerato anche il gruppo Romagna che forse non dovrebbe essere considerato perché gli iscritti di quest'ultimo sono stati invitati a migrare verso quello dell'Emilia Romagna. Diversamente, dovremmo considerare allora anche quelli di Bologna e Ferrara che non vengono invece per nulla considerati (tra l'altro mentre su quello di Bologna è riportato chiaramente l'invito a proseguire l'attività sul gruppo dell'Emilia Romagna, in quello di Ferrara questo invito non compare e sono stati postati di recente alcuni contenuti) 

Ultima osservazione, Nelson mi invita a cercare altre comunità o gruppi di discussione open data al di fuori di fb. Il foglio sembra mirato solo ai gruppi fb ma se così non fosse il primo che andrebbe aggiunto è allora quello di SOD

N. 

Andrea Nelson Mauro

unread,
Oct 7, 2016, 4:53:32 PM10/7/16
to opendatasicilia, Ciro Spataro

Nino certo, tiri giù tu l'elenco? C'era anche una ricerca di andrea maurino dii uni  bicocca se non erro, la potremmo usare forse

---
sorry for typos, sent by mobile
---
Andrea Nelson Mauro
dataninja.it
twitter.com/nelsonmau

Ludovica Ioppolo

unread,
Oct 10, 2016, 9:24:44 AM10/10/16
to opendat...@googlegroups.com, Ciro Spataro
Cari,
ho iniziato a lavorare sul file "OpenData Facebook Group Members" (in maniera molto molto artigianale), in particolare ho creato 3 nuove colonne nel foglio "utenti unici":
1. un "id" numerico (da 1 a 4.081 secondo l'ordine iniziale)
2. una colonna "doppioni" in cui ho inserito 1 in corrispondenza di alcuni nomi ripetuti due volte (li ho trovati ovviamente ordinando tutto per nome, cosa che mi rende più semplice inserire il sesso) --> questi doppioni sono voluti oppure si devono eliminare? eventualmente per eliminarli devo seguire un criterio?
3. una colonna "sesso" che sto riempiendo manualmente (sono a circa 3/4 di lavoro); in questa colonna ho messo codice 1 in corrispondenza di alcuni profili che mi sembrano corrispondenti non a persone ma a organizzazioni (per es. opencoesione) e che secondo me andrebbero tolti da questo elenco, ve li segnalo appena finisco così valutiamo

Sarebbe interessante copiare il sesso anche nel foglio full raw e fare un bel network in cui i nodi hanno colori diversi a seconda del sesso: si può fare?

Vi scrivo domani appena finisco questo pezzettino di lavoro sulla colonna sesso.

Ludo




ciro spataro

unread,
Oct 10, 2016, 9:29:23 AM10/10/16
to Ludovica Ioppolo, opendatasicilia
molto interessante la proposta di Ludovica,
condivido

____________________________________

Andrea Nelson Mauro | Dataninja.it

unread,
Oct 11, 2016, 1:19:33 AM10/11/16
to opendatasicilia, Ciro Spataro
ciao ludovica
grazie mille del lavoro che stai facendo!

Il giorno 10 ottobre 2016 15:24, Ludovica Ioppolo <ludovic...@gmail.com> ha scritto:
Sarebbe interessante copiare il sesso anche nel foglio full raw e fare un bel network in cui i nodi hanno colori diversi a seconda del sesso: si può fare?

sì può fare con la funzione VLOOKUP (o CERCAVERT su excel).

considera che per avere ID unici avevo estratto anche l'url della pagina utente. Esistono infatti utenti diversi ma che hanno lo stesso nome (ad esempio abbiamo due utenti col nome "Francesco Barresi", ma sono persone appunto diverse)

Inoltre mi sono accorto l'altro ieri che il mio scraping era fallace, quindi ci sono errori (alcuni doppioni ci sono per colpa mia).
Appena hai finito fai un fischio e rifaccio un giro per sistemare tutto.

Nel frattempo ho inserito altre due cose:

Ludovica Ioppolo

unread,
Oct 12, 2016, 1:04:57 PM10/12/16
to opendat...@googlegroups.com, Ciro Spataro
Ho messo il sesso a tutti gli "utenti unici".

Nella colonna doppioni sono segnalati i nomi ripetuti se dovesse servire (se invece è inutile si può eliminare direttamente).


Questi invece gli utenti che non sono persone fisiche e che per me andrebbero eliminati (ma valutiamo ovviamente; cono segnalati con codice 1 nella colonna sesso):



Andrea se aggiungi altri utenti e pulisci l'elenco utenti unici io poi ricontrollo la colonna sesso.

Ludo



--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Andrea Nelson Mauro | Dataninja.it

unread,
Oct 13, 2016, 4:05:24 PM10/13/16
to opendatasicilia, Ciro Spataro
a quanto pare avremmo 32% di donne e 68% di uomini.
Ludovica: se non ho capito male tu dici di associare il sesso ai gruppi di appartenenza. Risultato sarebbe capire se ci sono gruppi in cui ci sono più donne e gruppi in cui ci sono più uomini.

È questo che intendi?


Per altre opzioni visita https://groups.google.com/d/optout.

Ludovica Ioppolo

unread,
Oct 13, 2016, 4:18:30 PM10/13/16
to opendat...@googlegroups.com, Ciro Spataro

Esatto. In linea di massima credo che gli uomini siano di più in tutti i gruppi, ma magari in alcuni c'è una situazione più paritetica (ipotesi: magari dove una o più donne sono in qualche modo punti di riferimento?).
E sarebbe interessante anche per ciascun utente contare le multiappartenenze (1 se fanno parte di un solo gruppo, 2 se fanno parte di due gruppi, 3, 4, etc) per vedere per es. se le donne tendono a far parte di un solo gruppo rispetto agli uomini o se la multiappartenenza è indipendente dal sesso.

Ludo


Reply all
Reply to author
Forward
0 new messages