Aiutiamo Andrea a condurre una ricerca su Spaghetti Open Data

[Alberto]

Ciao a tutti,

lo spaghettaro Andrea Maurino e due suoi colleghi dell'università Milano-Bicocca hanno avviato una ricerca su SOD. Se ho ben capito, ci vedono come un'esperienza di punta nel panorama europeo open data; la ricerca serve a capire come mai SOD funziona così bene, e cosa possiamo imparare dalla sua storia e dalla sua struttura.

Ovviamente, per concludere la ricerca Andrea ha bisogno del nostro aiuto. In particolare:

• ciascuno di noi dovrebbe compilare un (breve) questionario online
• alcune persone saranno contattate per un'intervista.

I risultati della ricerca saranno pubblicati su una rivista scientifica internazionale e il contenuto dell'articolo inclusi i dati grezzi derivanti dalle analisi quantitative e dai questionari saranno messi a  disposizione come open data sulla piattaforma comsode.disco.unimib.it. 

Andrea ci legge, quindi può correggermi se sono stato impreciso e rispondere ad eventuali domande.

[Andrea Maurino]

grazie alberto!
l'idea nasce dalla sorpresa nei miei colleghi stranieri quando racconto l'esperienza di sod e di come non sembra (a detta di loro) esistano esperienze simili. Mi sono chiesto allora perché e qual'è il mix di competenze/persone/capitale sociale di sod per descriverlo in modo "scientifico" e suggerire i fattori che abilitano il successo di sod.

A breve attiveremo il questionario.
grazie a tutti per la vostra disponibilità!

Andrea

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

[Ida Leone]

Leggendo la mail di Alberto, avevo pensato che "Andrea Maurino" fosse un amichevole vezzeggiativo per Andrea Nelson Mauro :D :D

[Valentina B.]

Ottimo! Se utile ho lavorato nel 2012 su collaborazione/competizione e capitale sociale nelle community di innovatori e quindi posso mettere a disposizione i dati della parte qualitativa (devo solo chiedere l'autorizzazione al referente scientifico del mio assegno a Bologna) raccolti con un'etnografia dei raduni e con alcune interviste e la bibliografia (che tra l'altro vi avrei chiesto di aiutarmi ad aggiornare). Ho presentato una parte della ricerca lo scorso anno all'open data day di Barcellona e ad un Pecha Kucha organizzato dal gruppo Urban Beers per l'inaugurazione del Barcelona Lab.
Sono contenta che anche a Milano si stia lavorando sul tema e sono a disposizione se si volesse collaborare per una call for paper in una special issue di qualche rivista scientifica.
Vale

[Alfredo Serafini]

ottimo! bravi! :-)

PS: se vi dovesse servire esportare un po' di conversazioni dal ggroup in formati "potabili" per farne datasets, fatemi un fischio, che ho in cantiere una libreria che lo fa: ancora non la ho pubblicata perché volevo aggiungere un po' di API, ma il tempo è quello che è.

Il giorno mercoledì 22 aprile 2015 09:05:54 UTC+2, Alberto ha scritto:

[Cristiano Longo]

Usi il vocabolario SIOC per caso?

Cristiano

--

[Alfredo Serafini]

LOL

[Alberto]

Ida: non mi permetterei mai di aggiungere un ulteriore nome alla Santissima Trinità del data journalism italiano (Andrea, Nelson, Mauro). 

Andrea (Maurino): mi viene in mente che Luca Mearelli e Matteo Fortini stanno lavorando a uno scraper di Google groups per tirare giù il grafo delle conversazioni di SOD (che ormai devono essere 15 000 messaggi, se tanto mi dà tanto). Vale la pena di sentire a che punto sono, anche perché dopo SOD15 abbiamo un commando di grafonauti in SOD! L'unico problema (ahem) è che quei dati NON sono aperti. :-/

[Alberto]

Alfredo: ditto. Luca, ci leggi? ALFREDO HA UNA LIBRERIA PER ESPORTARE GGROUPS!!!!!!!

Dai che mettiamo SOD su Edgesense! 

[Riccardo Giordani]

Qualcuno ha provato uno di questi?

https://sputnikus.github.io/google_groups_scrape_again

http://saturnboy.com/2010/03/scraping-google-groups/

https://gist.github.com/punchagan/7947337

---

Riccardo Giordani <riccardo...@gmail.com> http://www.giordani.org

---

--

[Andrea Maurino]

per tirare giù i dati ho adattato uno script python e ho tirato giù 2570 thread di discussione da settembre 2010 a febbraio 2015
per ora registro solo i partecipanti sl thread, la data e il titolo,  ma sto lavorando per aggiungere i testi delle mail (eliminado i testi commentati) per fare topic extraction.

ho usato poo gephi per un po di visualizzazione e social network analysis e la libreria fabia (in r) per fare analisi di biclustering (raggruppando utenti per insiemi di thread a cui partecipano).

andrea

[Luca Mearelli]

ciao!

2015-04-23 9:25 GMT+02:00 Alberto <alberto...@gmail.com>:

Alfredo: ditto. Luca, ci leggi? ALFREDO HA UNA LIBRERIA PER ESPORTARE GGROUPS!!!!!!!

bello! Questo e' quello che avevo fatto io (partendo dal GRANDE lavoro fatto da Matteo a MoN3):

https://github.com/luca/google_group_dump

ed ho gia un dump di SOD che funziona :)

 

Dai che mettiamo SOD su Edgesense! 

ottimo, dai che vediamo di farlo!

Luca 

[Luca Mearelli]

Andrea su vuoi ho tirato giu tutti i thread di SOD fino a marzo (inclusi i testi) usando questo: https://github.com/luca/google_group_dump contattami su skype ( l.mearelli ) che ti condivido i dati se vuoi

[Andrea Maurino]

benissimo luca ci sentiamo oggi.

se volete il file gephi (o un csv) posso condividerlo.

andrea

[Andrea Maurino]

valentina bello sapere che ci sono altri che hanno lavorato. ci sentiamo presto!

andrea

--

[Andrea Maurino]

ida...rotlf!!!

[Luca Mearelli]

2015-04-23 9:23 GMT+02:00 Alberto <alberto...@gmail.com>:

 L'unico problema (ahem) è che quei dati NON sono aperti. :-/

si non sono 'aperti' nel senso che non sono OpenData in senso proprio, ma i contenuti del gruppo non sono neanche 'chiusi', dopo tutto sono dati accessibili pubblicamente negli archivi del gruppo SOD ... Immagino che SOD (collettivamente) possa decidere di riusare il contenuto delle conversazioni nel modo che ritiene opportuno [*]

[*] fra l'altro lo scraper che abbiamo usato ha origine come strumento per spostare gruppi da ggroups a una istallazione di discourse self-hosted

[Tommaso Del Lungo]

Prima che Napo veda la conversazione e gli venga in mente, segnalo questo strumento (segnalatomi dal Napo medesimo)
http://textpro.fbk.eu/

Andrea se lavorate all'analisi del gruppo condividetelo, che secondo me esce qualcosa di interessante

--

Tommaso Del Lungo

[Andrea Maurino]

Tommaso, appena ho una rete delle interazioni affidabile (vorrei confrontarmi con i dati di Luca per essere sicuro) pubblico volentieri il file raw e gephi, grazie anche per la segnalazione del tool textpro.

Andrea 

[Alfredo Serafini]

si ma preferivo qualcosa che potesse girare direttamente su JVM, anche eprché l'idea è esporre API, a partire dalle quali poter  esportare anche verso altre piattaforme, vedi discourse ad esempio (a breve adottato anche dalla comunità di Elasticsearch ;-)

[Alfredo Serafini]

per tirare giù i dati ho adattato uno script python e ho tirato giù 2570 thread di discussione da settembre 2010 a febbraio 2015
per ora registro solo i partecipanti sl thread, la data e il titolo,  ma sto lavorando per aggiungere i testi delle mail (eliminado i testi commentati) per fare topic extraction.

ho usato poo gephi per un po di visualizzazione e social network analysis e la libreria fabia (in r) per fare analisi di biclustering (raggruppando utenti per insiemi di thread a cui partecipano).

andrea

ottimo! è proprio una delle applicazioni che mi sembrano più interessanti! :-)
se vuoi possiamo scaricare un archivio direttamente in formato email, nei test faccio direttamente il dump del messaggio originale e sembra andare bene. A quel punto hai un archivio locale apribile in teoria anche con thunderbird e simili, o ci puoi connettere un qualsiasi accrocco capace di leggere email, io ad esempio uso Solr / Elasticsearch 

[Alfredo Serafini]

bello! Questo e' quello che avevo fatto io (partendo dal GRANDE lavoro fatto da Matteo a MoN3):

https://github.com/luca/google_group_dump

ed ho gia un dump di SOD che funziona :)

 

Dai che mettiamo SOD su Edgesense! 

ottimo, dai che vediamo di farlo!

Luca 

ah ma dai, non sapevo fosse su SOD chi lo ha fatto :-)
grande!

io sto facendo una roba simile su JVM, per ora esporta solo i messaggi in formato grezzo, poi l'idea sarebbe metterci un po' di API per consentire di "liberare" le conversazioni (per ora solo gruppi pubblici, anche perché ha più senso in questa ottica). Mi sono mosso su Scala perché -a parte che sono arruginito in python- mi serviva integrarlo in altre cose, che girano su Java/Scala, senza dover passare per robe tipo Jython.

 

[Alfredo Serafini]

benissimo luca ci sentiamo oggi.

se volete il file gephi (o un csv) posso condividerlo.

andrea

beh si, se avete il grafo gephi che ne ricavate mettetelo sul github di SOD! :-) 

[Alfredo Serafini]

 

Andrea (Maurino): mi viene in mente che Luca Mearelli e Matteo Fortini stanno lavorando a uno scraper di Google groups per tirare giù il grafo delle conversazioni di SOD (che ormai devono essere 15 000 messaggi, se tanto mi dà tanto). Vale la pena di sentire a che punto sono, anche perché dopo SOD15 abbiamo un commando di grafonauti in SOD! L'unico problema (ahem) è che quei dati NON sono aperti. :-/

@alberto: sul fatto dei dati aperti/non aperti è proprio qui il punto: per come la vedo io i dati delle conversazioni della comunità di cui faccio parte sono pubblicamente accessibili e patrimonio della comunità, ecco perché mi interessa "liberarli", li sfido a venirci a dire che non possiamo copiarci altrove i dati e riusarli. Peraltro: gli indirizzi sono anonimizzati in base alle scelte di chi scrive (anche se incrociandoli un po' si potrebbe ricostruire l'identità, ma questo è un annoso problema della community online che prescinde dal fatto specifico), e il risultato "grezzo" è identico allo scegliere di ricevere i messaggi via email, ecco perché sarebbe bene poi rielaborarli partendo da lì: così se domani si decidono a farteli scaricare, non serve riscrivere i vari parser per estrarne il contenuto ;-)

bella discussione comunque, è bello vedere un interesse crescente ai grafi qui dentro! :-)

e sono davvero curioso del lavoro di Andrea

[Marco Brandizi]

Stavo per chiederlo pure io, voto per un export SIOC (e altro) di SOD! Gruppo, profili, risultati della ricerca di Andrea! :-)

M

-- 

=========================================================================
Marco Brandizi <marco.b...@gmail.com> 
http://www.marcobrandizi.info

[Alfredo Serafini]

@andrea e @luca: se riesco dopo rilancio pure il mio e vi giro i messaggi in formato eml, se vi è utile per integrare.  Sennò -se vi può essere utile, dico- ho qualcosa anche in json, ma idem dovrei rilanciare l'esportazione (per ora ancora non del tutto parallela e le API sono incomplete, causa mancanza di tempo e necessità di dare priorità ad altro :-/)

In generale se usate un qualche webdriver ho notato che potrebbero ogni tanto esserci problemi di accesso lato ggroup.

@marco e @cristiano: beh sarebbe magnifico avere anche SIOC certo!  se si genera una rappresentazione in json (con o senza il corpo del messaggio, che potrebbe essere aggiunto anche in seguito in vari modo) è facile mappare su vari vocabolari! :-)

Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/ENaZ2cB9eXk/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.

[cristiano longo]

Io ho un exporter da facebook se può essere utile

[Luca Mearelli]

2015-04-23 19:49 GMT+02:00 Alfredo Serafini <ser...@gmail.com>:

@andrea e @luca: se riesco dopo rilancio pure il mio e vi giro i messaggi in formato eml, se vi è utile per integrare.  Sennò -se vi può essere utile, dico- ho qualcosa anche in json, ma idem dovrei rilanciare l'esportazione (per ora ancora non del tutto parallela e le API sono incomplete, causa mancanza di tempo e necessità di dare priorità ad altro :-/)

allora l'exporter che ho al momento crea file json e le uniche informazioni che si riescono a prendere con il crawling sono il titolo del thread, il nome (*non* l'email) dell'autore, la data ed il testo di ciascun messaggio.

Molto meno di quello che sarebbe disponibile avendo direttamente i messaggi in formato eml ... ma quelli temo siano accessibili solo se ci fosse qualche anima pia che era in lista dall'inizio e che volesse condividere l'archivio delle email ... 

 

In generale se usate un qualche webdriver ho notato che potrebbero ogni tanto esserci problemi di accesso lato ggroup.

yep, confermo :|

Luca

[Alfredo Serafini]

il formato eml si può salvare (è quello che genero come dato "grezzo" ora, si può ricavare dal ggroup). Ovviamente nel corpo dei messaggi compaiono in chiaro solo le email di chi vuole che compaiano, come è giusto che sia per questioni di privacy: su questo si potrebbe lanciare a parte un processo di riconciliazione per chi volesse esporle :-)

[Andrea Raimondi]

Molto fico Andrea, è un bel progetto. Pingaci quando hai il questionario. 

Una domanda solo: qual'è la rivista? controlla sul DB sherpa-romeo se, nel caso fosse paywallata, puoi condividere in OA il draft pre-pubblicazione. Altrimenti sarebbe il colmo. 

Andrea

ps: ammazza oh quanti grafonerd ultimamente. 

pss: @Alfredo "potabile" non lo sentivo da una vita, genio. 

Il giorno mercoledì 22 aprile 2015 08:29:18 UTC+1, Andrea Maurino University of Milano Bicocca ha scritto:

grazie alberto!
l'idea nasce dalla sorpresa nei miei colleghi stranieri quando racconto l'esperienza di sod e di come non sembra (a detta di loro) esistano esperienze simili. Mi sono chiesto allora perché e qual'è il mix di competenze/persone/capitale sociale di sod per descriverlo in modo "scientifico" e suggerire i fattori che abilitano il successo di sod.

A breve attiveremo il questionario.
grazie a tutti per la vostra disponibilità!

Andrea

[Andrea Maurino]

Carissimi come annunciato da Alberto qualche settimana fa, qui sotto trovate il link al breve questionario che vi chiediamo di compilare per fare una "fotografia" della comunità sod, come già è emerso in altri thread. I risultati, analizzati in forma aggregata, saranno resi disponibili in formato aperto; questi saranno anche riportati in un lavoro scientifico che pubblicheremo anche in open access. Come detto il questionario è anonimo, ma vi invitiamo ad inserire  il vostro nick ugualmente, così da permetterci una migliore interpretazione anche qualitativa (e non solo quantitativa) dei dati.

 Vi preghiamo di partecipare numerosi, perché ogni opinione è preziosa!!!

  

http://tinyurl.com/RicercaSOD2015

 

Andrea Maurino

[Daniele Crespi]

FATTO !

Ciao

daniele

[Alfredo Serafini]

anch'io! buon lavoro!

FATTO !

Ciao

daniele

Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/ENaZ2cB9eXk/unsubscribe.

Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.

[Riccardo Grosso]

fatto

http://nelfuturo.com/autore/Riccardo-Grosso

Questo è un account di posta personale di Riccardo Maria Grosso: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

Riservatezza: In ottemperanza al D.Lgs. n. 196 del 30/6/2003 in materia di protezione dei dati personali, le informazioni contenute in questo messaggio sono strettamente riservate ed esclusivamente indirizzate al destinatario indicato (oppure alla persona responsabile di rimetterlo al destinatario). Vogliate tener presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio è vietato. Nel caso in cui aveste ricevuto questo messaggio per errore, vogliate cortesemente avvertire il mittente e distruggere il presente messaggio.
Rispetto per l'ambiente - non stampare questa e.mail se davvero non ne hai bisogno

---

Confidentiality: According to Italian law D.Lgs. 196/2003 concerning privacy, if you are not the addressee (or responsible for delivery of the message to such person) you are hereby notified that any disclosure, reproduction, distribution or other dissemination or use of this communication is strictly prohibited. If you have received this message in error, please destroy it and notify us by email. 
Consider the environment - do not print this email if you really do not need to do so

[Andrea Maurino]

grazie a tutti!

[cesare gerbino]

fatto

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

Questo è un account di posta personale di Cesare Gerbino: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

This is Cesare Gerbino mail account. Text is written by Cesare Gerbino:  the views expressed  are mine and not necessarily those of my employer.

.

[cirospat]

fatto!

interessante!

[cirospat]

ma i dati del questionario pubblicati in open data ? 

[Andrea Maurino]

certo cirospat pubblicheremo i dati in formato open 

--

[Alberto]

Fatto anch'io. Non vedo l'ora di leggere la ricerca! 

[Ida Leone]

Fatto anche io :)

Baci! 

da iPad

Il giorno 04/giu/2015, alle ore 21:00, Alberto <alberto...@gmail.com> ha scritto:

Fatto anch'io. Non vedo l'ora di leggere la ricerca! 

--

[Tommaso Dradi]

mandato! che insistenza però sul ruolo delle key people...

[Oscar]

Fatto.
Ciao.
Oscar

[eccoilmoro]

Compilato!

[Andrea Nelson Mauro]

compilato e firmato! :)

curioso di leggere i risultati

Quando sono previsti? 

[Diego Valerio Camarda]

fatto ;)

----------
Diego Valerio Camarda
dcam...@regesta.com - www.regesta.com

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.

[Marco Brandizi]

Fatto. Momento di nostalgia nel vedere 149.132.*.* (ho amministrato un po' di server e workstation in U4 per qualche anno :-) )

[Matteo Brunati]

Fatto :) (anche se un pelo in ritardo)

( sarà davvero interessante vedere i dati aggregati )

 matt

[Andrea Maurino]

grazie matteo!

purtroppo abbiamo poche risposte rispetto agli iscriti a sod che sono più di mille.
per questo rinnovo l'invito a investire ben 7 minuti del vostro tempo per completare il questionario

grazie!

[monica.palmirani]

Io ho fatto e con piacere. Bel questionario, ben fatto. Complimenti.

Sarebbe stato utile investigare meglio, forse con domande più mirate e insistenti, come mai fra tanti membri in SOD così pochi intervengono e del perchè questa "maggioranza silenziosa" non esprime il suo potenziale.

mp

-- 
===================================
Associate professor of Legal Informatics 
School of Law
Alma Mater Studiorum Università di Bologna 
C.I.R.S.F.I.D. http://www.cirsfid.unibo.it/ 
Palazzo Dal Monte Gaudenzi - Via Galliera, 3 
I - 40121 BOLOGNA (ITALY) 
Tel +39 051 277217 
Fax +39 051 260782 
E-mail  monica.p...@unibo.it 
====================================

[Riccardo Giordani]

Probabilmente perché molti sono semplicemente interessati a leggere degli argomenti trattati qui e attualmente non hanno tempo e risorse per dedicarsi ad essi in modo più attivo. E' il mio caso.

---

Riccardo Giordani <riccardo...@gmail.com> http://www.giordani.org

---

[Andrea Raimondi]

Molto piacevole, mai banale. Grazie, non vedo l'ora di vedere i risultati delle analisi.  

[Luigi Reggi]

Caro Andrea,

perdona se me lo sono perso: per caso hai già postato qualche risultato preliminare? Anche qualche rozza tabella sarebbe utile per avere un'idea e magari provare ad interpretarla insieme.

Grazie!

Luigi

Luigi Reggi

+1 (917) 853-7503
+39 328 6785249
www.luigireggi.eu

www.monithon.it
Twitter @luigireggi

[Andrea Maurino]

siamo indietro. ci manca ancora una intervista con alberto cottica (@alberto pochi minuti via Skype o hangout).poi ci mettiamo a scrivere

[Alberto]

Non sarò proprio io a ostacolare il cammino della scienza. Ti scrivo in mail privata, Andrea.

[Andrea Maurino]

alberto era una battuta siamo noi lazy su questa ricerca (per esempio
la collega che sta seguendo le interviste è in portogallo per una
conferenza...ci sentiamo lunedi)

2015-10-07 10:20 GMT+02:00 Alberto <alberto...@gmail.com>:
> Non sarò proprio io a ostacolare il cammino della scienza. Ti scrivo in mail
> privata, Andrea.
>

[Andrea Maurino]

Carissimi, riprendo questo thread per mostrarvi alcuni risultati
preliminari sui questionari che avevamo inviato alla comunità

http://www.entechne.com/SOD/SODreport.htm

ogni commento è sicuramente ben accetto!

purtroppo non abbiamo tantissimi questionari e se qualcuno volesse
impiegare qualche minuto del suo tempo per compilarlo potremmo
aggiornare il questionario e aumentare l'affidabilità dei risultati.

qui c'è il link http://tinyurl.com/RicercaSOD2015


Grazie
Andrea Maurino

[Daniele Crespi]

troppe poche femmine !  (solo 20%)

siamo una comunità di maschietti :-(

a parte questo ci sono molte cose interessanti che emergono.

speriamo che altri compilino , forza !

Grazie Andrea

ciao

daniele

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Per ulteriori opzioni, visita https://groups.google.com/d/optout.

[Alberto Cottica]

Sono dal cell e non riesco a guardare bene, ma voglio capire bene questa roba degli esperti.  Chi sono?

[Andrea Maurino]

c'erano delle domande in cui chiedevamo ai partecipanti di
autodefinirsi. Non abbiamo fanno (in queste analisi) nessuna
elaborazione sono per ora solo raw data

Qual è il tuo ruolo "identitario" in SOD?

· Sono un esperto di tematiche attinenti agli Open Data

· Sono un pubblicatore di Open Data

· Sono un fruitore di Open Data

· Sono un appassionato dei temi attinenti agli Open Data