Facciamo il raduno di Spaghetti Open Data?

87 views
Skip to first unread message

Alberto

unread,
Oct 8, 2012, 10:34:13 AM10/8/12
to spaghett...@googlegroups.com
E ora vi tiro la palla a effetto: dopo oltre due anni, 300 iscritti, 700 thread e ennemila messaggi, mi pare giunto il momento di fare quello che fanno tutti gli hackers, anche quelli civici: incontrarci per mangiare, bere, e smanettare insieme nell'ordine che preferite. Insomma, del primo raduno di Spaghetti Open Data.

Con un po' di incoraggiamento da parte mia, il progetto open data della Regione Emilia Romagna (grazie, Dimitri!) e il gruppo agenda digitale del comune di Bologna (grazie, Michele!) si sono offerti di ospitarci e di metterci a disposizione un po' di logistica (sale per gli hackathon). Io e il nostro agente sotto le due torri Dario Bottazzi (grazie, Dario!) ci offriamo per fare da riferimento per l'organizzazione. Inoltre, Bologna è un posto piacevole, con un sacco di posti dove si mangia bene, e ben collegato via gomma e rotaia. 

La Regione propone inoltre di metterci un carico: un tutorial sul data hacking, tenuto da uno di noi, aperto alla cittadinanza e organizzato da loro. Diversi mesi fa, in questa discussione molte persone si iscrivevano a un futuro corso di scraping tenuto da Magister Napo: io oggi ho qualche dubbio sullo scraping (con tutti i dai che ci sono mi metto grattugiare siti?), ma Napo potrebbe insegnarci a fare visualizzazioni di geodati, che è una roba sicuramente utile. E comunque mi fido, se volete fare scraping mi siedo in prima fila e mi imparo lo scraping. 

A me questa sembra una bella occasione. Da un primo giro di verifiche sembra che la data potrebbe essere sabato 19 e domenica 20 gennaio 2013. La cosa potrebbe funzionare così: 
  • sabato facciamo un hackathon (un collaudo volante di un portale, oppure la seconda o terza release di TYMEP, opencatasto, quello che vi pare). Poi andiamo a mangiare e a bere fino a orari inconsulti.
  • domenica Napo ci insegna le mappe
Certo, si possono fare anche altre cose (un barcamp, per esempio), ma secondo me la vocazione di SOD è di essere operativa (poche chiacchiere e molto smanettamento) e inclusiva (tutti invitati, anche chi non sa fare niente... come me, per esempio!). Se riusciamo a fare un evento in cui ci conosciamo, ci divertiamo e facciamo vedere che 'sta roba degli open data è importante e può essere anche divertente AL LIVELLO DEL CITTADINO, abbiamo fatto bingo.

Sarebbe bello aggiungere, per chi ce la fa, un mezzo pomeriggio di speed evangelizing il venerdì 18: chiamiamo un po' di funzionari e facciamo una discussione su perché i dati aperti etc. etc. Vediamo se siamo bravi a convincere anche altri, oltre che noi stessi! 

[ahem] Alessio, Paolo e gli altri che stanno cominciando a lavorare sul sito... questo sarebbe già un ben contenuto, no? 

Che ne dite?

Alessio 'Blaster' Biancalana

unread,
Oct 8, 2012, 10:38:44 AM10/8/12
to spaghett...@googlegroups.com
Ciao Alberto :))

FAN-TA-STI-CO.
Proprio in questi giorni stavo pensando a quanto avete fatto e che effettivamente sarebbe servito un meetup per rafforzare ancora di più la community e stringerci "a coorte". Hai il mio pieno appoggio sulla questione, soprattutto per quanto riguarda l'hackaton (che sia un collaudo o la release di TYMEP - e se fosse la seconda ho in mente un paio di cose che potrebbero fare al caso nostro come best practice).

Hai il mio arco [cit.] :)

Ale

Ton Zijlstra

unread,
Oct 8, 2012, 10:43:47 AM10/8/12
to spaghett...@googlegroups.com
Sounds like a great plan Alberto.

Let me know if ePSIplatform / me can help in any way. By attending for instance, by communicating / PR, or by seeing if we have a little bit of money available to make things happen more smoothly. (We have allocated a few funds to support events that may provide a good impulse to local open data initiatives)

To me this is a great reason to try and visit Bologna ;)

best,

Ton
---------------------------------------------------------------------
Interdependent Thoughts
Ton Zijlstra

t...@tonzijlstra.eu
+31-6-34489360

http://zylstra.org/blog

Share your real life open data experiences,
observations and anecdotes:
---------------------------------------------------------------------



2012/10/8 Alberto <alberto...@gmail.com>

Alberto

unread,
Oct 8, 2012, 10:49:26 AM10/8/12
to spaghett...@googlegroups.com
Well, Ton, your presence in Bologna would be a small but clear sign of connectedness between spaghetti people and the Euro scene. Plus, you are the one who inspired it all with Dutch Data Drinks. You are most welcome!

Maurizio Napolitano

unread,
Oct 8, 2012, 10:57:55 AM10/8/12
to spaghett...@googlegroups.com
> La Regione propone inoltre di metterci un carico: un tutorial sul data
> hacking, tenuto da uno di noi, aperto alla cittadinanza e organizzato da
> loro. Diversi mesi fa, in questa discussione molte persone si iscrivevano a
> un futuro corso di scraping tenuto da Magister Napo: io oggi ho qualche
> dubbio sullo scraping (con tutti i dai che ci sono mi metto grattugiare
> siti?), ma Napo potrebbe insegnarci a fare visualizzazioni di geodati, che è
> una roba sicuramente utile. E comunque mi fido, se volete fare scraping mi
> siedo in prima fila e mi imparo lo scraping.

Gulp!
Onorato.
Penso che, se ci sono altre persone che parteciperanno, il discorso scraping
si potrebbe mettere assieme in squadra anche perche' lo scraping e' un arte
e non un servizio.


> A me questa sembra una bella occasione. Da un primo giro di verifiche sembra
> che la data potrebbe essere sabato 19 e domenica 20 gennaio 2013.

Gasp :)
Mi si prospetta un giro un giro non indifferente.
Il 18 e 19 ho organizzato un evento a Roma sul tema mappe.
Il 19 pero' lascerò Roma per essere a Rovereto (TN) alle 20:30
per una partita di campionato di B2 (il venerdì lascio le ragazze in balia
del mio secondo) e la domenica arrivo a Bologna.
Bel giro :)

Dimitri Tartari

unread,
Oct 8, 2012, 11:58:26 AM10/8/12
to spaghett...@googlegroups.com
Come già detto ad Alberto (Michele, Dario, Marcello e molto altri) come progetto open data della Regione Emilia-Romagna cerchiamo di fare tutto il possibile per rendere fattibile il raduno a mio parere anche ampliabile e collegabile ad iniziative satellite. Abbiamo tempo e quindi si può pensare di agganciare e sfruttare anche i momenti pre e post per iniziative di sensibilizzazione, cooperazione e partecipazione.
Dimitri
--
Dimitri Tartari
cell: 3491563447

luc...@gmail.com

unread,
Oct 8, 2012, 11:58:41 AM10/8/12
to spaghett...@googlegroups.com
Bologna!!!! perfetto per me che vengo da Venezia!!! non speravo di meglio!



Il giorno , Maurizio Napolitano <napo...@gmail.com> ha scritto:

Matteo Brunati

unread,
Oct 8, 2012, 3:38:54 PM10/8/12
to spaghett...@googlegroups.com
Grandiosa idea Alberto,
 :)

Mi rendo disponibile anche per il venerdì pomeriggio per gli #spingitorididati, ma conto in una sessione serale dei Modena a sorpresa, siam proprio a casa vostra eh eh :) [ punti moglie che andranno a go go quel weekend .) ]

Cmq sia, è importante coinvolgere anche gli smanettoni dei LUG e di OSM, per provare a lanciare il sasso verso il data journalism su scala locale, un terreno fertile per mostrare ai cittadini cosa possono fare trasparenza e libero accesso, a braccetto con riuso di pratiche e di contenuti ( dati, e loro interpretazioni che ne mostrino il valore implicito ).
Verso il quadro della riconquista del proprio territorio come bene comune in senso più ampio.
Perchè è forse la leva per la motivazione che stimola la curiosità a capire qualcosa di nuovo, no?

 Matt


Il 08/10/12 16:34, Alberto ha scritto:

Alessio 'Blaster' Biancalana

unread,
Oct 8, 2012, 3:41:07 PM10/8/12
to spaghett...@googlegroups.com
Il giorno 08 ottobre 2012 21:38, Matteo Brunati <ma...@blog.dagoneye.it> ha scritto:
Cmq sia, è importante coinvolgere anche gli smanettoni dei LUG e di OSM

Sono il fondatore del LUG più attivo attualmente a Roma ;)
Ripeto, hai il mio arco [cit.]

Ale 

Alfredo Serafini

unread,
Oct 8, 2012, 5:40:30 PM10/8/12
to spaghett...@googlegroups.com
ottima idea! :-)


PS: sullo scraping credo che continuerà ad essercene bisogno molto a lungo, per integrare dentro ai dati aperti ogni sorta di altre fonti, magari persino "interne" (penso ai casi in cui magari in un dipartimento della PA vorrebbero muoversi verso opendata ma faticano a farsi esporre servizi con i dati da altri dipartimenti, o dispongono di orripilanti word, pdf e pagine interne html... :-)

Michele d'Alena

unread,
Oct 9, 2012, 10:36:23 AM10/9/12
to spaghett...@googlegroups.com
Carissimi, siamo tutti allineati.

Visto che nn sono uno smanettone mi sbatterò per questioni logistiche e per ampliare la balotta. Come Comune di Bo vediamo: magari potremmo aprire dei dati ad hoc....


Michele

Andrea Nelson Mauro

unread,
Oct 10, 2012, 2:00:55 AM10/10/12
to spaghett...@googlegroups.com
io vivo a bologna, quindi verrò in bicicletta :) 
se serve supporto a @Michele o per altro, io ci sono.


Stefano Durì

unread,
Oct 13, 2012, 4:57:48 PM10/13/12
to spaghett...@googlegroups.com
Spero di poterci venire anch'io.
Dello scraping mi pare ci sia ancora bisogno. Io realizzo scrapers (principalmente per catturare info testuali) più o meno dal 2001, all'inizio con Perl, poi con PHP. Sono ancora utili, specie per i siti che non utilizzano RSS, e comunque per "interpretare" pagine html e tradurle in dati strutturati. Va detto che sono mortalmente noiosi da sviluppare, per cui qualsiasi tool alternativo è benedetto. Forse si potrebbe parlare anche di qualcosa del genere: come sbarazzarsi il più spesso possibile degli scrapers.

Gianluca Sforna

unread,
Oct 14, 2012, 4:45:34 PM10/14/12
to spaghett...@googlegroups.com
2012/10/13 Stefano Durì <stefan...@aster.it>:
> Va detto che sono mortalmente noiosi da sviluppare, per cui
> qualsiasi tool alternativo è benedetto.

Se ancora stai sviluppando scrapers in PHP lasciami suggerire
l'alternativa Python, che ha diverse librerie molto interessanti per
semplificare questo lavoro. E già che ci sono un servizio online che
ad oggi credo di poter considerare leader in questo settore:
https://scraperwiki.com/

--
Gianluca Sforna

http://morefedora.blogspot.com
http://identi.ca/giallu - http://twitter.com/giallu

Alberto Cottica

unread,
Oct 14, 2012, 5:25:39 PM10/14/12
to spaghett...@googlegroups.com
Ciao Gianluca, benvenuto (non mi pare tu abbia mai postato prima, giusto?)

Di ScraperWiki avevamo parlato qualche mese fa. In effetti, se si decide di fare un tutorial dal vivo sullo scraping sembra un bellissimo strumento. Anche dal punto di vista pratico: chi tiene il tutorial può scrivere uno scraper e salvarlo lì; chi assiste lo apre e lo personalizza.


2012/10/14 Gianluca Sforna <gia...@gmail.com>

Gianluca Sforna

unread,
Oct 14, 2012, 5:51:32 PM10/14/12
to spaghett...@googlegroups.com
2012/10/14 Alberto Cottica <alb...@cottica.net>:
> Ciao Gianluca, benvenuto (non mi pare tu abbia mai postato prima, giusto?)

Secondo post, e grazie per l'accoglienza :)

>
> Di ScraperWiki avevamo parlato qualche mese fa. In effetti, se si decide di
> fare un tutorial dal vivo sullo scraping sembra un bellissimo strumento.
> Anche dal punto di vista pratico: chi tiene il tutorial può scrivere uno
> scraper e salvarlo lì; chi assiste lo apre e lo personalizza.

In effetti sì, non ho mai provato a buttare giù qualcosa ma penso
potrebbe facilmente venirne fuori un bel tutorial

Alberto Cottica

unread,
Oct 14, 2012, 6:01:48 PM10/14/12
to spaghett...@googlegroups.com
Gianluca, Stefano, tra qualche giorno inizio a montare un piccolo gruppo che dia una mano con l'organizzazione del raduno di gennaio. Se ne avete voglia, perché non partecipate? Tra l'altro Stefano è pure di Bologna.


2012/10/14 Gianluca Sforna <gia...@gmail.com>

Paolo Mainardi

unread,
Oct 14, 2012, 6:03:15 PM10/14/12
to spaghett...@googlegroups.com
Non ho risposto sino ad ora, ma è chiaro che ci sarò, grande Alberto per l'iniziativa, ottima idea.

2012/10/15 Alberto Cottica <alb...@cottica.net>



--
Paolo Mainardi

CTO Twinbit
ILDN: http://www.ildn.net
Blog: http://www.paolomainardi.com

-- Please consider the environment before printing this email --

Maurizio Napolitano

unread,
Oct 14, 2012, 6:04:46 PM10/14/12
to spaghett...@googlegroups.com
> Di ScraperWiki avevamo parlato qualche mese fa. In effetti, se si decide di
> fare un tutorial dal vivo sullo scraping sembra un bellissimo strumento.
> Anche dal punto di vista pratico: chi tiene il tutorial può scrivere uno
> scraper e salvarlo lì; chi assiste lo apre e lo personalizza.

Ho tenuto delle lezioni su scraperwiki in passato, ma sempre ad un pubblico
di giornalisti, quindi il tema non poteva essere affrontato nei dettagli.
Fare uno scraper richiede la conoscenza di come e' strutturato un html/xml/json
e poi almeno un linguaggio di programmazione.
D'altronde, fra i modelli di business di scraperwiki, c'e' quello di
fare scrapers
a pagamento.

Le slide sono qui
http://www.slideshare.net/napo/a-introduction-to-scraperwiki-for-not-developers

Un buon inizio e' nella documentazione
https://scraperwiki.com/docs/python/
In particolare qui
https://scraperwiki.com/docs/python/tutorials/

sempre se si usa python (che e' il linguaggio con cui scraperwiki e' sviluppato

Alberto

unread,
Oct 14, 2012, 6:33:53 PM10/14/12
to spaghett...@googlegroups.com
Io le avevo viste, Napo. 

Secondo me qui il punto è questo: questo è il nostro raduno, e ci mettiamo dentro le cose che piacciono a noi – a me forse interessano più le mappe dello scraping, però la mia può benissimo essere ignoranza e comunque mi adeguo volentieri, tanto devo imparare tutto! Quanto al livello di approfondimento, la platea di SOD ti permette qualche affondo in più rispetto a quella dei giornalisti, anzi forse lo pretende.

Però bisogna dire che noi non siamo tutti uguali. Io, per dire, sono un economista e non un informatico. In SOD sto bene, perché è smanettona, ma accogliente verso chi smanettone non è, purché interessato al tema open data (anzi, ne approfitto per ringraziare Paolo, Napo e gli altri geeks per la pazienza con cui mi trattano).

Per questo mi sono fissato con il tutorial: è un modo per fare crescere un po' di gente, sia di SOD che non di SOD, a partire dalle competenze di quelli che ne hanno di più. Secondo me fare crescere civic hackers e data literacy è una partita decisiva per i dati aperti: se non ci sono competenze diffuse per usarli i dati liberati resteranno lì a prendere (metaforicamente) polvere, e finirà che non verranno più aggiornati. Questa mailing list è un serbatoio straordinario di saper fare sui dati aperti, e secondo me è sia nostro interesse che nostro dovere condividere questo saper fare e farlo girare. 

Però poi facciamo anche un hackathon dove il lato hacker possa risplendere, non vi preoccupate. TYXXX è lì che vi aspetta. :-)

Stefano Durì

unread,
Oct 15, 2012, 8:55:51 AM10/15/12
to spaghett...@googlegroups.com
eh, python è nella pipeline da tempo, ma non è destino che possa studiarmelo. Scraperwiki l'ho provato ed è un ottimo servizio, ma ho bisogno di far girare gli scrapers sul server aziendale e quindi gli ultimi li ho realizzati lì utilizzando simple_html_dom.php, libreria presente anche in scraperwiki. 

Alfredo Serafini

unread,
Oct 16, 2012, 6:14:58 AM10/16/12
to spaghett...@googlegroups.com
scraperwiki e python mi sembrano una ottima idea, se davvero si riesce a rendere autonomi i non programmatori :-)
idem le mappe! 

ma invece qualcosina sul mondo un po' più "linked" potrebbe interessare? giorni fa era emerso un discorso su LOD2 e magari si potrebbe spiegare in giro come usare le named entity recognition (c'è un plugin per wordpress sviluppato da italiani, li potremmo invitare a parlarcene) o il già citato silk?

Lorenzo Benussi

unread,
Oct 16, 2012, 6:24:10 AM10/16/12
to spaghett...@googlegroups.com
grande programma! io ci sono
ciao, l. 

Michele Barbera

unread,
Oct 16, 2012, 6:28:47 AM10/16/12
to spaghett...@googlegroups.com
Ciao,
scusa Alfredo se mi intrometto di nuovo a metà in una discussione, ma era troppo interessante per starmene zitto :-)


ma invece qualcosina sul mondo un po' più "linked" potrebbe interessare? giorni fa era emerso un discorso su LOD2 e magari si potrebbe spiegare in giro come usare le named entity recognition (c'è un plugin per wordpress sviluppato da italiani, li potremmo invitare a parlarcene) o il già citato silk?

l'infrastruttura Linked Data che stiamo sviluppando a SpazioDati utilizza sia Silk, sia ScraperWiki (abbiamo una nostra istanza un po' patchata). Inoltre abbiamo una API di entity recognition sull'italiano che fino ad oggi abbiamo usato internamente, ma che pensiamo di aprire all'uso pubblico (fra un po', adesso è moooolto alpha). E' un pò simile a OpenCalais per capirci, ma funziona bene sull'italiano e sopratutto su input molto brevi. Chi si sentisse avventuroso può provarla qui: <http://spaziodati.eu/datatxt

Tra una quindicina di giorni contiamo che sia un pò più stabile e di rilasciarla "ufficialmente". Spero di non aver spammato troppo e che possa essere utile a qualcuno!

Ciao,
michele

Alfredo Serafini

unread,
Oct 16, 2012, 6:37:24 AM10/16/12
to spaghett...@googlegroups.com
wow azzeccatissimo direi :-)

Alfredo Serafini

unread,
Oct 16, 2012, 6:38:47 AM10/16/12
to spaghett...@googlegroups.com
vedo che funziona sui tweets... perché non la integriamo (se vi va :-) con tweetyourmep? ;-)

Alfredo Serafini

unread,
Oct 16, 2012, 7:09:18 AM10/16/12
to spaghett...@googlegroups.com
scusate insisto nel piccolo Off Topic ma credo possa essere interessante per tutti:

in effetti provando con un tweet a caso da una delle prime parlamentari che spuntano nella lista su tweetyourmep:

se guardate la risposta mi pare che funzioni in maniera interessante, potremmo magari inserire una paginetta nella app dove si evidenziano in questo modo entità/temi "emergenti"? e magari ne nasce una discussione che coinvolge diverse persone: si può parlare dell'app, del perché, dei servizi etc etc.

giusto una idea :-)

Riccardo Grosso

unread,
Oct 16, 2012, 7:50:59 AM10/16/12
to spaghett...@googlegroups.com
Appoggio Alfredo, bisogna che ci sentiamo per silk (e pundit)
--
http://about.me/riccardo.maria.grosso

Riccardo Grosso

unread,
Oct 16, 2012, 7:57:44 AM10/16/12
to spaghett...@googlegroups.com
Fantastico spaziodati !
--
http://about.me/riccardo.maria.grosso

Riccardo Grosso

unread,
Oct 16, 2012, 8:03:44 AM10/16/12
to spaghett...@googlegroups.com
Per Alfredo Serafini in particolare (e tutti gli appassionati di
semantica e ontologie) questo potrebbe essere il punto di partenza per
il refactoring e il riuso dei miei tools:

http://spaziodati.eu/datatxt-entity-extraction-api/

Concettualmente, qui c'e' gia' la entity extraction.

Concettualmente, avendo delle ontologie in input, si potrebbero
implementare almeno altri 2 passi di inferenza:

jerarchy-of-entity extraction
relationship extraction

Saluti. Riccardo.

Il 16 ottobre 2012 13:57, Riccardo Grosso
<riccardo.m...@gmail.com> ha scritto:
--
http://about.me/riccardo.maria.grosso

Michele Barbera

unread,
Oct 16, 2012, 8:45:58 AM10/16/12
to spaghett...@googlegroups.com
Noi saremmo più che felici di dare una mano se possiamo (incluso alzare i limiti se tweetyourmep ha molto traffico)!
In genere, a occhio, mettere il rho tra 0.1 e 0.15 è un buon compromesso, ma dipende dall'input, anche 0.2 può essere sensato.

Ciao,
m.

2012/10/16 Alfredo Serafini <ser...@gmail.com>

Alfredo Serafini

unread,
Oct 16, 2012, 10:24:19 AM10/16/12
to spaghett...@googlegroups.com
grande Michele! :-)

@paol, @alessio e gli altri coinvolti nello sviluppo: proviamo ad aggiungere qualcosina del genere per la versione 3? vi pare azzeccato? forse per evitare l'eccesso di off-topic su questo thread è il caso di aprire un thread dedicato :-)

Paolo Mainardi

unread,
Oct 16, 2012, 10:27:49 AM10/16/12
to spaghett...@googlegroups.com
D'accordissimo e molto interessante, via di nuovo thread, magari anche su github :)

2012/10/16 Alfredo Serafini <ser...@gmail.com>

Alessio 'Blaster' Biancalana

unread,
Oct 16, 2012, 10:30:17 AM10/16/12
to spaghett...@googlegroups.com
Soprattutto su GitHub ragazzi ;)

Riccardo Grosso

unread,
Oct 16, 2012, 10:32:32 AM10/16/12
to spaghett...@googlegroups.com
Se volete sono disponibile a presentare i miei vintage tools... :) per
vedere se concettualmente possono essere interessanti e rifattorizzati
per il mondo open data / linked open data.
Mi spiego meglio: i tools sono vintage da un punto di vista delle
tecnologie usate, ma offrono spunti concettuali, di metodo, per capire
se applicandoli al mondo open data possono essere utili, e
successivamente rifattorizzati / adattati
--
http://about.me/riccardo.maria.grosso
Reply all
Reply to author
Forward
0 new messages