Facciamo il raduno di Spaghetti Open Data?

[Alberto]

E ora vi tiro la palla a effetto: dopo oltre due anni, 300 iscritti, 700 thread e ennemila messaggi, mi pare giunto il momento di fare quello che fanno tutti gli hackers, anche quelli civici: incontrarci per mangiare, bere, e smanettare insieme nell'ordine che preferite. Insomma, del primo raduno di Spaghetti Open Data.

Con un po' di incoraggiamento da parte mia, il progetto open data della Regione Emilia Romagna (grazie, Dimitri!) e il gruppo agenda digitale del comune di Bologna (grazie, Michele!) si sono offerti di ospitarci e di metterci a disposizione un po' di logistica (sale per gli hackathon). Io e il nostro agente sotto le due torri Dario Bottazzi (grazie, Dario!) ci offriamo per fare da riferimento per l'organizzazione. Inoltre, Bologna è un posto piacevole, con un sacco di posti dove si mangia bene, e ben collegato via gomma e rotaia. 

La Regione propone inoltre di metterci un carico: un tutorial sul data hacking, tenuto da uno di noi, aperto alla cittadinanza e organizzato da loro. Diversi mesi fa, in questa discussione molte persone si iscrivevano a un futuro corso di scraping tenuto da Magister Napo: io oggi ho qualche dubbio sullo scraping (con tutti i dai che ci sono mi metto grattugiare siti?), ma Napo potrebbe insegnarci a fare visualizzazioni di geodati, che è una roba sicuramente utile. E comunque mi fido, se volete fare scraping mi siedo in prima fila e mi imparo lo scraping. 

A me questa sembra una bella occasione. Da un primo giro di verifiche sembra che la data potrebbe essere sabato 19 e domenica 20 gennaio 2013. La cosa potrebbe funzionare così: 

• sabato facciamo un hackathon (un collaudo volante di un portale, oppure la seconda o terza release di TYMEP, opencatasto, quello che vi pare). Poi andiamo a mangiare e a bere fino a orari inconsulti.
• domenica Napo ci insegna le mappe

Certo, si possono fare anche altre cose (un barcamp, per esempio), ma secondo me la vocazione di SOD è di essere operativa (poche chiacchiere e molto smanettamento) e inclusiva (tutti invitati, anche chi non sa fare niente... come me, per esempio!). Se riusciamo a fare un evento in cui ci conosciamo, ci divertiamo e facciamo vedere che 'sta roba degli open data è importante e può essere anche divertente AL LIVELLO DEL CITTADINO, abbiamo fatto bingo.

Sarebbe bello aggiungere, per chi ce la fa, un mezzo pomeriggio di speed evangelizing il venerdì 18: chiamiamo un po' di funzionari e facciamo una discussione su perché i dati aperti etc. etc. Vediamo se siamo bravi a convincere anche altri, oltre che noi stessi! 

[ahem] Alessio, Paolo e gli altri che stanno cominciando a lavorare sul sito... questo sarebbe già un ben contenuto, no? 

Che ne dite?

[Alessio 'Blaster' Biancalana]

Ciao Alberto :))

FAN-TA-STI-CO.

Proprio in questi giorni stavo pensando a quanto avete fatto e che effettivamente sarebbe servito un meetup per rafforzare ancora di più la community e stringerci "a coorte". Hai il mio pieno appoggio sulla questione, soprattutto per quanto riguarda l'hackaton (che sia un collaudo o la release di TYMEP - e se fosse la seconda ho in mente un paio di cose che potrebbero fare al caso nostro come best practice).

Hai il mio arco [cit.] :)

Ale

[Ton Zijlstra]

Sounds like a great plan Alberto.

Let me know if ePSIplatform / me can help in any way. By attending for instance, by communicating / PR, or by seeing if we have a little bit of money available to make things happen more smoothly. (We have allocated a few funds to support events that may provide a good impulse to local open data initiatives)

To me this is a great reason to try and visit Bologna ;)

best,

Ton
---------------------------------------------------------------------
Interdependent Thoughts
Ton Zijlstra

t...@tonzijlstra.eu
+31-6-34489360

http://zylstra.org/blog

Share your real life open data experiences,

observations and anecdotes:

http://epsiplatform.eu/content/share-your-story

---------------------------------------------------------------------

2012/10/8 Alberto <alberto...@gmail.com>

[Alberto]

Well, Ton, your presence in Bologna would be a small but clear sign of connectedness between spaghetti people and the Euro scene. Plus, you are the one who inspired it all with Dutch Data Drinks. You are most welcome!

[Maurizio Napolitano]

> La Regione propone inoltre di metterci un carico: un tutorial sul data
> hacking, tenuto da uno di noi, aperto alla cittadinanza e organizzato da
> loro. Diversi mesi fa, in questa discussione molte persone si iscrivevano a
> un futuro corso di scraping tenuto da Magister Napo: io oggi ho qualche
> dubbio sullo scraping (con tutti i dai che ci sono mi metto grattugiare
> siti?), ma Napo potrebbe insegnarci a fare visualizzazioni di geodati, che è
> una roba sicuramente utile. E comunque mi fido, se volete fare scraping mi
> siedo in prima fila e mi imparo lo scraping.

Gulp!
Onorato.
Penso che, se ci sono altre persone che parteciperanno, il discorso scraping
si potrebbe mettere assieme in squadra anche perche' lo scraping e' un arte
e non un servizio.

> A me questa sembra una bella occasione. Da un primo giro di verifiche sembra
> che la data potrebbe essere sabato 19 e domenica 20 gennaio 2013.

Gasp :)
Mi si prospetta un giro un giro non indifferente.
Il 18 e 19 ho organizzato un evento a Roma sul tema mappe.
Il 19 pero' lascerò Roma per essere a Rovereto (TN) alle 20:30
per una partita di campionato di B2 (il venerdì lascio le ragazze in balia
del mio secondo) e la domenica arrivo a Bologna.
Bel giro :)

[Dimitri Tartari]

Come già detto ad Alberto (Michele, Dario, Marcello e molto altri) come progetto open data della Regione Emilia-Romagna cerchiamo di fare tutto il possibile per rendere fattibile il raduno a mio parere anche ampliabile e collegabile ad iniziative satellite. Abbiamo tempo e quindi si può pensare di agganciare e sfruttare anche i momenti pre e post per iniziative di sensibilizzazione, cooperazione e partecipazione.

Dimitri

--
Dimitri Tartari

cell: 3491563447

mail: d.ta...@gmail.com

[luc...@gmail.com]

Bologna!!!! perfetto per me che vengo da Venezia!!! non speravo di meglio!



Il giorno , Maurizio Napolitano <napo...@gmail.com> ha scritto:

[Matteo Brunati]

Grandiosa idea Alberto,
 :)

Mi rendo disponibile anche per il venerdì pomeriggio per gli #spingitorididati, ma conto in una sessione serale dei Modena a sorpresa, siam proprio a casa vostra eh eh :) [ punti moglie che andranno a go go quel weekend .) ]

Cmq sia, è importante coinvolgere anche gli smanettoni dei LUG e di OSM, per provare a lanciare il sasso verso il data journalism su scala locale, un terreno fertile per mostrare ai cittadini cosa possono fare trasparenza e libero accesso, a braccetto con riuso di pratiche e di contenuti ( dati, e loro interpretazioni che ne mostrino il valore implicito ).
Verso il quadro della riconquista del proprio territorio come bene comune in senso più ampio.
Perchè è forse la leva per la motivazione che stimola la curiosità a capire qualcosa di nuovo, no?

 Matt


Il 08/10/12 16:34, Alberto ha scritto:

[Alessio 'Blaster' Biancalana]

Il giorno 08 ottobre 2012 21:38, Matteo Brunati <ma...@blog.dagoneye.it> ha scritto:

Cmq sia, è importante coinvolgere anche gli smanettoni dei LUG e di OSM

Sono il fondatore del LUG più attivo attualmente a Roma ;)

Ripeto, hai il mio arco [cit.]

Ale 

[Alfredo Serafini]

ottima idea! :-)

PS: sullo scraping credo che continuerà ad essercene bisogno molto a lungo, per integrare dentro ai dati aperti ogni sorta di altre fonti, magari persino "interne" (penso ai casi in cui magari in un dipartimento della PA vorrebbero muoversi verso opendata ma faticano a farsi esporre servizi con i dati da altri dipartimenti, o dispongono di orripilanti word, pdf e pagine interne html... :-)

[Michele d'Alena]

Carissimi, siamo tutti allineati.

Visto che nn sono uno smanettone mi sbatterò per questioni logistiche e per ampliare la balotta. Come Comune di Bo vediamo: magari potremmo aprire dei dati ad hoc....


Michele

[Andrea Nelson Mauro]

io vivo a bologna, quindi verrò in bicicletta :) 

se serve supporto a @Michele o per altro, io ci sono.

[Stefano Durì]

Spero di poterci venire anch'io.

Dello scraping mi pare ci sia ancora bisogno. Io realizzo scrapers (principalmente per catturare info testuali) più o meno dal 2001, all'inizio con Perl, poi con PHP. Sono ancora utili, specie per i siti che non utilizzano RSS, e comunque per "interpretare" pagine html e tradurle in dati strutturati. Va detto che sono mortalmente noiosi da sviluppare, per cui qualsiasi tool alternativo è benedetto. Forse si potrebbe parlare anche di qualcosa del genere: come sbarazzarsi il più spesso possibile degli scrapers.

[Gianluca Sforna]

2012/10/13 Stefano Durì <stefan...@aster.it>:

> Va detto che sono mortalmente noiosi da sviluppare, per cui
> qualsiasi tool alternativo è benedetto.

Se ancora stai sviluppando scrapers in PHP lasciami suggerire
l'alternativa Python, che ha diverse librerie molto interessanti per
semplificare questo lavoro. E già che ci sono un servizio online che
ad oggi credo di poter considerare leader in questo settore:
https://scraperwiki.com/

--
Gianluca Sforna

http://morefedora.blogspot.com
http://identi.ca/giallu - http://twitter.com/giallu

[Alberto Cottica]

Ciao Gianluca, benvenuto (non mi pare tu abbia mai postato prima, giusto?)

Di ScraperWiki avevamo parlato qualche mese fa. In effetti, se si decide di fare un tutorial dal vivo sullo scraping sembra un bellissimo strumento. Anche dal punto di vista pratico: chi tiene il tutorial può scrivere uno scraper e salvarlo lì; chi assiste lo apre e lo personalizza.

2012/10/14 Gianluca Sforna <gia...@gmail.com>

[Gianluca Sforna]

2012/10/14 Alberto Cottica <alb...@cottica.net>:

> Ciao Gianluca, benvenuto (non mi pare tu abbia mai postato prima, giusto?)

Secondo post, e grazie per l'accoglienza :)

>
> Di ScraperWiki avevamo parlato qualche mese fa. In effetti, se si decide di
> fare un tutorial dal vivo sullo scraping sembra un bellissimo strumento.
> Anche dal punto di vista pratico: chi tiene il tutorial può scrivere uno
> scraper e salvarlo lì; chi assiste lo apre e lo personalizza.

In effetti sì, non ho mai provato a buttare giù qualcosa ma penso
potrebbe facilmente venirne fuori un bel tutorial

[Alberto Cottica]

Gianluca, Stefano, tra qualche giorno inizio a montare un piccolo gruppo che dia una mano con l'organizzazione del raduno di gennaio. Se ne avete voglia, perché non partecipate? Tra l'altro Stefano è pure di Bologna.

2012/10/14 Gianluca Sforna <gia...@gmail.com>

[Paolo Mainardi]

Non ho risposto sino ad ora, ma è chiaro che ci sarò, grande Alberto per l'iniziativa, ottima idea.

2012/10/15 Alberto Cottica <alb...@cottica.net>

--
Paolo Mainardi

CTO Twinbit
ILDN: http://www.ildn.net
Blog: http://www.paolomainardi.com

-- Please consider the environment before printing this email --

[Maurizio Napolitano]

> Di ScraperWiki avevamo parlato qualche mese fa. In effetti, se si decide di
> fare un tutorial dal vivo sullo scraping sembra un bellissimo strumento.
> Anche dal punto di vista pratico: chi tiene il tutorial può scrivere uno
> scraper e salvarlo lì; chi assiste lo apre e lo personalizza.

Ho tenuto delle lezioni su scraperwiki in passato, ma sempre ad un pubblico
di giornalisti, quindi il tema non poteva essere affrontato nei dettagli.
Fare uno scraper richiede la conoscenza di come e' strutturato un html/xml/json
e poi almeno un linguaggio di programmazione.
D'altronde, fra i modelli di business di scraperwiki, c'e' quello di
fare scrapers
a pagamento.

Le slide sono qui
http://www.slideshare.net/napo/a-introduction-to-scraperwiki-for-not-developers

Un buon inizio e' nella documentazione
https://scraperwiki.com/docs/python/
In particolare qui
https://scraperwiki.com/docs/python/tutorials/

sempre se si usa python (che e' il linguaggio con cui scraperwiki e' sviluppato

[Alberto]

Io le avevo viste, Napo. 

Secondo me qui il punto è questo: questo è il nostro raduno, e ci mettiamo dentro le cose che piacciono a noi – a me forse interessano più le mappe dello scraping, però la mia può benissimo essere ignoranza e comunque mi adeguo volentieri, tanto devo imparare tutto! Quanto al livello di approfondimento, la platea di SOD ti permette qualche affondo in più rispetto a quella dei giornalisti, anzi forse lo pretende.

Però bisogna dire che noi non siamo tutti uguali. Io, per dire, sono un economista e non un informatico. In SOD sto bene, perché è smanettona, ma accogliente verso chi smanettone non è, purché interessato al tema open data (anzi, ne approfitto per ringraziare Paolo, Napo e gli altri geeks per la pazienza con cui mi trattano).

Per questo mi sono fissato con il tutorial: è un modo per fare crescere un po' di gente, sia di SOD che non di SOD, a partire dalle competenze di quelli che ne hanno di più. Secondo me fare crescere civic hackers e data literacy è una partita decisiva per i dati aperti: se non ci sono competenze diffuse per usarli i dati liberati resteranno lì a prendere (metaforicamente) polvere, e finirà che non verranno più aggiornati. Questa mailing list è un serbatoio straordinario di saper fare sui dati aperti, e secondo me è sia nostro interesse che nostro dovere condividere questo saper fare e farlo girare. 

Però poi facciamo anche un hackathon dove il lato hacker possa risplendere, non vi preoccupate. TYXXX è lì che vi aspetta. :-)

[Stefano Durì]

eh, python è nella pipeline da tempo, ma non è destino che possa studiarmelo. Scraperwiki l'ho provato ed è un ottimo servizio, ma ho bisogno di far girare gli scrapers sul server aziendale e quindi gli ultimi li ho realizzati lì utilizzando simple_html_dom.php, libreria presente anche in scraperwiki. 

[Alfredo Serafini]

scraperwiki e python mi sembrano una ottima idea, se davvero si riesce a rendere autonomi i non programmatori :-)

idem le mappe! 

ma invece qualcosina sul mondo un po' più "linked" potrebbe interessare? giorni fa era emerso un discorso su LOD2 e magari si potrebbe spiegare in giro come usare le named entity recognition (c'è un plugin per wordpress sviluppato da italiani, li potremmo invitare a parlarcene) o il già citato silk?

[Lorenzo Benussi]

grande programma! io ci sono

ciao, l. 

[Michele Barbera]

Ciao,

scusa Alfredo se mi intrometto di nuovo a metà in una discussione, ma era troppo interessante per starmene zitto :-)

ma invece qualcosina sul mondo un po' più "linked" potrebbe interessare? giorni fa era emerso un discorso su LOD2 e magari si potrebbe spiegare in giro come usare le named entity recognition (c'è un plugin per wordpress sviluppato da italiani, li potremmo invitare a parlarcene) o il già citato silk?

l'infrastruttura Linked Data che stiamo sviluppando a SpazioDati utilizza sia Silk, sia ScraperWiki (abbiamo una nostra istanza un po' patchata). Inoltre abbiamo una API di entity recognition sull'italiano che fino ad oggi abbiamo usato internamente, ma che pensiamo di aprire all'uso pubblico (fra un po', adesso è moooolto alpha). E' un pò simile a OpenCalais per capirci, ma funziona bene sull'italiano e sopratutto su input molto brevi. Chi si sentisse avventuroso può provarla qui: <http://spaziodati.eu/datatxt> 

Tra una quindicina di giorni contiamo che sia un pò più stabile e di rilasciarla "ufficialmente". Spero di non aver spammato troppo e che possa essere utile a qualcuno!

Ciao,

michele

[Alfredo Serafini]

wow azzeccatissimo direi :-)

[Alfredo Serafini]

vedo che funziona sui tweets... perché non la integriamo (se vi va :-) con tweetyourmep? ;-)

[Alfredo Serafini]

scusate insisto nel piccolo Off Topic ma credo possa essere interessante per tutti:

in effetti provando con un tweet a caso da una delle prime parlamentari che spuntano nella lista su tweetyourmep:

http://spaziodati.eu/datatxt/v3/?lang=it&app_id=05307ba1&app_key=e8b97eb565d8cf6e9f46aa0e57e6cd95&dbpedia=true&rho=0.2&epsilon=0.75&tweet=true&include_abstract=true&text=domani%20all'ambascita%20Uk%20per%20la%20Tobin%20tax%20europea%20contro%20l'Inghilterra%20dei%20veti%20#SfidaCameron%20@jessicadenapoli%20@eurotaprovroma

se guardate la risposta mi pare che funzioni in maniera interessante, potremmo magari inserire una paginetta nella app dove si evidenziano in questo modo entità/temi "emergenti"? e magari ne nasce una discussione che coinvolge diverse persone: si può parlare dell'app, del perché, dei servizi etc etc.

giusto una idea :-)

[Riccardo Grosso]

Appoggio Alfredo, bisogna che ci sentiamo per silk (e pundit)

--
http://about.me/riccardo.maria.grosso

[Riccardo Grosso]

Fantastico spaziodati !

--
http://about.me/riccardo.maria.grosso

[Riccardo Grosso]

Per Alfredo Serafini in particolare (e tutti gli appassionati di
semantica e ontologie) questo potrebbe essere il punto di partenza per
il refactoring e il riuso dei miei tools:

http://spaziodati.eu/datatxt-entity-extraction-api/

Concettualmente, qui c'e' gia' la entity extraction.

Concettualmente, avendo delle ontologie in input, si potrebbero
implementare almeno altri 2 passi di inferenza:

jerarchy-of-entity extraction
relationship extraction

Saluti. Riccardo.

Il 16 ottobre 2012 13:57, Riccardo Grosso
<riccardo.m...@gmail.com> ha scritto:

--
http://about.me/riccardo.maria.grosso

[Michele Barbera]

Noi saremmo più che felici di dare una mano se possiamo (incluso alzare i limiti se tweetyourmep ha molto traffico)!

In genere, a occhio, mettere il rho tra 0.1 e 0.15 è un buon compromesso, ma dipende dall'input, anche 0.2 può essere sensato.

Ciao,

m.

2012/10/16 Alfredo Serafini <ser...@gmail.com>

[Alfredo Serafini]

grande Michele! :-)

@paol, @alessio e gli altri coinvolti nello sviluppo: proviamo ad aggiungere qualcosina del genere per la versione 3? vi pare azzeccato? forse per evitare l'eccesso di off-topic su questo thread è il caso di aprire un thread dedicato :-)

[Paolo Mainardi]

D'accordissimo e molto interessante, via di nuovo thread, magari anche su github :)

2012/10/16 Alfredo Serafini <ser...@gmail.com>

[Alessio 'Blaster' Biancalana]

Soprattutto su GitHub ragazzi ;)

[Riccardo Grosso]

Se volete sono disponibile a presentare i miei vintage tools... :) per
vedere se concettualmente possono essere interessanti e rifattorizzati
per il mondo open data / linked open data.
Mi spiego meglio: i tools sono vintage da un punto di vista delle
tecnologie usate, ma offrono spunti concettuali, di metodo, per capire
se applicandoli al mondo open data possono essere utili, e
successivamente rifattorizzati / adattati

--
http://about.me/riccardo.maria.grosso