Marco Brandizi
Apr 30, 2019, 5:32:00 AM4/30/19
to Spaghetti Open Data
Ciao a tutti,
Come mi è stato suggerito per sopperire al fatto che siamo a corto di hackathon, riporto su Telegram quello che ho buttato giù al volo, ricavandolo da una proposta iniziale più ambiziosa che non è andata in porto. Lo riporto qui perché non sono sicuro se 1) esiste già una risorsa come quella che descrivo qui sotto 2) quanta gente ci sarà che avrà voglia di iniziare a crearla.
Con queste premesse, vi pregherei un riscontro a questo messaggio, per farci un idea del se portare avanti la cosa (sennò pare che nel frattempo abbiamo già due proposte di hackathon, entrambe fighe!)
Allora, la proposta è questa: Facciamo un hackathon per (iniziare a) scrivere un tutorial di "Introduzione agli Open Data per Smanettoni". L’idea è di rivolgersi al neofita di dati, ma mediamente appassionato di informatica (per intenderci, che sa fare due cose con Linux e programmazione, mettere su un CKAN e roba così), spiegargli che cosa sono gli OD e perché servono, mostrargli dove andarli a cercare, come raccoglierli, come modellarli e renderli interoperabili, come si pubblicano (es, CKAN), come si usano una volta pubblicati (Jupyter, dashboards, analisi con Python), cenni di linked data, scelta delle licenze. Un paio di dataset potrebbero fare da esempio pratico, sviluppabile nei vari capitoli (mi attira molto usare per questo quelli che propone Alberto per l'analisi del Melting Pot, ma comunque su questo abbiamo l'imbarazzo della scelta).
Fatemi sapere,
Marco
Come mi è stato suggerito per sopperire al fatto che siamo a corto di hackathon, riporto su Telegram quello che ho buttato giù al volo, ricavandolo da una proposta iniziale più ambiziosa che non è andata in porto. Lo riporto qui perché non sono sicuro se 1) esiste già una risorsa come quella che descrivo qui sotto 2) quanta gente ci sarà che avrà voglia di iniziare a crearla.
Con queste premesse, vi pregherei un riscontro a questo messaggio, per farci un idea del se portare avanti la cosa (sennò pare che nel frattempo abbiamo già due proposte di hackathon, entrambe fighe!)
Allora, la proposta è questa: Facciamo un hackathon per (iniziare a) scrivere un tutorial di "Introduzione agli Open Data per Smanettoni". L’idea è di rivolgersi al neofita di dati, ma mediamente appassionato di informatica (per intenderci, che sa fare due cose con Linux e programmazione, mettere su un CKAN e roba così), spiegargli che cosa sono gli OD e perché servono, mostrargli dove andarli a cercare, come raccoglierli, come modellarli e renderli interoperabili, come si pubblicano (es, CKAN), come si usano una volta pubblicati (Jupyter, dashboards, analisi con Python), cenni di linked data, scelta delle licenze. Un paio di dataset potrebbero fare da esempio pratico, sviluppabile nei vari capitoli (mi attira molto usare per questo quelli che propone Alberto per l'analisi del Melting Pot, ma comunque su questo abbiamo l'imbarazzo della scelta).
Fatemi sapere,
Marco
Marco Brandizi <marco.b...@gmail.com>
http://www.marcobrandizi.info
marchitell...@gmail.com
Apr 30, 2019, 7:11:48 AM4/30/19
to Spaghetti Open Data
Alessio Cimarelli
May 29, 2019, 1:04:51 PM5/29/19
to Spaghetti Open Data
Ciao Marco, ben ritrovato! :)
Domenica mi voglio associare al tuo tavolo e ho una proposta per la parte "come si usano una volta pubblicati (Jupyter, dashboards, analisi con Python)".
Prima però una full disclosure: da circa tre mesi sono consulente del Team Digitale per quanto riguarda community e open source e sto seguendo alcuni progetti legati a Developers Italia e in particolare al progetto della PDND (ex DAF).
Recentemente abbiamo rilasciato un tool per interfacciarsi facilmente alla PDND (quindi ai dati che contiene, via API) e integrarla in progetti di data science, basato su nteract, un progetto open source di interfaccia web evoluta per i notebook jupiter. Non mi dilungo sul suo funzionamento, per avere un'idea rapida è utile questo video: https://www.youtube.com/watch?v=nlZnYcz66YE.
Il tutto è utilizzabile facilmente tramite Docker e a partire da questo repository chiunque può fare le proprie analisi e poi condividere con la comunità i propri notebook attraverso una semplice pull request. Grazie a Binder puoi vedere e interagire in pochi secondi con i notebook già creati (vedi per esempio il recente open-notebooks-example/italian_regions.ipynb, appena fatto da uno studente partecipante al programma GSoC presso Developers Italia, che dovrebbe riuscire a passare sabato).
Oltre alle analisi dei dati e alla produzione di notebook belli e interessanti, credo che nel tutorial oggetto di questa track possa essere utile riflettere su modalità e processi di feedback da parte della comunità per quanto riguarda la qualità dei dati pubblici. Uno strumento come daf-nteract abilita l'uso di un portale come la PDND non solo in quanto fonte dei dati (il repository dove cercarli, trovarli e scaricarli), ma come servizio di backend per i dati delle analisi (il database che la mia applicazione di data science interroga quando viene eseguita). Può quindi anche essere un veicolo delle segnalazioni da parte di chi analizza i dati sulla qualità dei dati che sta analizzando. Scenario semplice: trovo un errore in un dataset appena estratto, lo sistemo in fase di pulizia dei dati prima dell'analisi, segnalo il problema alla PA che ne è titolare... tutto nello stesso ambiente, il notebook jupiter.
Che ne dici?
Il giorno martedì 30 aprile 2019 11:32:00 UTC+2, Marco Brandizi ha scritto:
Marco Brandizi <marco....@gmail.com>
http://www.marcobrandizi.info
Reply all
Reply to author
Forward
0 new messages