Segni del tempo? Stiamo per fare dei passi indietro come Paese?

80 views
Skip to first unread message

Matteo Brunati

unread,
Feb 3, 2019, 9:48:53 AM2/3/19
to Spaghetti Open Data
Buona domenica spaghettar*,
la scorsa settimana mi è caduto l'occhio in un paio di thread su Twitter che ci dovrebbero interessare, preoccupare e far riflettere:

matt

Matteo Fortini

unread,
Feb 3, 2019, 10:38:32 AM2/3/19
to spaghett...@googlegroups.com
Grazie Mat,
come ho commentato anche in risposta ai tweet, per me sarebbe molto bello se come società civile, o con una piccola raccolta fondi, o come progetto con qualche ente organizzazione o associazione, ci dedicassimo alla conservazione (proprio un backup stile archive o wayback machine) di tutti gli open data pubblicati, attuali e storici.

Nel frattempo ho scritto anche a data.world perché lo mettono fra i loro obiettivi.


--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/d1ca38ed-c1be-47bb-bb84-127f74054a35%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.

Matteo Brunati

unread,
Feb 3, 2019, 11:06:49 AM2/3/19
to Spaghetti Open Data
Ciao Matteo, 
l'idea è interessante e vale la pena approfondirla: mi ricorda quel thread in cui si discuteva delle cose brutte che stavano accadendo negli USA con Trump[0], dove avevo pure citato il progetto 'datarefuge'.

Mi piacerebbe capire se esiste un rischio concreto che spariscano Open Data italiani nel breve termine. In quello scambio di thread su Twitter lo date per scontato, specie Luca Corsato. Non ho avuto ancora tempo per approfondire questo assunto che sembrava fortemente condiviso. Tu hai riferimenti diretti?  

Bisognerebbe anche capire di quanti dati stiamo parlando, giusto per avere un ordine di grandezza.
Tra luglio e agosto, ho fatto qualche esperimento per salvare il dataset "Scuole sicure" con i protocolli emergenti del "Decentralized Web"[1], visto che era stato appena chiuso il progetto e i relativi finanziamenti dall'attuale governo in carica. Non ho ancora avuto tempo di scriverci un pezzo di approfondimento :(
Questa cosa della conservazione è fondamentale (anche per il web: progetti come archive.org sono quanto mai importanti, pure da sostenere).

matt


Il giorno domenica 3 febbraio 2019 16:38:32 UTC+1, mfortini ha scritto:
Grazie Mat,
come ho commentato anche in risposta ai tweet, per me sarebbe molto bello se come società civile, o con una piccola raccolta fondi, o come progetto con qualche ente organizzazione o associazione, ci dedicassimo alla conservazione (proprio un backup stile archive o wayback machine) di tutti gli open data pubblicati, attuali e storici.

Nel frattempo ho scritto anche a data.world perché lo mettono fra i loro obiettivi.


Il giorno dom 3 feb 2019, 15:48 Matteo Brunati <matteo....@gmail.com> ha scritto:
Buona domenica spaghettar*,
la scorsa settimana mi è caduto l'occhio in un paio di thread su Twitter che ci dovrebbero interessare, preoccupare e far riflettere:

matt

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.

Matteo Fortini

unread,
Feb 3, 2019, 2:17:14 PM2/3/19
to spaghett...@googlegroups.com
Ciao Matteo,
io non voglio pensare a volontà dirette a chiudere dati o contro gli open data, penso di più ai problemi di commitment (o se vogliamo parlare in modo industriale, di SLA) verso una disponibilità di dati, o si sfortuna.
Ricordo che soldipubblici è rimasto down per qualche mese, ed era un progetto di cui avevamo ottenuto l'apertura dei dati in formato bulk e aveva pure sviluppato delle API.

Gli open data e la trasparenza hanno normative molto dettagliate e impositive (anche sanzionatorie) sui contenuti, su cosa ci debba essere, meno su come debba essere erogato il servizio (male comune a moltissimi servizi della PA, che non sono troppo migliorati passando dagli sportelli ai portali).
Quando dico "come" non parlo soltanto di formati e API (CKAN, DCAT-AP_IT sono esempi virtuosi), ma anche di livelli di servizio (altro esempio? sessantaquattro ore di downtime per un aggiornamento https://pst.giustizia.it/PST/it/pst_3_1.wp?contentId=NEW5457  oppure https://www.corriere.it/scuola/medie/17_luglio_18/professori-caccia-supplenze-150-domande-minuto-sito-miur-590183e0-6b92-11e7-9094-d21d151198e9.shtml). Si tratta di uptime che con gli strumenti cloud che ci sono adesso si potrebbero comprare a prezzi molto economici, per non dire irrisori se si pensa ai budget di certe commesse.

Per questo secondo me due lavori sarebbero da utili a necessari:
  • un backup che consenta di accedere ai dati bulk, tenendo traccia di tutte le eventuali edizioni
  • (eventualmente) una serie di API per creare dei servizi sui dati, utili a chi debba fare impresa sugli open data

Qualcuno ha fatto notare che il DAF è qualcosa di simile. Lo vedo come un progetto molto più ambizioso, siccome vuole rendere accessibile in modo uniforme una grande mole di dati. Qui si parla di preservare bit.



Il 03/02/19 17:06, Matteo Brunati ha scritto:
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Alberto

unread,
Feb 3, 2019, 4:31:32 PM2/3/19
to Spaghetti Open Data
O-K...  :-(

Alla fine torniamo ai data dump, per disperazione.

Francesco Piero Paolicelli

unread,
Feb 4, 2019, 2:41:58 AM2/4/19
to spaghett...@googlegroups.com
credo che siano due cose diverse.
il thread parte da un discorso generale sul decreto semplificazioni e le nuove deleghe che assumerà il Premier (inlcudendo in pratica quelle che oggi ha il commissario del Team) e la creazione di una nuova azienda statale per la gestione del portale dei dati aperti e pagoPA.

Dato che non si capisce bene il Team che fine farà, è partita la battuta semiseria di Luca dicendo di salvare i dati etc

Credo che siano due aspetti diversi:
1) che fine faranno le migliaia di righe di codice attualmente su github sviluppate dal Team? Qui la domanda è corretta e vediamo che risposte ci saranno
2) gli attuali dati aperti governativi sono già triplicati :) il 90% è su datigov, sul ckan del DAF e su synapta. Credo che di questi non dobbiamo più di tanto preoccuparci. Sia se “vince” Agid-FormezPA con l’attuale DatiGov con l’aborto del Dkan, sia se (come sembra) vinca il daf e il ckan che è compliant con l’harvesting su dcatap-it

Piersoft
Inviato da iPhone
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Daniele Crespi

unread,
Feb 4, 2019, 5:58:02 AM2/4/19
to spaghett...@googlegroups.com
Una parte della discussione mi pare un po "surreale" ...

anche se "sparisse per un po" dati.gov.it, essendo difatto un "metacatalogo", i dati pubblicati dalle singole PA
resterebbero accessibili dai portali delle singole PA 

dove sta il problema ? che non c'è un catalogo nazionale ?
per quello che serve , penso non se ne accorgerebbe nessuno

chi mi segue sa che dico da molto tempo che è semplicemente "irrilevante" , per come è adesso
nel 2018 abbiamo avuto oltre 600K visualizzazioni di dataset o oltre 1,1 mln di download

Referral da dati.gov.it circa lo 0,001% .... nulla  :-(

oltretutto c'è l'ottimo OpenDataHub di Sciamlab che raccoglie 49.584 dataset contro 23.598 di dati.gov.it
più del doppio !

sul DAF non mi esprimo

concorso sullo SLA, ogni PA garantisce con la sua serietà del suo programma OpenData e si crea la sua "credibilità"
ma su alcuni dati di Alto Valore non sarebbe male che si facesse chiarezza

my2cents
Daniele

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/d1ca38ed-c1be-47bb-bb84-127f74054a35%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/25c989d6-5d9a-4020-bd21-d770cc48759e%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/6B52BD6C-B685-4915-8339-10B336B41C0B%40gmail.com.

Matteo Brunati

unread,
Feb 4, 2019, 4:21:00 PM2/4/19
to Spaghetti Open Data


Il giorno lunedì 4 febbraio 2019 11:58:02 UTC+1, Daniele Crespi ha scritto:
Una parte della discussione mi pare un po "surreale" ...

anche se "sparisse per un po" dati.gov.it, essendo difatto un "metacatalogo", i dati pubblicati dalle singole PA
resterebbero accessibili dai portali delle singole PA 

dove sta il problema ? che non c'è un catalogo nazionale ?
per quello che serve , penso non se ne accorgerebbe nessuno

chi mi segue sa che dico da molto tempo che è semplicemente "irrilevante" , per come è adesso
nel 2018 abbiamo avuto oltre 600K visualizzazioni di dataset o oltre 1,1 mln di download

Referral da dati.gov.it circa lo 0,001% .... nulla  :-(

oltretutto c'è l'ottimo OpenDataHub di Sciamlab che raccoglie 49.584 dataset contro 23.598 di dati.gov.it
più del doppio !


Esatto Daniele, hai fatto bene a puntualizzarlo: 
  • non stavo pensando al contesto di governance (quella su cui non abbiamo e mai avremo alcun impatto, visti i precedenti);
  • non mi riferivo ai metadati e ai metacataloghi, come dati.gov.it (è sempre stato irrilevante per l'accesso al dato, anche se rimane rilevante per la percezione della serietà di gestione della governance e della strategia complessiva di valorizzazione della PSI italiana);
  • quello che interessa è come si potrebbe rispondere alla scomparsa del dato vero e proprio (per n motivi possibili). Ecco perché si parla di backup di dati bulk.
Per citare un esempio concreto: http://italiasicura.governo.it/ non mi risulta più attivo: come recuperare i dati che conteneva? (non ho effettivamente cercato se fossero in altri luoghi, ma è un caso concreto che dovrebbe farci pensare)...

matt

Daniele Crespi

unread,
Feb 4, 2019, 5:06:27 PM2/4/19
to spaghett...@googlegroups.com
Concordo

Un backup è utile



Daniele Crespi

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/2a65b78c-b163-4d5e-ab2d-e975f0364156%40googlegroups.com.

Matteo Brunati

unread,
Mar 6, 2019, 4:30:30 PM3/6/19
to Spaghetti Open Data
Ciao spaghettar*,
su questo tema è nato un sito dedicato (scoperto grazie ad un tweet di Matteo Fortini) dove si può continuare il confronto:
matt


Il giorno lunedì 4 febbraio 2019 23:06:27 UTC+1, Daniele Crespi ha scritto:
Concordo

Un backup è utile



Daniele Crespi

Il lun 4 feb 2019 22:21 Matteo Brunati ha scritto:


Il giorno lunedì 4 febbraio 2019 11:58:02 UTC+1, Daniele Crespi ha scritto:
Una parte della discussione mi pare un po "surreale" ...

anche se "sparisse per un po" dati.gov.it, essendo difatto un "metacatalogo", i dati pubblicati dalle singole PA
resterebbero accessibili dai portali delle singole PA 

dove sta il problema ? che non c'è un catalogo nazionale ?
per quello che serve , penso non se ne accorgerebbe nessuno

chi mi segue sa che dico da molto tempo che è semplicemente "irrilevante" , per come è adesso
nel 2018 abbiamo avuto oltre 600K visualizzazioni di dataset o oltre 1,1 mln di download

Referral da dati.gov.it circa lo 0,001% .... nulla  :-(

oltretutto c'è l'ottimo OpenDataHub di Sciamlab che raccoglie 49.584 dataset contro 23.598 di dati.gov.it
più del doppio !


Esatto Daniele, hai fatto bene a puntualizzarlo: 
  • non stavo pensando al contesto di governance (quella su cui non abbiamo e mai avremo alcun impatto, visti i precedenti);
  • non mi riferivo ai metadati e ai metacataloghi, come dati.gov.it (è sempre stato irrilevante per l'accesso al dato, anche se rimane rilevante per la percezione della serietà di gestione della governance e della strategia complessiva di valorizzazione della PSI italiana);
  • quello che interessa è come si potrebbe rispondere alla scomparsa del dato vero e proprio (per n motivi possibili). Ecco perché si parla di backup di dati bulk.
Per citare un esempio concreto: http://italiasicura.governo.it/ non mi risulta più attivo: come recuperare i dati che conteneva? (non ho effettivamente cercato se fossero in altri luoghi, ma è un caso concreto che dovrebbe farci pensare)...

matt

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.

Alfredo Serafini

unread,
Mar 7, 2019, 7:48:12 AM3/7/19
to Spaghetti Open Data
se l'idea è di costruire una specie di "wayback machine" dei dataset opendata italiani, mi piace, anche perché sarebbe senz'altro utile anche a fornire una visione di insieme, alternativa comunque all'idea di accentrare i dati da qualche parte.
Su quest'ultimo punto -a titolo del tutto personale- condivido l'idea che non necessariamente debbano essere accentrati, mentre continuo a sostenere l'idea che sia auspicabilissimo avere una condivisione di metadati e schemi sui dati, così come di funzionalità di ricerca e discovery di base.

A mio avviso i privati non possono supplire a questa parte, semmai aiutare il pubblico a portarla a compimento. La community viceversa dovrebbe avere -non potendo garantire risorse o un alto grado di affidabilità- un ruolo terzo di verifica e di proposta, e in questa direzione questa iniziativa mi sembra molto interessante e condivisibile, almeno per come la ho capita io :-)

grazie intanto a voi che ci avete speso sopra un po' di tempo a favore di tutti quelli che contribuiranno (me compreso, se possibile :-))
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

Andrea Trentini

unread,
Mar 8, 2019, 3:35:39 AM3/8/19
to spaghett...@googlegroups.com
On 07/03/2019 13:48, Alfredo Serafini wrote:
> se l'idea è di costruire una specie di "wayback machine" dei dataset opendata italiani, mi piace,
> anche perché sarebbe senz'altro utile anche a fornire una visione di insieme, alternativa comunque
> all'idea di accentrare i dati da qualche parte.
> Su quest'ultimo punto -a titolo del tutto personale- condivido l'idea che non necessariamente
> debbano essere accentrati, mentre continuo a sostenere l'idea che sia auspicabilissimo avere una
> condivisione di metadati e schemi sui dati, così come di funzionalità di ricerca e discovery di base.
>
> A mio avviso i privati non possono supplire a questa parte, semmai aiutare il pubblico a portarla a

perché no? con un bel filesystem distribuito ridondante e resiliente... ;)


--

/\_______________
/--\ndrea |rentini (http://atrent.it)
. Software Libero - Dipartimento di Informatica
..: Università degli Studi di Milano

Matteo Brunati

unread,
Mar 12, 2019, 5:31:54 PM3/12/19
to Spaghetti Open Data


Il giorno venerdì 8 marzo 2019 09:35:39 UTC+1, Andrea Trentini ha scritto:
On 07/03/2019 13:48, Alfredo Serafini wrote:
> se l'idea è di costruire una specie di "wayback machine" dei dataset opendata italiani, mi piace,
> anche perché sarebbe senz'altro utile anche a fornire una visione di insieme, alternativa comunque
> all'idea di accentrare i dati da qualche parte.
> Su quest'ultimo punto -a titolo del tutto personale- condivido l'idea che non necessariamente
> debbano essere accentrati, mentre continuo a sostenere l'idea che sia auspicabilissimo avere una
> condivisione di metadati e schemi sui dati, così come di funzionalità di ricerca e discovery di base.
>
> A mio avviso i privati non possono supplire a questa parte, semmai aiutare il pubblico a portarla a

perché no? con un bel filesystem distribuito ridondante e resiliente... ;)


Usare DAT Protocol o cose come IPFS[1] sarebbe davvero utile, facendo un esperimento di comunità per applicarne le potenzialità (mi fa venire in mente l'evento che si è tenuto a luglio 2018 nella sede di archive.org[2]). 

matt

Andrea Trentini

unread,
Mar 13, 2019, 3:05:20 AM3/13/19
to spaghett...@googlegroups.com
On 12/03/2019 22:31, Matteo Brunati wrote:
> ...
> Usare DAT Protocol o cose come IPFS[1] sarebbe davvero utile, facendo un esperimento di comunità per
> applicarne le potenzialità (mi fa venire in mente l'evento che si è tenuto a luglio 2018 nella sede
> di archive.org[2]).

esatto!

pensavo proprio a IPFS o TahoeLAFS o similia

anche perché ormai è chiaro che se vogliamo salvare Internet (anche nel senso di "File->Salva", ma
soprattutto nel senso di sopravvivenza) dobbiamo traghettare tutti verso un'architettura
decentralizzata, anonimizzata e crittografata
Reply all
Reply to author
Forward
0 new messages