Aggiornamento pagina collettiva sugli open data italiani

31 views
Skip to first unread message

Matteo Brunati

unread,
Oct 9, 2010, 3:30:57 AM10/9/10
to spaghett...@googlegroups.com
Buondᅵ,
vi aggiorno sullo stato di cose:

-> http://labs.dagoneye.it/opendataitaly/opendataitaly.html

- aggiunto a fondo pagina un box per commentare la pagina, tramite
intensedebate: sembra che la funzione "mi piace" di facebook mi vada in
conflitto con il framework in uso per mostrare i dati, mah
- aggiunti altri dataset vari per iniziare a mostrare il valore di
aggregare dati dalle diverse fonti per far emergere le potenziali
utilitᅵ. Nel caso di dati.piemonte.it credo sia piᅵ utile indicare i
singoli dataset piuttosto che solo il repository globale, altrimenti non
ᅵ facile individuare il tema
- aggiunto un search in tempo reale che cerca solo su alcune colonne e
filtra la visualizzazione in tempo reale
- ho inserito una tag cloud in wordle, componendola dai post del meme .)
- link alla mappa mentale condivisa ( grazie Stefano, ottima idea
quella di metterla online )

Per ora non ho toccato la tipologia degli accessi al foglio su google,
per cui usiamolo noi fino a che non andiamo pubblicamente online, poi lo
chiudo solo a chi ha inserito modifiche in questi giorni, e poi basta
farmi un elenco di chi pensa di contribuire.

Cose da fare:
- migliorare l'integrazione con i social a vario livello
- integrare una visualizzazione di base del singolo elemento
graficamente migliore ( adesso ᅵ presente quella di default )
- integrare le posizioni geografiche, per creare una nuova
visualizzazione a mappa dei dataset. Per convenzione quelli a copertura
nazionale li metto a Roma visivamente
- integrare altri fogli elettronici con i dati delle persone
coinvolte, e degli strumenti a disposizione

As usual, let me know cosa ne pensate .)

Nei prox giorni non so quanto sarᅵ online, ma certamente martedᅵ sera ci
sono per fare un altro step.
Intanto se si vuole continuare a popolare il google spreadsheet... basta
tenere la colonna del Dataset sempre uguale, e dove ci sono piᅵ elementi
da inserire come i tag, inserire come segno di divisione il punto e
virgola. Il resto ᅵ ok. Al massimo sistemo io.
Se non si inseriscono tutti i valori il sistema non ha problemi: gli
unici vincolanti sono la label e il type di fatto.

Ah, i dati in questa pagina sono esportabili naturalmente in open data,
basta far apparire l'iconcina con la forbice e cliccarci sopra per
scegliere il formato desiderato .) Scappo, un matrimonio incombe, e sono
l'autista .)

My 2 cent
Matt

Stefano Durì - ASTER

unread,
Oct 10, 2010, 2:23:15 AM10/10/10
to Spaghetti Open Data
nel frattempo ho fatto qualche tentativo per collegare un modulo ad
uno spreadsheet di Google analogo a quello che stiamo aggiornando
direttamente.
Dovevo comunque realizzare l'accrocchio per gestire alcune attività
qui in ASTER, quindi ho unito l'utile al dilettevole, diciamo così. Al
momento la realizzazione è ampiamente prototipale, ma sembra
funzionare correttamente
I componenti su cui mi baso sono
- form gestito con jquery+plugin di validazione (per i campi
obbligatori e il controllo di correttezza di qualche formato)
http://www.aster.it/opendata/risorsa.htm
- submit dei dati via ajax a uno script in php che si serve delle
interfacce dello Zend framework per le Google Data Api (http://
framework.zend.com/download/gdata)
- lo script si autentica ad un mio account e aggiorna lo spreadsheet
http://spreadsheets.google.com/a/aster.it/ccc?key=0ArMUf4svaBAYdEZFWG9UaGs5VFdReTZYQ0E2YnRBMWc&hl=it#gid=0
- i dati sono consultabili con Exhibit da una pagina analoga a quella
di Matteo http://www.aster.it/opendata/lista_risorse.htm (più che
analoga: quasi completamente rubata)

Ho dovuto piantare le cose a metà, quindi chi vuole fare qualche prova
si troverà davanti ad alcuni messaggi strani (di solito basta cliccare
su OK, comunque) e problemi ancora irrisolti
E' solo una proposta, che può essere accantonata senza rimorsi (il
lavoro - ripeto - avrei comunque dovuto svilupparlo) oppure migliorata
o gestita da altri (il codice - niente di che - è a disposizione)

Matteo Brunati

unread,
Oct 11, 2010, 2:51:19 AM10/11/10
to spaghett...@googlegroups.com

> nel frattempo ho fatto qualche tentativo per collegare un modulo ad
> uno spreadsheet di Google analogo a quello che stiamo aggiornando
> direttamente.

Ottimo: cos� controlliamo il dato in entrata .)

> Dovevo comunque realizzare l'accrocchio per gestire alcune attivit�
> qui in ASTER, quindi ho unito l'utile al dilettevole, diciamo cos�. Al
> momento la realizzazione � ampiamente prototipale, ma sembra


> funzionare correttamente
> I componenti su cui mi baso sono
> - form gestito con jquery+plugin di validazione (per i campi
> obbligatori e il controllo di correttezza di qualche formato)
> http://www.aster.it/opendata/risorsa.htm
> - submit dei dati via ajax a uno script in php che si serve delle
> interfacce dello Zend framework per le Google Data Api (http://
> framework.zend.com/download/gdata)

bello .)

> - lo script si autentica ad un mio account e aggiorna lo spreadsheet
> http://spreadsheets.google.com/a/aster.it/ccc?key=0ArMUf4svaBAYdEZFWG9UaGs5VFdReTZYQ0E2YnRBMWc&hl=it#gid=0
> - i dati sono consultabili con Exhibit da una pagina analoga a quella

> di Matteo http://www.aster.it/opendata/lista_risorse.htm (pi� che
> analoga: quasi completamente rubata)

cos� facciam vedere l'estrema duttilit� degli open data via simile exhibit
.) esposti in forma naturale e che si posson riutilizzar facilmente eh eh

>
> Ho dovuto piantare le cose a met�, quindi chi vuole fare qualche prova
> si trover� davanti ad alcuni messaggi strani (di solito basta cliccare


> su OK, comunque) e problemi ancora irrisolti

> E' solo una proposta, che pu� essere accantonata senza rimorsi (il


> lavoro - ripeto - avrei comunque dovuto svilupparlo) oppure migliorata

> o gestita da altri (il codice - niente di che - � a disposizione)
>

Oggi non so se riesco: sar� a verona, ma domani provo a giocarci e
vediamo. Ottimo spunto per facilitarci poi il passaggio successivo, e
facilitare l'immissione dei dati aggiungendo un po' di filtro per
terzi...

Diciamo che lo scoglio iniziale dato dal CKAN ad esempio � la creazione di
un account per l'utente medio. Il foglio elettronico puo' far paura,
mentre questo � un ottimo compromesso.
Tra l'altro appoggiandosi a google dovrebbe pure reggere un bel carico .)

Matt

Federico

unread,
Oct 14, 2010, 5:25:02 AM10/14/10
to Spaghetti Open Data
Matteo, non sarebbe il caso di aprire la pagina? non fa niente se non
è c'è tutto
quello che hai in mente, l'importante è incominciare a popolarlo.

Federico

On 11 Ott, 08:51, "Matteo Brunati" <m...@blog.dagoneye.it> wrote:
> > nel frattempo ho fatto qualche tentativo per collegare un modulo ad
> > uno spreadsheet di Google analogo a quello che stiamo aggiornando
> > direttamente.
>
> Ottimo: cos controlliamo il dato in entrata .)
>
> > Dovevo comunque realizzare l'accrocchio per gestire alcune attivit
> > qui in ASTER, quindi ho unito l'utile al dilettevole, diciamo cos . Al
> > momento la realizzazione ampiamente prototipale, ma sembra
> > funzionare correttamente
> > I componenti su cui mi baso sono
> > - form gestito con jquery+plugin di validazione (per i campi
> > obbligatori e il controllo di correttezza di qualche formato)
> >http://www.aster.it/opendata/risorsa.htm
> > - submit dei dati via ajax a uno script in php che si serve delle
> > interfacce dello Zend framework per le Google Data Api (http://
> > framework.zend.com/download/gdata)
>
> bello .)
>
> > - lo script si autentica ad un mio account e aggiorna lo spreadsheet
> >http://spreadsheets.google.com/a/aster.it/ccc?key=0ArMUf4svaBAYdEZFWG...
> > - i dati sono consultabili con Exhibit da una pagina analoga a quella
> > di Matteohttp://www.aster.it/opendata/lista_risorse.htm(pi che

Alberto Cottica

unread,
Oct 14, 2010, 5:30:19 AM10/14/10
to spaghett...@googlegroups.com
Molto d'accordo con il compagno Bo.

A.

Matteo Brunati

unread,
Oct 14, 2010, 6:04:16 AM10/14/10
to spaghett...@googlegroups.com

> Molto d'accordo con il compagno Bo.
>
> A.
>
> Il giorno 14 ottobre 2010 11:25, Federico <fed...@tin.it> ha scritto:
>
>> Matteo, non sarebbe il caso di aprire la pagina? non fa niente se non
>> � c'� tutto
>> quello che hai in mente, l'importante � incominciare a popolarlo.
>>
>> Federico
>>

In che senso apertura della pagina?
La fonte per popolare quella pagina, che � il nostro caro foglio
elettronico, � gi� aperta da quando l'ho creata, ed � a vostra
disposizione .)

Provate a modificare qc .)

->
https://spreadsheets.google.com/ccc?key=0Ann4Ii6V2DlwdFFIRFlqMlZLelF4LS12S0VJRlVfTlE&hl=en#gid=0

Infatti anche stamani ho inserito altri dataset per mostrarvi gli effetti
con un po' di dati dentro: quello che ha mostrato Stefano � la possibile
integrazione con filtro in entrata quando apriremo al pubblico
l'inserimento tramite form, per facilitare anche a chi non � avvezzo ad
inserire i dati. Senza dover usare un foglio elettronico.
Quello � il secondo step: intanto nulla vieta di popolare quel foglio
per�, riutilizzabile cmq nel secondo step.

Il foglio elettronico � aperto, perch� non so chi ha voglia di contribuire
tra di noi, ed infatti almeno un paio di dataset li ha pure inseriti
Stefano immagino, da quello che ho visto.

Alla domanda quindi: si pu� iniziare a popolare? Certo, ma lo � sempre
stato .) ma forse non mi ero spiegato bene, indi mea culpa...

Adesso che avete un po' di traccia, non ci dovrebbero essere problemi per
inserire i dati nel foglio elettronico. O no?

Aggiungere una nuova riga sotto, con il type Dataset, e poi il resto dei
dati. Completata la riga, ricaricate la pagina ed essa sar� presente.
Unica cosa: la colonna label e type sono necessarie. Dove volete inserire
pi� elementi, tipo i tags, serve il ; per dividere un elemento dall'altro.

Poi da qui partiamo per il resto.
Quando vogliamo pubblicizzare il tutto, chiudo l'accesso in scrittura al
foglio solo tra chi i principali di noi che stanno inserendo dati.
O chi mi dice che ha necessit� di farlo.

ps - ho inserito la colonna inserito da per iniziare a far emergere il
lato sociale dell'ego.

Adesso � tutto chiaro?

Matt

ps2 - potrei pure essere un po' rinco sti giorni, ero in fiera e non sono
stato molto online... .)


Bianchi Tito

unread,
Oct 14, 2010, 7:13:42 AM10/14/10
to spaghett...@googlegroups.com

Ciao a tutti,

scusate la  lunga latitanza.  Intanto vi segnalo qualche link a dati che ho usato di recente, non so se qualcuno ce l’avete già:

 

ci sono quelli che la banca d’Italia pubblica su impieghi e depositi delle filiali, che scendono fino a livello comunale, più molti altri dati che non ho mai usato:

 

http://bip.bancaditalia.it/4972unix/homebipentry.htm?dadove=corr&lang=ita

 

In Calabria (si proprio in Calabria) hanno fatto una banca dati dei progetti finanziati dalla politica di sviluppo interrogabile secondo diverse chiavi.  Che offre alcune info interessanti di livello-progetto

 

http://217.58.108.212/rsaint/

 

Di recente ho utilizzato dati sulle imprese della provincia di lecce, che la Locale Camera di commercio mette online a livello comunale, purtroppo in pdf

 

 http://www.le.camcom.it/home.asp

 

Mi sembra che lavori bene sui dati anche il ministero degli interni sia come dati dell’ultima elezione

 

http://elezioni.interno.it/

 

 sia soprattutto con il suo archivio storico,

 

http://elezionistorico.interno.it/

 

anche se devo ammettere che non l’ho usato in prima persona

 

 

Poi volevo dire a tutti che cosa ne pensate a questo punto di coinvolgere il dipartimento dell’innovazione della presidenza del consiglio dei ministri.  Infatti mi hanno detto che Brunetta ha dichiarato a Wired che metterà online il data.gov italiano entro fine anno (mah!) e come altri di voi ho buoni rapporti col capo del dipartimento Digitalizzazione e innovazione tecnologica.

In un ottica open, informarli di quello che stiamo cucinando dovrebbe essere scontato.

 

Tito

 

 

Ministero dello Sviluppo Economico

UVAL- DPS

 

Tel. 06-96517062

Fax. 06-96517037

-----Messaggio originale-----
Da: spaghett...@googlegroups.com [mailto:spaghett...@googlegroups.com] Per conto di Alberto Cottica
Inviato: giovedì 14 ottobre 2010 11.30
A: spaghett...@googlegroups.com
Oggetto: Re: Aggiornamento pagina collettiva sugli open data italiani

Matteo Brunati

unread,
Oct 15, 2010, 3:26:53 AM10/15/10
to spaghett...@googlegroups.com

> Ciao a tutti,
> scusate la lunga latitanza. Intanto vi segnalo qualche link a dati che
> ho usato di recente, non so se qualcuno ce l'avete gi�:

>
> ci sono quelli che la banca d'Italia pubblica su impieghi e depositi delle
> filiali, che scendono fino a livello comunale, pi� molti altri dati che


-> http://labs.dagoneye.it/opendataitaly/opendataitaly.html

@tito: ok, inserita. In realt� ho messo il link alla pagina, o meglio al
box, con i dati da scaricare.

>
> In Calabria (si proprio in Calabria) hanno fatto una banca dati dei
> progetti finanziati dalla politica di sviluppo interrogabile secondo
> diverse chiavi. Che offre alcune info interessanti di livello-progetto
>
> http://217.58.108.212/rsaint/

Questa � diversi giorni che provo ad aprirla, ma niente.
E' un problema solo mio?


>
> Di recente ho utilizzato dati sulle imprese della provincia di lecce, che
> la Locale Camera di commercio mette online a livello comunale, purtroppo
> in pdf
>
> http://www.le.camcom.it/home.asp
>
> Mi sembra che lavori bene sui dati anche il ministero degli interni sia
> come dati dell'ultima elezione
>
> http://elezioni.interno.it/
>
> sia soprattutto con il suo archivio storico,
>
> http://elezionistorico.interno.it/
>
> anche se devo ammettere che non l'ho usato in prima persona


ok inserite entrambe. Se volete aggiungere tags, andate pure.

Nel frattempo, giusto per iniziare ad aggiungere qualcosa, ho iniziato a
sondare i CPT regionali. E i dati ambientali, ove presenti.

Mi � sorta una domanda: i bilanci in formato XBRL oltre che per le Camere
di Commercio sono in uso da altri, che risulti a qualcuno?

Matt

Bianchi Tito

unread,
Oct 15, 2010, 4:37:27 AM10/15/10
to spaghett...@googlegroups.com
Per matteo,
Per quanto riguarda la banca dati di progetti calabrese, a me funziona anche se ho notato che come sistema è un po' facile al collasso if you know what I mean.

Quanto ai dati sui CPT credo che fra i membri di questo gruppo possa rispondere Simona, che lo conosce meglio.

Tito

Ministero dello Sviluppo Economico
UVAL- DPS

Tel. 06-96517062
Fax. 06-96517037
-----Messaggio originale-----

Da: spaghett...@googlegroups.com [mailto:spaghett...@googlegroups.com] Per conto di Matteo Brunati
Inviato: venerdì 15 ottobre 2010 9.27
A: spaghett...@googlegroups.com
Oggetto: Ulteriori dataset aggiunti ( era aggiornamento ... )


> Ciao a tutti,
> scusate la lunga latitanza. Intanto vi segnalo qualche link a dati che

> ho usato di recente, non so se qualcuno ce l'avete già:


>
> ci sono quelli che la banca d'Italia pubblica su impieghi e depositi delle

> filiali, che scendono fino a livello comunale, più molti altri dati che


-> http://labs.dagoneye.it/opendataitaly/opendataitaly.html

@tito: ok, inserita. In realtà ho messo il link alla pagina, o meglio al


box, con i dati da scaricare.

>
> In Calabria (si proprio in Calabria) hanno fatto una banca dati dei
> progetti finanziati dalla politica di sviluppo interrogabile secondo
> diverse chiavi. Che offre alcune info interessanti di livello-progetto
>
> http://217.58.108.212/rsaint/

Questa è diversi giorni che provo ad aprirla, ma niente.


E' un problema solo mio?


>
> Di recente ho utilizzato dati sulle imprese della provincia di lecce, che
> la Locale Camera di commercio mette online a livello comunale, purtroppo
> in pdf
>
> http://www.le.camcom.it/home.asp
>
> Mi sembra che lavori bene sui dati anche il ministero degli interni sia
> come dati dell'ultima elezione
>
> http://elezioni.interno.it/
>
> sia soprattutto con il suo archivio storico,
>
> http://elezionistorico.interno.it/
>
> anche se devo ammettere che non l'ho usato in prima persona


ok inserite entrambe. Se volete aggiungere tags, andate pure.

Nel frattempo, giusto per iniziare ad aggiungere qualcosa, ho iniziato a
sondare i CPT regionali. E i dati ambientali, ove presenti.

Mi è sorta una domanda: i bilanci in formato XBRL oltre che per le Camere

De Luca Simona

unread,
Oct 18, 2010, 11:32:48 AM10/18/10
to spaghett...@googlegroups.com
Qualche dettaglio sulla consultazione dei CPT che ho visto al momento collegati da singole pagine regionali e non da quella generale del sito del progetto CPT. In www.dps.tesoro.it/cpt/banca_dati_home.asp si possono scaricare i dati su spese e entrate di tutte le regioni. L'area di consultazione è organizzata per accedere alle info secondo tre modalità distinte. Per entrare in questa parte del sito è richiesto un accreditamento dell'utenza (l'inserimento di user e pw è un modo per noi, probabilmente un po' antiquato, di tenere traccia di chi accede ai dati, magari sulla spinta di queste iniziative possiamo anche modificare un po' la nostra struttura di accesso...). Credo che tra le possibili alternative la forma più adatta all'OpenData siano le tabelle excel predefinite (http://www.dps.tesoro.it/cpt/banca_dati_seriestorica_statico.asp) esplorabili mediante un albero di navigazione articolato per universo di riferimento (PA/Settore Pubblico Allargato), spese/entrate, livelli di governo e categorie economiche. Le dimensioni temporali (dal 1996) e territoriali (regione) sono trasversali a queste chiavi. Il link diretto a queste tavole non è però possibile, come detto, senza passare prima per user e pw quindi..o noi modifichiamo l'accesso (suggerimenti per mantenere cmq traccia degli accessi?) o si può solo rimandare alla pagine dell'autenticazione. I dati sono in valore assoluto ed espressi in euro correnti.

C'è poi un altro excel (http://www.dps.tesoro.it/CPTeXplorer/DATASET_CPTeXplorer.xls) direttamente consultabile dal sito che riporta l'estrazione di dati da CPT che abbiamo reso disponibile con CPT eXplorer (http://www.dps.tesoro.it/CPTeXplorer/ml.asp). In questo caso i dati sono in valori procapite e in euro costanti 2000. In questo caso forse si potrebbe segnalare anche il fatto che sono automaticamente navigabili via eXplorer (poi, chi vuole, potrebbe ovviamente caricarci qualsiasi altro dato regionale, ma è altra questione...).

Non sarebbe quindi una vera e propria duplicazione inserire entrambi i riferimenti ai dati CPT essendo espressi diversamente...

Alcune degli ultimi scambi (Tito, Aline, Alberto ad esempio) mi portano a condividere qualche considerazione più generale sui confini da dare ai dati da inserire nell'opendataitaly.
Credo che il grande valore aggiunto sarebbe quello di rendere disponibili principalmente DATI PRODOTTI DALLA PA (intesa nel senso più allargato possibile) e non dati statistici tout-court, altrimenti (come già segnalato anche da Aline) rischiamo di duplicare info in qualche modo già rese disponibili da ISTAT.
Come DPS abbiamo sempre sostenuto, con ISTAT e non solo, la produzione di info statistica disaggregata territorialmente (http://www.istat.it/ambiente/contesto/infoterr/azioneB.html) ma penso che l'ambito di riferimento di un opendata non siano questi dati ma, piuttosto, le informazioni di base per la loro costruzione quando e se disponibili.
Faccio un esempio, sul sito del Dipartimento (http://www.dps.tesoro.it/documentazione/QSN/docs/indicatori/Dossier_Indicatori_Target.xls) mettiamo a disposizione i dati di alcuni indicatori regionali con particolare valore di policy. Si tratta di informazioni statistiche tratte da alcuni dati di base. Prendiamo il caso dei "km di coste non balneabili su tot coste regionali": più che il nostro indicatore (elaborato da ISTAT) sarebbero da segnalare i dati di base così come prodotti dal Min della Salute (oggi inseriti nel "portale acque" con georeferenziazione googlemap etc, etc ma non proprio scaricabili in un excel o similare http://www.portaleacque.it/home.spring).

Seguendo questo ragionamento segnalo alcune informazioni disaggregate e direttamente consultabili (excel) a supporto del meccanismo degli Obiettivi di Servizio (http://www.dps.tesoro.it/obiettivi_servizio/dati_subregionali.asp). In questa pagina si trovano, in particolare, dati per ASL sull'Assistenza Domiciliare Integrata, per provincia e comune su raccolta differenziata dei rifiuti, per ATO su distribuzione dell'acqua potabile e su depurazione.

Confrontiamoci su questo per popolare ulteriormente la base attuale e diventare (è davvero importante!) stimolo perché le informazioni siano rilasciate, consultabili, navigabili. Un open data così orientato e costruito dal basso credo sarebbe certamente un importante lascito che prima o poi un qualche punto della PA dovrebbe "ereditare" o comunque entrarci in relazione rilevando anche i limiti di ciò che oggi c'è.
Sarà poi un modo per stimolare ulteriormente il dibattito su privacy/segreto statistico/dati pubblici con cui spesso diversi di noi si confrontano (nel quotidiano procedere lavorativo e come cittadini...) o meglio si scontrano.

Ultima segnalazione: dati su consistenza e struttura del personale in servizio nella PA italiana (sito RGS) http://www.contoannuale.tesoro.it/sicoSito/PaginaIniziale.jsp

Simona

Ministero dello Sviluppo Economico
DPS - UVAL


________________________________________
Da: spaghett...@googlegroups.com [spaghett...@googlegroups.com] per conto di Bianchi Tito
Inviato: venerdì 15 ottobre 2010 10.37
A: 'spaghett...@googlegroups.com'
Oggetto: R: Ulteriori dataset aggiunti ( era aggiornamento ... )

Reply all
Reply to author
Forward
0 new messages