SOD vs. Opencoesione: il primo collaudo?

[Alberto]

Spaghettari/e di terra, di cielo e di mare (che detto così sembrano menu al ristorante),

oggi è uscito http://www.opencoesione.gov.it/. Tanto lo starete guardando, come anch'io: vi va se facciamo una prima recensione di portale firmata SOD? A 'sto giro mi offro di fare io l'editing. Voi provate il sito, smanettate, e postate qui: io cucino il tutto (tanto per rimanere in tema) e ci cavo un post. Chiedo a Che Futuro se ce lo pubblica, sennò ci posso mettere il mio blog; se preferite metterlo su un altro blog va bene anche così. Poi con i nostri Twitter, FB etc. lo diffondiamo e vediamo come va a finire. Ci state?

[Andrea Nelson Mauro]

presente!

[Michele d'Alena]

vai

2012/7/17 Andrea Nelson Mauro <andrea.ne...@gmail.com>

presente!

--

skype:micheledalena
http://www.micheledalena.it

[Simone Cortesi]

primo commento:

la mappa è chiaramente openstreetmap, e non viene dato credito della cosa.

notate in mare la linea delle 12miglia nautiche verso la francia e
confrontatela con quella su http://osm.org

questo va corretto.

--
-S

[Andrea Volpini]

ad uno sguardo molto veloce mi sembra veloce quanto capillare ed esaustivo: un progetto di cui essere orgogliosi. Complimenti.

Andrea Volpini
InSideOut10

Get a signature like this. CLICK HERE.  

2012/7/17 Alberto <alberto...@gmail.com>

[Andrea Nelson Mauro]

sì non c'è neanche scritto Beta mi pare...

Alle 17,30 conversazione live per chiedere info  >  http://t.co/IBDdw0Tg

[Irene Celino]

primissimi commenti al volo:
- uno sforzo notevole, molto apprezzabile e anche con una certa attenzione all'usabilità del sistema di navigazione
- i dati sono open e scaricabili, ma solo in "blocco"; visto lo sforzo per il sistema di browsing sarebbe stato bello abilitare il download del singolo insieme di dati o del risultato di una ricerca
- la licenza open non mi sembra essere citata su opencoesione, ma solo sull'altro sito da cui si scaricano i dati
- altre cosine di dettaglio, più che altro per possibili miglioramenti:
-- per finanziamenti a gruppi di partner, si vede il finanziamento globale e non quello per partner; pazienza di per sè, peccato che l'intero ammontare sia "associato" a ciascuno dei partner nel computo dei finanziamenti totali di un soggetto
-- i filtri non funzionano benissimo (togliere uno dei filtri su "range" fa sparire il filtro territoriale)
-- c'è un sicuro problema di encoding delle stringhe per tutti i caratteri accentati
-- alcuni progetti non sono stati inseriti correttamente perchè il server restituisce un errore 500

my 2 cents
irene

--

    " If you understand what you're doing,
           you're not learning anything. "

[Alberto Cottica]

Ok, siamo al collaudo in diretta. Mi aspetto un commento sulla licenza CC-BY-SA; in questo caso la share alike potrebbe anche starci, perché i dati non si prestano bene alla costruzione di servizi ad alto valore aggiunto.

O forse sì. Potrebbe esserci un'applicazione di business intelligence: per esempio guardate qui:

http://www.opencoesione.gov.it/soggetti/?q=fiat

o qui:

http://www.opencoesione.gov.it/soggetti/politecnico-di-milano-80057930150

Che ne dicono i giuristi?

[Alberto Cottica]

- la licenza open non mi sembra essere citata su opencoesione, ma solo sull'altro sito da cui si scaricano i dati

È citata nelle FAQ: http://www.opencoesione.gov.it/faq/ 

[Simone Cortesi]

2012/7/17 Alberto Cottica <alb...@cottica.net>:

>>
>> - la licenza open non mi sembra essere citata su opencoesione, ma solo
>> sull'altro sito da cui si scaricano i dati
>
> È citata nelle FAQ: http://www.opencoesione.gov.it/faq/

OpenStreetMap è usato nelle fonti dati, ma non viene citato
minimamente da nessuna parte.

--
-S

[Alberto]

Buon punto, Simone.

[Andrea Nelson Mauro]

si vede che c'è un gran lavoro dietro, e sicuramente sembra un oggetto molto ambizioso. Complimenti

vedo alcuni (superabilissimi) limiti strutturali sulla questione del riutilizzo dei dati (per esempio sulla possibilità di scaricamento per singolo dataset).

mi chiedo: l'obiettivo è costruire uno strumento che renda facilmente comprensibili le politiche e i fondi per la coesione oppure rilasciare i dati affinché vengano realizzati? direi che per il momento hanno fatto meglio la prima cosa, che la seconda. Anche se basterebbe fare un dati.opencoesione.it

molto buona la costruzione di un percorso di navigazione interna geografica con la segmentazione a livello comunale (il che fa ulteriormente capire quando grande sia stato il lavoro che c'è alle spalle).

Lo strumento di ricerca è già ben funzionale

Voto: Buono
(p.s.: condivido i rilievi di Irene e Simone)

[Alessio 'Blaster' Biancalana]

Vorrei anch'io che fosse messo più in rilievo OpenStreetMap come source delle mappe, ma per ora va bene così (versione 0.0.x, no? :P). In primo luogo, facendo lo stolto che guarda al dito e non alla luna, mi interesserebbe capire che CMS è, se è disponibile altrove, altri casi d'uso, o se è stato sviluppato ad-hoc; a parte la gestione del frontend, non mi piace molto l'aspetto dei grafici, fa un po' 2004.

Andando sui dati, condivido la preoccupazione di Andrea: la webapp mostra molto bene le politiche intraprese mettendo alla luce tutti i dati e molti numeri interessanti, sarebbe ancora meglio se venisse attivata una API per gli sviluppatori affinché vengano utilizzati i "raw data" che ci sono dietro.

Concludendo quindi mi piace, ma offre ulteriori spunti che non è possibile, soprattutto nei confronti di persone attente al dato come noi, lasciare appesi ed ignorati.

Ale 

[Alessio 'Blaster' Biancalana]

Piccolo dato tecnico in coda alle impressioni: il sito è raggiungibile solo tramite www.

Speriamo che il problema veda un fix tempestivo, per uno come me che ha un background da sistemista questa cosa è da zero spaccato. :P

Ale

[Simone Cortesi]

2012/7/17 Alessio 'Blaster' Biancalana <dottor...@gmail.com>:

> Piccolo dato tecnico in coda alle impressioni: il sito è raggiungibile solo
> tramite www.
> Speriamo che il problema veda un fix tempestivo, per uno come me che ha un
> background da sistemista questa cosa è da zero spaccato. :P

+1000 !

--
-S

[Paolo Mainardi]

Allora, per quanto mi riguarda è davvero un ottimo risultato, a livello tecnologico ci siamo, bootstrap,  leaflet per le mappe e grafici in svg, quindi porte aperte al mobile e sopratutto all'interoperabilità.

Unica pecca al momento è una pagina credits che dia il giusto riconoscimento ai progetti open, chiaramente dettagli in più su cosa hanno usato come CMS sarebbe figo, ma non davvero importante per lo scopo del progetto. Discorso diverso per i dati, quoto in pieno Alessio, le mappe sono belle, ma se non possiamo usarle (WMS, WFS) sono abbastanza inutili.

@Alessio io accedo correttamente anche senza www

2012/7/17 Alessio 'Blaster' Biancalana <dottor...@gmail.com>

Vorrei anch'io che fosse messo più in rilievo OpenStreetMap come source delle mappe, ma per ora va bene così (versione 0.0.x, no? :P). In primo luogo, facendo lo stolto che guarda al dito e non alla luna, mi interesserebbe capire che CMS è, se è disponibile altrove, altri casi d'uso, o se è stato sviluppato ad-hoc; a parte la gestione del frontend, non mi piace molto l'aspetto dei grafici, fa un po' 2004.

--
Paolo Mainardi

CTO Twinbit
ILDN: http://www.ildn.net
Blog: http://www.paolomainardi.com

-- Please consider the environment before printing this email --

[Silvio Traversaro]

Ho qualche dubbio sui dati, alla conferenza stampa di mezzogiorno il
ministro spiegava come in alcuni casi il beneficiario dell'intervento,
per categorie svantaggiate, (giustamente) non fosse pubblico, e fosse
sostituito dalla dicitura *individuo*.
Cercando questo tipo di progetti, se ne trovano parecchi anche molto
consistenti (sopra i 500 mila euro!) che mi sembra improbabile siano
aiuti individuali:
http://opencoesione.gov.it/progetti/?q=*individuo*&selected_facets=costo:[500001%20TO%20*]

[Irene Celino]

ah sì ecco l'altro commento che mi ero dimenticata: ok rendere anonimi gli individui ma almeno non dare loro lo stesso identificativo cosicchè *individuo* diventi il maggior beneficiario dei fondi d'italia...

[Alessio 'Blaster' Biancalana]

Per questo basterebbe escludere "Individuo" dalla classifica, tanto utilizzata in questo modo è una voce che ai fini computazionali non è più rilevante.

@Paolo: ecco, io e anche altri mi sembra di capire, no. DNS? Attendiamo :-)

[Maurizio Napolitano]

> vedo alcuni (superabilissimi) limiti strutturali sulla questione del
> riutilizzo dei dati (per esempio sulla possibilità di scaricamento per
> singolo dataset).

???
http://opencoesione.gov.it/open-data/ => porta ai sorgenti dei dataset




--
Maurizio "Napo" Napolitano
http://de.straba.us

[Maurizio Napolitano]

> - la licenza open non mi sembra essere citata su opencoesione, ma solo sull'altro sito da cui si scaricano i dati

e' scritto nelle FAQ che e' poi il link riportato nella descrizione
del progetto in alto a destra

> - altre cosine di dettaglio, più che altro per possibili miglioramenti:
> -- per finanziamenti a gruppi di partner, si vede il finanziamento globale e non quello per partner; pazienza di per sè, peccato che l'intero ammontare sia "associato" a ciascuno dei partner nel computo dei finanziamenti totali di un soggetto
> -- i filtri non funzionano benissimo (togliere uno dei filtri su "range" fa sparire il filtro territoriale)
> -- c'è un sicuro problema di encoding delle stringhe per tutti i caratteri accentati
> -- alcuni progetti non sono stati inseriti correttamente perchè il server restituisce un errore 500

Penso che il problema piu' grosso a monte sia stato quello di uniformare i dati.
Secondo me la scelta di una licenza "SA" e' l'invito a migliorare il dataset.

[Maurizio Napolitano]

2012/7/17 Alessio 'Blaster' Biancalana <dottor...@gmail.com>:

> Vorrei anch'io che fosse messo più in rilievo OpenStreetMap come source
> delle mappe,

come gia' detto vengono presentati i confini ISTAT e i confini marittimi.
OpenStreetMap non c'e'.
Sicuramente vanno riportate le fonti.

> ma per ora va bene così (versione 0.0.x, no? :P). In primo
> luogo, facendo lo stolto che guarda al dito e non alla luna, mi
> interesserebbe capire che CMS è,

e' un lavoro ad hoc, si vede e spero che verranno rilasciati i sorgenti :)

[Alessio 'Blaster' Biancalana]

Il giorno 17 luglio 2012 18:50, Maurizio Napolitano <napo...@gmail.com> ha scritto:

> vedo alcuni (superabilissimi) limiti strutturali sulla questione del
> riutilizzo dei dati (per esempio sulla possibilità di scaricamento per
> singolo dataset).

???
http://opencoesione.gov.it/open-data/ => porta ai sorgenti dei dataset

Esattamente. Però porta a http://www.dps.tesoro.it/opencoesione/dati_attuazione.asp che permette di scaricare solo zipponi da trenta mega :P Sarebbe carino permettere il riuso dei dati attraverso una API.

Che poi siano presenti all'interno della API pubblica metodi di submit o solo di get è un altro discorso; anche se è scritto nei traguardi che il progetto della webapp si pone di rendere i dataset sfogliabili, sicuramente manca un lavoro "lato sviluppatore" per chi poi volesse interagire direttamente col dato in maniera dinamica.

[Maurizio Napolitano]

Concordo con il tuo punto di vista, evidentemente abbiamo dato una
interpretazione diversa al concetto di "dataset"
In ogni caso, visto lo spirito dell'iniziativa, penso che le API
saranno rese pubbliche

2012/7/17 Alessio 'Blaster' Biancalana <dottor...@gmail.com>:
>
>

[Andrea Nelson Mauro]

sì dunque si tratta di un'applicazione web che utilizza alcuni grandi dataset: non avevo capito questo passaggio :)

[Andrea Nelson Mauro]

piccola, umile, ma tanto incoraggiante segnalazione: 5 minuti fa su La7 nella trasmissione InOnda è stato citato il progetto OpenCoesione (purtroppo non l'url) e Sergio Rizzo ammetteva di essere rimasto un po' disorientato scaricando i dataset vista la mole di informazioni.

[Alessio 'Blaster' Biancalana]

Vedi? :P

È inutile, i dataset devo sempre essere disponibili per un utilizzo capillare. Va bene che il goal è quasi diverso, ma il riutilizzo del dato in informatica è qualcosa di sacrosanto :)

[Andrea Nelson Mauro]

e lo so, ma lo dicevo anch'io
Napo vs Sergio Rizzo    :DDDD

[Paola Casavola]

Cari tutti spaghetti people , 

pur essendo un po' parte in causa  e un po' no (perché non ho meriti propri/diretti nel lavoro fatto per liberare progressivamente questi dati...ma lavoro in quel contesto adesso e ho partecipato a richiesta nel merito del lavoro preparatorio)... qualunque osservazione e critica anche feroce e proposte di soluzione e proposta di altro ... è UNA BUONISSIMA COSA. Siamo in più d'uno - tra quelli direttamente coinvolti in questa iniziativa a vario titolo - da tanto tempo su questa mailing list.

C'è forse qualche merito da portare a casa nell'iniziativa specifica ... insieme a tanti evidenti difetti, ma a me sembra ugualmente  importante ( e forse quasi di più)  che ci sia "attiva" una comunità di osservazione e collaudo diretto che segnala, critica, e chiede e propone. La richiesta esplicita e la crirtica eplicita è importante, perché aprire questi dati è costoso per l'amministrazione (ci vuole molto lavoro dedicato e, di questi tempi difficli,... vuol dire farne una priorità rispetto a usi alternativi di persone e risorse) e quindi il feed-back (di questo tipo  edi altro tipo) è vitale perché l'iniziativa possa continuare e (sperabilmente) progredire.

Paola

[Alberto]

Irene, hai ragione. Non mi basta nemmeno escludere "Individuo" dalle classifiche, come propone Alessio: si perde l'informazione relativa a quanti sono i destinatari singoli anonimizzati, quant'è il taglio medio dei finanziamenti che prendono, dove sono etc. Al MISE sono bravi in statistica, e questa cosa la capiscono di sicuro. Il problema si risolve con un programmino che sostituisce ogni beneficiario da rendere anonimo con una stringa randomizzata (tipo DOFBAIU8673JD) che però identifica quel beneficiario lì in modo unico, cioè se il beneficiario prende due progetti figura due volte con la stessa stringa. 

[morena ragone]

Meglio cc-by, o, proprio al massimo, IODL 2.0: mi piacerebbe che ci fosse un'unica licenza per la PA - salvo necessità particolari motivabili - meglio se internazionale e comprensibile ovunque a tutti.

Il sito è davvero ben fatto, ho simulato con i progetti che sego in regione, ci sono tutti, i dati sono completi, aggiornati, coerenti e facilmente ricercabili.

Ottimo lavoro.

Morena

P.S. mi fanno notare che non ci sono metadata?

[Alberto]

Allora:

• voto mediamente alto: bei dati, bell'operazione, profilo alto

• bootstrap,  leaflet per le mappe e grafici in svg, quindi porte aperte al mobile e sopratutto all'interoperabilità
  

PROBLEMI DA RISOLVERE SUBITO

• dare credito a OpenStreetMap

• i dati sono open e scaricabili, ma solo in "blocco"; visto lo sforzo per il sistema di browsing sarebbe stato bello abilitare il download del singolo insieme di dati o del risultato di una ricerca

• le licenze SA sono deprecate da molti giuristi. Meglio CC-BY (IODL 2.0 non permetterebbe l'interoperabilità con i dati di qualche altro paese dell'UE che facesse la stessa operazione)

POSSIBILI MIGLIORAMENTI

• mettere API! Che sono poi la cosa che fa svoltare il tutto

• per finanziamenti a gruppi di partner, si vede il finanziamento globale e non quello per partner; pazienza di per sè, peccato che l'intero ammontare sia "associato" a ciascuno dei partner nel computo dei finanziamenti totali di un soggetto

• rivedere la procedura di anonimizzazione in modo da non perdersi l'informazione relativa ai diversi "individuo"

• i filtri non funzionano benissimo (togliere uno dei filtri su "range" fa sparire il filtro territoriale)

• c'è un sicuro problema di encoding delle stringhe per tutti i caratteri accentati

• alcuni progetti non sono stati inseriti correttamente perchè il server restituisce un errore 500
  

Ma soprattutto: quante stelline vogliamo certificare (con la prestigiosa Spaghetti Open Certificazione, mica patate)?

Io intanto ho scritto a Riccardo Luna, che mi ha risposto testualmente "Magari! Anche subito" Quindi scrivete quello che avete da scrivere ASAP, che battiamo il ferro finché è caldo!

[Andrea Nelson Mauro]

4 stelline (su 5)

[Alessio 'Blaster' Biancalana]

Il giorno 17 luglio 2012 22:54, Alberto <alberto...@gmail.com> ha scritto:

Irene, hai ragione. Non mi basta nemmeno escludere "Individuo" dalle classifiche, come propone Alessio: si perde l'informazione relativa a quanti sono i destinatari singoli anonimizzati, quant'è il taglio medio dei finanziamenti che prendono, dove sono etc. Al MISE sono bravi in statistica, e questa cosa la capiscono di sicuro. Il problema si risolve con un programmino che sostituisce ogni beneficiario da rendere anonimo con una stringa randomizzata (tipo DOFBAIU8673JD) che però identifica quel beneficiario lì in modo unico, cioè se il beneficiario prende due progetti figura due volte con la stessa stringa. 

Hai effettivamente ragione, non ho proposto un metodo ingegneristico ma una zozzata :P

Non è male il tuo metodo, effettivamente può anche andare (anche se poi da frontend andrebbe bene una soluzione di design, mostrare delle stringhe codice-fiscale-like è un po' bruttarello).

@Morena sono iniziative quasi pionieristiche, bisognerebbe vedere di illustrare una best practice. Sicuramente verrebbe dichiarato uno standard de facto. :)

[Alessio 'Blaster' Biancalana]

Concordo le 4 stelline.

2012/7/17 Andrea Nelson Mauro <andrea.ne...@gmail.com>

4 stelline (su 5)

[Alberto]

Segnalerei anche gli spaghettari che hanno partecipato al collaudo: Alessio, Andrea, Simone, Morena, Napo, Irene, Paolo, Silvio... ed eventualmente altri che volessero buttarsi. 

Tengo aperto il post fino a domani ora pranzo, poi pubblico. Buonanotte, e intanto grazie a chi ha partecipato!

[Andrea Nelson Mauro]

alberto: magari è un po' uno sbatti, ma non sarebbe meglio mettere l'account twitter anche perché tracciabile?

te ne metto alcuni, gli altri interessati magari possono aggiungere quelli che mancano
p.s.: grazie a te, bravo a cogliere il wikiattimo

@nelsonmau
@napo
@morenaragone


ciao

[Alessio 'Blaster' Biancalana]

Grazie a te! :)

Io personalmente vorrei raccomandare ancora una volta il deploy di delle API pubbliche.

Twitter → @dottorblaster

Concordo con Andrea ;)

[Alberto]

Benissimo per gli account Twitter, scriveteli qui! 

Alessio, le API le ho messe al primo punto dei miglioramenti. Secondo te vanno upgradate a "problemi da risolvere subito"?

[Alessio 'Blaster' Biancalana]

Secondo me no, perché non è a tutti gli effetti un *problema* che deve essere risolto.

Si dai, teniamole al primo punto dei miglioramenti, diciamo che secondo il mio punto di vista è più un "miglioramento urgente" ;)

[Roldano Malvestiti]

Mi intrufolo nella review come neo spaghettaro: il sito mi sembra molto ben fatto e merita sicuramente le 4 stelline. L'ho inoltre navigato da tablet senza problemi. Apprezzabile da tecnico la esplicita menzione di tutto lo stack SW usato e il fatto che sia stato usato tutto sw open source.

Aggiungerei che:

- nella vista elenco progetti non si capisce il criterio di sorting e sarebbe auspicabile la possibilita' di sortare sulle colonne per esempio per importo finanziamento o nel caso di filtro su ruolo per numero di progetti

- nella stessa vista il bottone progetti nella toolbar non funziona

- ci sono nelle faqs un paio di broken links sulle sorgenti dati

...piccole cose comunque.

Roldano

Ps. Osservo che openstreetmap e' citato nelle FAQs come fornitore background mappe con tanto di link.

[Maurizio Napolitano]

> PROBLEMI DA RISOLVERE SUBITO
>
> dare credito a OpenStreetMap

Non ci siamo capiti: i dati NON sono quelli di OpenStreetMap
Sono stati usati 4 layer;
- confini del mondo
- confini marittimi
- dati istat delle regioni
- dati istat delle province
- dati istat dei comuni

> le licenze SA sono deprecate da molti giuristi. Meglio CC-BY (IODL 2.0 non
> permetterebbe l'interoperabilità con i dati di qualche altro paese dell'UE
> che facesse la stessa operazione)

Concordo, ma invece che chiedere di cambiare la licenza, chiedere
prima perche' e' stata usata quella.

> POSSIBILI MIGLIORAMENTI
>
> mettere API!

Premesso che concordo, sia chiaro pero' che questo rientra nel
concetto di openservice.

[Alberto]

Roldano, ottimo! (ma il link a OSM l'hanno aggiunto adesso?)

Vuoi segnalarci il tuo account Twitter?

Meglio ancora: c'è un Twitteratore che fa una lista con tutti i nostri account? Il mio è @alberto_cottica

[Paolo Mainardi]

@paolomainardi :)

Paolo Mainardi

CTO Twinbit

http://www.paolomainardi.com

{mobile email}

[Alberto]

Sentite, siete sicuri per le 4 stelline? Secondo me non ci sono le URI. Io dico 3. Per le 4, guardate qui: http://lab.linkeddata.deri.ie/2010/star-scheme-by-example/gtd-4.html

[Maurizio Napolitano]

2012/7/17 Andrea Nelson Mauro <andrea.ne...@gmail.com>:

> e lo so, ma lo dicevo anch'io
> Napo vs Sergio Rizzo :DDDD
>

Boh ... questa me la spieghi.
Io non ho detto che sono contrario alla questione.
Penso solo che il dataset e' quello e non sue frazioni
che invece sono il risultato delle query al database.
Suppongo che dietro al sito ci sia una bella tabellona che non e'
altro che il dataset che scarichi.
Quantomeno il concetto di dataset e' quello li'
http://it.wikipedia.org/wiki/Dataset

Per il resto un qualsiasi sviluppatore, sulla base di quei dataset, puo'
mettere in piedi delle API di interrogazione.
Questo e' il vantaggio di avere open data.

Se, per assurdo, opencoesione mettere fuori le API ma il server ha
problemi di performance, chiunque si puo' rimplementare la cosa
come meglio pensa e su altra macchina.

Concordo poi che, visto che per il progetto e' stata fatta una infografica
interattiva, ci sia anche una la via di mezzo delle API pubbliche.

[Alberto]

Post scritto e salvato in bozza, con tutti quelli che hanno partecipato a questa discussione citati e gli account Twitter dove segnalati. Vado a dormire. Aggiungete ciò che volete, doman a fine mattinata chiudiamo. Grazie a tutti!

[Andrea Nelson Mauro]

Beh dipende se dai il voto solo in chiave open data oppure ci metti dentro anche il discorso usabilità dell'uomo della strada. Voglio dire: magari le stelle potevano anche essere 5 berners lee ma senza la parte interattiva. Qui i lavoro fatti sono due: open data + dataviz. Aspetta magari domani sera per chiudere il post così arriva qualche altra opinione.

[Maurizio Napolitano]

> Ps. Osservo che openstreetmap e' citato nelle FAQs come fornitore background mappe con tanto di link.

Ho riguardato:
la parte di mappe non fa chiamate ai server di openstreetmap
Tutti i rendering sono fatti "in casa".
Evidentemente i dati dei boundary del mondo e dei confini marittimi
sono stati presi da OpenStreetMap, ma sono anche due dataset
abbastanza facili da reperire.
(es. naturalearthdata, diva-gis, gadm ...)
Vista pero' la citazione suppongo siano stati presi da qui
http://tile.openstreetmap.org/world_boundaries-spherical.tgz # (50 MB)
http://tile.openstreetmap.org/processed_p.tar.bz2 # (357 MB)
http://tile.openstreetmap.org/shoreline_300.tar.bz2 # (46 MB)

[Simone Cortesi]

io sono @simonecortesi

2012/7/18 Alberto <alberto...@gmail.com>:

--
-S

[Alessio 'Blaster' Biancalana]

Il giorno 18 luglio 2012 00:36, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

Beh dipende se dai il voto solo in chiave open data oppure ci metti dentro anche il discorso usabilità dell'uomo della strada. Voglio dire: magari le stelle potevano anche essere 5 berners lee ma senza la parte interattiva. Qui i lavoro fatti sono due: open data + dataviz.

Giudicando il contesto in generale forse propendo anch'io per le 3 stelle, però va detto che il backend a parte qualche errore è ben fatto, solo "molto migliorabile" da certi punti di vista ;)

[Simone Cortesi]

2012/7/18 Maurizio Napolitano <napo...@gmail.com>:

>> PROBLEMI DA RISOLVERE SUBITO
>>
>> dare credito a OpenStreetMap
>
> Non ci siamo capiti: i dati NON sono quelli di OpenStreetMap
> Sono stati usati 4 layer;
> - confini del mondo
> - confini marittimi
> - dati istat delle regioni
> - dati istat delle province
> - dati istat dei comuni

napo, riconosco sempre i dati osm quando li vedo...felice di averti
smentito questa volta :)

--
-S

[Maurizio Napolitano]

2012/7/18 Simone Cortesi <sim...@cortesi.com>:

yep :)
ma solo i primi due ... eheheh
A parte che ... ormai i dati istat sono entrati in osm.

[Simone Cortesi]

2012/7/18 Maurizio Napolitano <napo...@gmail.com>:

Lasciami la soddisfazione. Dopotutto il primo dataset ISTAT l'ho
liberato io ormai 5 anni fa. Quando in italia nessuno parlava ancora
di opendata.

--
-S

[morena ragone]

Simona De Luca ha detto ieri che la licenza è stata scelta per diffondere la cultura del dato tra le PA,non so se per voi sia sufficiente, io insisto sul fatto che sul dato questa licenza non è 'virale' come qualcuno la definisce.

Quando all'osservazione di Rizzo di ieri, l'ho trovata un po` contraddittoria: prima si è lamentato per i troppi dati (??), poi ha auspicato una norma che imponga alle amministrazioni di rilasciare in formato open i dati di sovvenzioni, finanziamenti, consulenze, etc.. evidentemente dimenticando l'articolo 18 del decreto sviluppo.
Buona giornata a tutti!
Morena

[Andrea Nelson Mauro]

@napo: scherzavo su Rizzo vs Napo ;) Diremo a Guido Romeo di invitare
rizzo e stella ad hacks hackers milano

@alberto: hai ragione, forse è più corretto dare tre stelline,
altrimenti usciamo un po' dalle regole.
poi pensavo che provare a fare una roba così a livello europeo non
sarebbe male... magari dopo l'estate.. non so una specie di
wikiosservatorio open data (ma magari è infattibile, boh!)

@morena: se il movimento open data riesce a fare breccia negli old
media, sarà la più grande rivoluzione del giornalismo italiano mai
avvenuta. Considera, per dirne una, che Rizzo e Stella del Corriere mi
pare non abbiamo un profilo tw. Ma poi scusa, secondo te è normale
parlare in tv di un sito internet e non dare l'indirizzo? :) Purtroppo
ancora va così!

[Francesca Sensini]

volevo solo fare i complimenti a tutti quelli che ci hanno lavorato, trovo che sia il primo portale con una ontologia ben strutturata anche per niubbi, il che pone a favore del progetto a prescindere dalle qualità tecniche e stelline, per le quali rimando ai vostri giudizi.

Ieri sera Rizzo citava l'esempio di wheremymonwygoes (chiamandolo in altro modo, ma va bene lo stesso) che ha una semplice stringa di ricerca nome/cap in home page.

In effetti auspico che tutti i portali che nascono da qui in avanti siano strutturati allo stesso modo (vedere anche la beta di gov.uk ottimo lavoro per i servizionline della PA) per renderli accessibili anche ai cittadini che di OD non sanno nulla. La mole di dati che escono fuori devono essere intelliggibili per tutti, e spero che questo sia il prossimo step dell'OD italiano.

:)

--
Francesca Sensini

skype: kika67it

twitter: @FraSens

[ilmistra]

C'entra poco con il giudizio sul servizio, del quale saluto principalmente il fatto che ci sia.

Piuttosto mi interessa la sostanza dei dati. Concordo sulla questione "individuo", ma al di la del sapere tizio quanto ha ricevuto mi piacerebbe capire per quale lavoro lo ha ricevuto. Alcuni titoli dei finanziamenti sono sufficientemente esaustivi, altri per nulla. E se tra le tante clausole per ricevere un finanziamento ci mettessimo anche l'obbligo di comunicare una pagina web con informazioni più esaustive sullo stesso progetto, sulla composizione dei costi, sugli stati di avanzamento del lavoro, sui soggetti coinvolti. Per arrivare non tra un secolo a definire anche degli indicatori con cui questi dati si possano confrontare. Questa cosa delle siringa che a Napoli costa il doppio che a Milano non fa più notizia..

E forse un appunto sul nome dei servizio...d'accordo che il ministero è quello, ma questi sono soldi, mica il bosone di Higgs. Openspesa, openfinanziamento. Opendanéé vista la compagine di governo bocconian meneghina.

[Matteo Brunati]

Il 18/07/12 00:23, Alberto ha scritto:

Sentite, siete sicuri per le 4 stelline? Secondo me non ci sono le URI. Io dico 3. Per le 4, guardate qui: http://lab.linkeddata.deri.ie/2010/star-scheme-by-example/gtd-4.html

ehm mi aggiungo al volo dopo l'ottima discussione, ragazzi quante mail :) ( interesting .) )

"SOD certified" potrebbe avere il suo livello di giudizio, che è un conto.
Tipo valutare l'insieme:
- ascolto della comunità sul lavoro svolto
- apertura dei dati e loro adesione agli standard 5-stars linked data
- usabilità dell'interfaccia proposta
- trovabilità dei dati
- fattore di innovazione ( quei dati c'erano prima, sono stati solo aggregati o cose simili )
- integrazione con altre fonti
- engagement nativo previsto o meno by design da parte della comunità ( integrazione sul singolo dataset a livello di UI con i social per dirne una )

Altro discorso sarebbe come accenna Alberto, parlare delle 5 stelline del lod, ed allora in questo caso non ci sono dubbi: i dati sono al livello 3 in massima parte ( considerando xls un formato aperto, in un certo senso tirando la corda, niente URI e rdf o simili )

Altra faccenda introdurre ufficialmente un elemento che Alberto conosce bene:

Open Data Engagement

http://www.opendataimpacts.net/engagement/

O veicolare un trittico come valutazione SOD: così improntiamo una cosa notevole .)
Cmq sia, gran lavoro su opencoesione, davvero!

 Matt
 @dagoneye

[Michele d'Alena]

1. davvero entusiasmante questo dibattito/analisi
2. da professionista e cittadino immagino gli sforzi e son troppo felice per questa apertura
   
3. ok per 3 stelle ma se opencoesione segue le proposte SOD, cioè se ascoltano le comunità e supportano conversazioni attorno ai dati, potrebbero arrivare a 4.
   
4. il messaggio che arriva da questa comunity è: non siete soli!

Michele

--

skype:micheledalena
http://www.micheledalena.it

[Irene Celino]

chiedevo anche meno di questo... se si vuole rendere la cosa effettivamente anonima (e quindi non riuscire a capire chi è l'individuo a partire dai finanziamenti che si è preso), basterebbe una stringa random per ciascun finanziamento, indipendentemente dal fatto che sia sempre lo stesso individuo o meno. così non si riesce (come ora) a capire chi è l'individuo e non si viola il suo diritto (che immagino esista) di non essere riconosciuto.

Il giorno 17 luglio 2012 22:54, Alberto <alberto...@gmail.com> ha scritto:

Irene, hai ragione. Non mi basta nemmeno escludere "Individuo" dalle classifiche, come propone Alessio: si perde l'informazione relativa a quanti sono i destinatari singoli anonimizzati, quant'è il taglio medio dei finanziamenti che prendono, dove sono etc. Al MISE sono bravi in statistica, e questa cosa la capiscono di sicuro. Il problema si risolve con un programmino che sostituisce ogni beneficiario da rendere anonimo con una stringa randomizzata (tipo DOFBAIU8673JD) che però identifica quel beneficiario lì in modo unico, cioè se il beneficiario prende due progetti figura due volte con la stessa stringa. 

On Tuesday, July 17, 2012 6:40:19 PM UTC+2, Irene Celino (iricelino) wrote:

ah sì ecco l'altro commento che mi ero dimenticata: ok rendere anonimi gli individui ma almeno non dare loro lo stesso identificativo cosicchè *individuo* diventi il maggior beneficiario dei fondi d'italia...

--

    " If you understand what you're doing,
           you're not learning anything. "

[Alberto]

Matteo, ma tu quante stelle daresti sull'engagement? E gli altri?

[Irene Celino]

in effetti le stelline dei linked data sono un'altra cosa... credo che tutti i nostri commenti siano stati dati con un'altra ottica, l'ottica di SOD!
così, a pancia, anche io darei 4 stelle; forse, per tenerli un po' più sulla corda e convincerli a mettere le API però gliene darei 3... :-P
@iricelino

Il giorno 18 luglio 2012 08:01, Matteo Brunati <ma...@blog.dagoneye.it> ha scritto:

[francesca Esse]

Scusate ma forse mi sono persa un pezzo di discussione...anonimizzare gli individui che prendono finanziamenti ha un valore simbolico o è prescritto per legge? Perché sulle pagine trasparenza e sulle graduatorie dei bandi dei siti ististuzionali ci sono sempre nome e cognome, risalire a questo Mr. *Individuo* è comunque molto facile...(e l'art.18 del decreto sviluppo specifica comunque di mettere nome e cognome per i pagamenti in formato OD)

(chiedo venia se questa cosa è già stata sollevata e risolta, scorrendo i tantissimi messaggi non mi pare di averla letta) 

[Alberto]

Questo però non basta a me. Spappola le analisi statistiche. ;-) 

Con la randomizzazione della stringa la privacy del beneficiario è protetta, ma i cittadini hanno informazioni complete sulla distribuzione dei dati che interessano soggetti di categorie svantaggiate. 

[Maurizio Napolitano]

2012/7/18 Irene Celino <irene....@gmail.com>:

> in effetti le stelline dei linked data sono un'altra cosa... credo che tutti
> i nostri commenti siano stati dati con un'altra ottica, l'ottica di SOD!

Infatti ... invece che le stelline degli open linked data, di cui le
prime 3 hanno
a che fare con il senso civico e le ultime due con la tecnologia, perche' non
diamo le medaglie SOD?
- medaglia di cartone
"Mi duole ragazz* ma il concetto di open data e' proprio confuso,
apprezziamo comunque lo sforzo"
- medaglia di stagno
"Se invece che quel pdf mi mettessi un qualcosa di piu' masticabile
sarebbe meglio"
- medaglia di bronzo
"Oh! Ora ci siamo: i dati sono in un formato aperto, ci hai messo la licenza"
- medaglia d'argento
"WOW! E ci hai messo anche i metadati!"
- medaglia d'oro
"Fichissimo! Oltre a dati e metadati ci hai messo anche il software di
interrogazione e di visualizzazione"
- medaglia di platino
"... e ci hai messo anche le API per costruire servizi! WOW"

C'e' da dire che le ultime due hanno piu' a vedere con i concetti di
data visualization
e open service

Che ne dite?
Altrimenti, con queste stelline, finisce sempre che c'e' confusione

PS:
lo so, ho messo un grado in piu', ma siamo qui per discutere :)

[Alberto]

Secondo me sono tre scarse. 

Due piene, perché il contesto sui dati è chiaro. La checklist per le tre è quasi completa, manca il supporto per la conversazione strutturata attorno ai dati. Propongo di dare tre stelline per simpatia e fare una proposta di attenzione e stimolo alla conversazione, facendo riferimento al sito di Firenze e magari buttando lì che potrebbe essere una buona idea fare un hackathon.

I criteri di classificazione sono qui.

[mimmo pennone]

Non sono bravo come voi ma da quello che ho visto e soprattutto dalle
vostre verifiche direi che 4 stellette se le meritano. Il progetto
apre ottime prospettive anche se la mia osservazione riguarda un
aspetto che ritengo fondamentale. Per avere successo l'OPENDATA deve
essere sentito dal basso, da dentro le singole amministrazioni (quante
regioni conoscono i dati pubblicati?).
Forse gli sforzi maggiori andrebbero fatti adesso per portare le tesi e le
tecniche in tutti gli enti in possesso di dati. Su questo penso che
molti di voi potrebbero svolgere una importante funzione di
Formazione. Per parte mia lavorerò per questa prospettiva.
Mimmo Pennone

Il 18/07/12, Alberto<alberto...@gmail.com> ha scritto:

--
domenico mimmo pennone
Journalist-WebContetManager
mpen...@gmail.com
IM: mim...@hotmail.com (MSN)
http://www.linkedin.com/in/mpennone

mobile: +39 3293605611
fax: +39 0812143656

[Maurizio Napolitano]

2012/7/18 morena ragone <mm.r...@gmail.com>:

> Simona De Luca ha detto ieri che la licenza è stata scelta per diffondere la cultura del dato tra le PA,non so se per voi sia sufficiente, io insisto sul fatto che sul dato questa licenza non è 'virale' come qualcuno la definisce.

Concordo con te che e' una boiata.
Tra l'altro sappiamo tutti del limite del diritto sui generis delle
creative commons
(almeno fino a quella versione) ... anche se, visto che i dati hanno
subito un "filtro
ragionato" forse si esce dalla gabola.
In ogni caso mi sarei aspettato un qualcosa di diverso, del tipo
"Dato che sappiamo che questi dati sono interessanti e che possono essere
migliorati abbiamo chiesto di avere il vincolo di restituire modifiche
in modo da
cercare di favorire l'aspetto collaborativo dell'iniziativa"

Per fare un esempio: la questione "individuo vs matricola casuale" sollevata in
questa ML puo' essere un ottimo feedback per migliorare i dati, se poi qualcuno
lo implementa e rilascia il dataset, si trova obbligato a ricondividere questa
modifica.

In generale sono molto scettico sull'uso dello "share a like" sui
dati, ritengo che
- quando usato - va ben motivato.
Come nel caso di OpenStreetMap dove il fine e' difendere comunita' e database.

> Quando all'osservazione di Rizzo di ieri, l'ho trovata un po` contraddittoria: prima si è lamentato per i troppi dati (??), poi ha auspicato una norma che imponga alle amministrazioni di rilasciare in formato open i dati di sovvenzioni, finanziamenti, consulenze, etc.. evidentemente dimenticando l'articolo 18 del decreto sviluppo.

+ 1

[Piero Luisi]

Sottoscrivo quanto segnalato da Matteo: il ranking sull'open engagement, ovvero sulla capacità degli open data di incidere sul processo decisionale dell'attuale sistema democratico rappresentativo, dovrebbe integrarsi/affiancare quello più tecnologico.
In questo senso, misurare il grado di open engagement (open gov? wikicrazia?) sulla capacità di costruire comunità/networking, mi sembra un pò riduttivo...

Riusciamo ad alzare il livello, decidendo - ad esempio - che l'open engagement (...) è misurato al massimo livello se gli OD è parte integrante degli statuti/regolamanti degli Enti Locali riguardo i Diritti di partecipazione ed informazione del cittadino?

grazie

[Alessio 'Blaster' Biancalana]

D'accordo sull'hackaton.

Secondo me va valutato anche il goal di mostare più che di fare community building e deploy di API - per quanto si possa dare effettivamente una bacchettata sulle mani dato che nella mia mente il developer in un certo senso (insieme ai raw data) viene prima del cittadino "normale".

Tre stelle - non per simpatia - ci stanno, sicuramente però la situazione è migliorabile e soprattutto dovrà essere ascoltata la community prima di tutto.

Ale

[Alberto]

Grazie a tutti, gran lavoro. Siccome prima o poi dovrei anche lavorare, adesso vi copincollo qui il mio post su CheFuturo, vi lascio un ultimo giro di commenti e poi chiudo e pubblico.

============== INIZIO POST ========================

Ieri il Ministro per la coesione territoriale Fabrizio Barca ha presentato OpenCoesione, un portale di dati sui progetti di coesione territoriale finanziati dallo Stato e dalle Regioni dal 2007 al 2011. I dati sono pubblicati in formato aperto: non solo consultabili dal web, ma scaricabili e riutilizzabili in modo facile e legale. Il senso dell'operazione è fare trasparenza. Come si legge in home page:

I dati sono pubblicati perché i cittadini possano valutare se i progetti corrispondono ai loro bisogni e se le risorse vengono impegnate in modo efficace.

I numeri coinvolti sono importanti: quasi mezzo milione di progetti per un totale di trentatrè miliardi di euro, pagati a trentacinquemila soggetti. Ma il sito funziona davvero? La trasparenza è reale o solo sbandierata?

Mentre a Roma si svolgeva la conferenza stampa di presentazione, molti esponenti della piccola ma agguerrita comunità italiana dei dati aperti si sono sbizzarriti a collaudare OpenCoesione in tempo reale. Ne è nata una bella discussione su Spaghetti Open Data, la mailing list di cui ho già avuto occasione di parlare su Chefuturo. In poche ore sono stati postati oltre trenta quaranta cinquanta sessanta messaggi da una decina ventina di autori diversi, e vari aspetti di OpenCoesione sono stati testati in tempo reale. Se siete appassionati di dati aperti, vale la pena di leggersi tutta la discussione: la trovate qui. Tento un piccolo riassunto non tecnico:

• voto decisamente buono: bei dati, bell'operazione, profilo alto.
• buona l'infrastruttura tecnologica, che lascia le porte aperte al mobile e sopratutto all'interoperabilità.
• apprezzabile la esplicita menzione di tutto lo stack software usato e il fatto che sia stato usato software open source (nelle FAQ).

Alcuni problemi da risolvere subito

• I dati sono open e scaricabili, ma solo in "blocco"; visto lo sforzo per il sistema di browsing sarebbe stato bello abilitare il download del singolo insieme di dati o del risultato di una ricerca.
• I dati sono pubblicati con una licenza Creative Commons (bene!), ma di tipo "condividi allo stesso modo", cioè eventuali modifiche e miglioramenti o meshup realizzati con questi dati vanno ricondivisi con la stessa licenza. Meglio una licenza senza questo vincolo, facendo attenzione a permettere l'interoperabilità con i dati di qualche altro paese dell'UE che volesse fare la stessa operazione.

Alcuni miglioramenti che si potrebbero fare

• aggiungere ai dati una Application Programming Interface (API) pubblica! Permetterebbe di elaborarli in modo molto granulare e dinamico, e farebbe svoltare tutta l'operazione.
• per finanziamenti a gruppi di partner, si vede il finanziamento globale e non quello per partner; pazienza di per sè, peccato che l'intero ammontare sia "associato" a ciascuno dei partner nel computo dei finanziamenti totali di un soggetto
• per proteggere la riservatezza dei soggetti svantaggiati, il nome di tutti questi soggetti  è stato cambiato in "individuo". Questo fa perdere tutta l'informazione su quanti siano questi soggetti, dove siano, quanti finanziamenti ricevano e per cosa. Meglio una procedura di anonimizzazione che mantenga distinti i singoli soggetti – tanto più che alcuni di questi hanno percepito finanziamenti molto consistenti.
• i filtri non funzionano benissimo (togliere uno dei filtri su "range" fa sparire il filtro territoriale)
• c'è un problema di encoding delle stringhe per tutti i caratteri accentati
• alcuni progetti non sono stati inseriti correttamente perchè il server restituisce un errore 500
• nella vista elenco progetti non si capisce il criterio di sorting e sarebbe auspicabile la possibilita' di sortare sulle colonne per esempio per importo finanziamento o nel caso di filtro su ruolo per numero di progetti
• nella stessa vista il bottone progetti nella toolbar non funziona
• ci sono nelle faqs un paio di link non funzionanti sulle sorgenti dati.

Conclusione: OpenCoesione merita tre stelline secondo la classificazione proposta da Sir Tim Berners-Lee.

Dal punto di vista del coinvolgimento della cittadinanza, merita tre stelline (un po' scarse) secondo la classificazione proposta da Tim Davies e altri. Per arrivare alle tre piene, si potrebbe fornire qualche strumento di sostegno a una conversazione strutturata intorno ai dati (per esempio, come fa il portale del Comune di Firenze aggregando i tweet che riguardano i suoi dati). Aggiungendo tutorial, e magari promuovendo qualche hackathon, si potrebbe arrivare anche alle quattro.

Grazie agli "spaghettari" che hanno contribuito: Alessio (@dottorblaster), Andrea (@nelsonmau), un altro Andrea, Domenico, Francesca (@FraSen) Irene (@iricelino), Matteo (@dagoneye) Michele (@micheledalena), Morena (@morenaragone), Napo (@napo), Paola, Paolo (@paolomainardi), Paolo "Il Mistra", Piero, Silvio, Roldano, Simone (@simonecortesi).

[Alberto]

Un'integrazione che vorrei aggiungere io è questa (nella prima sezione, quella dei complimenti):

• i cittadini che hanno informazioni su quei progetti (perché insistono sul loro territorio, magari) possono scriverle sul sito, in modo che siano associati dati qualitativi a quelli quantitativi. Complimenti, questo è veramente wikicratico: uno degli aspetti più innovativi di tutta l'operazione. 
  

[Luigi Reggi]

...non mi voglio troppo intromettere ;) ma la questione è troppo interessante!

Secondo me non è necessario per forza scegliere tra i vari metodi, ma si potrebbe offrire una valutazione "multidimensionale" [@piero: però sempre riferita al singolo DB non ad altre caratteristiche del contesto istituzionale]

Es. 

1) stelline LOD (standard per la componente "tecnica")

2) stelline Engagement (complementari alla componente tecnica e che stanno già piacendo molto alla comunità internazionale) http://www.opendataimpacts.net/engagement/

3) medaglie SOD, che potrebbero essere: 

     [scenario facile] una sintesi (media) delle prime 2

     [scenario complesso] introdurre elementi nuovi non compresi nelle prime 2 (es. usabilità, trovabilità dei dati, coerenza della licenza al contesto, API, etc. come suggerito da matteo e napo). Nel caso si voglia "valutare l'insieme" di tutte queste caratteristiche come suggerisce Matteo, non è così facile immaginarsi una struttura per "stage" / livelli perché le variabili sarebbero tante. In quel caso sarebbe più facile costruire una sorta di indice sintetico (tipo quelli sulla qualità della vita), che può essere anche semplicmente una media.  Ma poi Alberto si arrabbia e prende il fucile! ;)

2012/7/18 Piero Luisi <luisi...@gmail.com>

--
Luigi Reggi
+39 328 6785249
www.luigireggi.eu
twitter: @luigireggi

[Alessio 'Blaster' Biancalana]

Vai con l'integrazione, per me ci sta tutto ;)

[Alberto]

Luigi LOL (Luigi si riferisce alla mia antipatia per le media ponderate, che trovo spesso poco trasparenti).

Le "medaglie SOD" sono una grande idea, ma secondo me la teniamo per un altro post. C'è una discussione approfondita da fare, il che contrasta con l'obiettivo di pubblicare immediatamente a ridosso del lancio di Opencoesione. 

[Simone Cortesi]

Mi segnanalano che nell'elenco delle regioni manca il veneto:

2 volte Lazio, 2 volte Puglia, e niente Veneto

Dalla home page...
* clicca su Progetti
* vai sopra la voce territori
* appare l'elenco delle regioni

2012/7/18 Alessio 'Blaster' Biancalana <dottor...@gmail.com>:

--
-S

[Alberto]

Pubblicato!

http://www.chefuturo.it/2012/07/spaghetti-open-data-vs-opencoesione-collaudo-in-diretta-del-nuovo-portale-di-dati-aperti-sui-progetti-di-coesione/

Complimenti a tutti. 

[Alessio 'Blaster' Biancalana]

Applausi a scroscio. :)

[Simone Cortesi]

BRA-VO !!!

2012/7/18 Alessio 'Blaster' Biancalana <dottor...@gmail.com>:

--
-S

[Paolo Mainardi]

Grazie Alberto, davvero un ottimo articolo!

2012/7/18 Simone Cortesi <sim...@cortesi.com>

--
Paolo Mainardi

CTO Twinbit
ILDN: http://www.ildn.net
Blog: http://www.paolomainardi.com

-- Please consider the environment before printing this email --

[Silvio Traversaro]

Per qualche impressione post-articolo posso scrivere ancora qui? In
particolare ho visto che al Ministero ci leggono (quantomeno chi si
occupa di twitter) quindi magari segnalando delle magagne direttamente
qua posso evitare di usare i form per le segnalazioni problemi (nel
caso ci sia qualcuno del Ministero dia pure indicazioni su cosa e'
meglio fare).

In particolare, qualcuno ha provato un po' a guardare i dati grezzi,
in particolare quelli disponibili qua:
http://www.dps.tesoro.it/opencoesione/ ?

Io ho provato a smanettarci un po' (con il dataset "progetti", quello
bello grosso) e sono subito incappato in una serie di caratteri NUL
(ASCII 00) e newline all'interno dei campi di alcuni record. Cose che
si tolgono in un attimo, ci mancherebbe, ma che impediscono
un'importazione "senza intoppi" dei dati (per esempio su Python davano
noia i caratteri NUL, mentre su Google Refine [non ho provato su
questo dataset ma mi par di ricordare cosi] danno noia i newline
all'interno dei campi.

Come primo esperimento ho provato a estrarre alcuni record
"problematici", in particolare tutti quelli che riportano maggiori
pagamenti rispetto ai finanziamenti (per esempio
http://www.opencoesione.gov.it/progetti/17em2010-00022ra o
http://www.opencoesione.gov.it/progetti/1lala1000010786 ). Non sono
pochi, allego il CSV che li contiene (ho aggiunto due campi, la
quantita' di pagamenti in eccedenza ai finanziamenti e l'URL sul sito
di opencoesione) nel caso qualcuno avesse voglia di capirci qualcosa
in piu' (io mi son fermato a cercar di capire cosa fossero i costi e i
pagamenti rendicontabili UE, che nel caso di alcuni record credo
c'entrino qualcosa nello spiegare le anomalie, mentre in altri casi
non credo abbiano alcun ruolo.
CSV: https://www.dropbox.com/s/xrqc6lbx9ejaam6/opencoesione_progetti_20111231_pagam_magg_finaz.zip

[De Luca Simona]

Meglio usare (anche, volendo) il form sul sito. Ci consente di gestire e archiviare le richieste all'interno del nostro gruppo di lavoro.
Nell'ordine delle questioni sui dati:

- cercheremo di ripulire sempre più i campi testuali dei dataset ai quali abbiamo già fatto vari trattamenti per facilitarne l'importazione (e possibilmente la comprensione). L'obiettivo, al di lá di nostri possibili interventi sui dati grezzi, è introdurre regole e controlli più rigidi sui caratteri nei sistemi di monitoraggio cui i dataset attingono.

- pagamenti superiori ai finanziamenti: dai circa 7.700 casi presenti si scende a circa 5.700 se al totale finanziamento pubblico (var FINANZ_TOTALE_PUBBLICO somma da noi calcolata) si aggiungono le risorse private destinate ai progetti. Per i casi che restano è una delle varie questioni da approfondire sui dati di base. Nel corso della presentazione dei dati l'altro giorno abbiamo cercato di segnalare alcune di queste 'stranezze' delle informazioni di base (anche questa dei pagamenti superiori ai finanziamenti e non solo) su cui già lavoravamo, lavoriamo e sempre più lavoreremo.

Contiamo molto su quanto l'apertura dei dati ci potrà aiutare a migliorarne la qualità, quindi benvenute tutte le segnalazioni (sempre meglio anche con form) di anomalie, dubbi, problemi.

Simona



-----Messaggio originale-----
Da: spaghett...@googlegroups.com [mailto:spaghett...@googlegroups.com] Per conto di Silvio Traversaro
Inviato: giovedì 19 luglio 2012 01:39
A: spaghett...@googlegroups.com
Oggetto: Re: SOD vs. Opencoesione: il primo collaudo?

[Silvio Traversaro]

Grazie mille per la celere e cortese risposta!
Ho cercato di seguire le dirette web ma evidentemente la parte sulla
segnalazione delle 'stranezze' me l'ero persa. Complimenti ancora per
il lavoro che avete fatto e farete.

2012/7/19 De Luca Simona <simona...@tesoro.it>: