Nasce OpenData Matera

169 views
Skip to first unread message

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 5:16:19 AM9/1/13
to spaghett...@googlegroups.com
Buon giorno a tutti,
sono appena entrato e vorrei condividere con voi la nuova esperienza  nata nel panorama di OpenData Italia, il portale http://dati.comune.matera.it
Grazie a Vincenzo Patruno di SOD e al gruppo di Wikitalia (Thanks to Alberto Cottica, Morena Ragone, Matteo Brunati e Ernerto Belisario e Maurizio Napo Napolitano) abbiamo fatto l'accordo con il Comune di Matera. L'iniziativa è nata nell'ottica della Candidatura di Matera e Capitale Europea della Cultura.

Detto ciò entro nel vivo. Ho usato la piattaforma CKAN e ho inserito modulo per preview geojson (ckan-spatial) e ho fatto qualche personalizzazione qua e la.
Mi hanno "educato" ad usare la CC-by come licenza per il tipo di dati che avremmo intenzione di usare e ho fatto alcun prove inserendo alcuni dati (demografici, rilevazioni antenne GSM e Wi-Fi-Max ect) e ho integrato la mia app iOS MateraPulita che permette segnalazioni da parte dei cittadini di caso di degrado urbano e contemporaneamente di occupa si educazione con un dizionario dei rifiuti (stile omonima app). Dato che le segnalazioni sparano un file xml, ho creato uno script php sul sito materapulita.it che genera in automatico il file kml, e ho creato il relativo file geojson. Sto studiando come automatizzare anche la trasformazione contestuale di kml in geojson via server-side.

Il portale opendata sarà ovviamente implementato da personale interno al Comune nei limiti di competenze e ruoli. Sarò di supporto per le cose più sofisticate.

Vi prego di darmi suggerimenti, idee, critiche. Mi seguirò con attenzione ed interesse e sono certo che imparerò un mondo di cose da questa mailing list.

ciao
Piero ( mi trovate come @piersoft in pratica dappertutto)

Alberto

unread,
Sep 1, 2013, 5:27:42 AM9/1/13
to spaghett...@googlegroups.com
Bravo Piero!

È importante dire che il portale è (semi) pubblico, ma non finito, neanche per idea. La colpa è mia: sono io che ho proposto di svilupparlo en plein air anziché montarlo prima e lanciarlo dopo. Non sono stati fatti annunci ufficiali o tagli di nastro, rimandati a quando e se avremo in mano una cosa di buon livello.

Questa scelta può apparire avventata, e un po' lo è. Ma ho insistito pensando proprio a SOD: finora abbiamo collaudato portali open data, questo possiamo praticamente costruirlo in mailing list in tempo reale. Tra l'altro una delle caratteristiche di Piero come sviluppatore è che è più veloce della luce, quindi capita che dieci minuti dopo che gli abbiate dato un suggerimento ve lo trovate online.

Sarebbe proprio bello, con il contributo di chi si se la sente, montare un portale open data che spacca e che è del sud. Così finalmente Salvatore Marras dovrà aggiornare la mappa (desolante) che fa vedere a tutte le presentazioni, con i dati tutti da Roma in su.

Alessio 'Blaster' Biancalana

unread,
Sep 1, 2013, 6:02:09 AM9/1/13
to spaghett...@googlegroups.com

L'idea di costruire un portale in realtime è veramente affascinante, teniamoci sincronizzati che qui secondo me esce anche un notevole caso di studio su community, open data e development collavorativo ;)

Ale
Inviato da Android

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 8:59:56 AM9/1/13
to spaghett...@googlegroups.com
Grazie a tutti per l'up.

Vorrei condividere due aspetti che secondo me, vedendo un pò gli altri portali opendata, sono in qualche modo evidenti solo nel portale di Firenze: la visualizzazione grafica di alcuni file per dare quindi una presentazione al pubblico.
Magari mi mangiate vivo, lo so. Ma non avendo a Matera un welfare come l'emilia romagna o il trentino, la difficoltà che sto cercando di superare, è il coinvolgimento del personale interno al Comune rendondolo parte attiva nel processo.
Con l'assessore vorremmo proprio creare una specie di gara a chi mette più dati per la comunità. Inoltre attraverso la Community della Candidatura di Matera (community.matera-basilicata2019.it) più volte sono emerse alcune cose che "gente"  come noi vorrebbe dalle istituzioni.
L'aspetto e volete del consenso tra la domanda (cittadinanza) e l'offerta (istituzione) è un aspetto relazione che mi sta molto a cuore e che ho affinato proprio per la gestione della community. Alberto Cottica che ha organizzato la giostrina, può dirvi di più a riguardo.

Per conciliare la cosa, avrei la necessità-opportunità di dare sempre una visualizzazione grafica dei files. Se non sono geolocalizzati (e quindi sfrutto OSM), per sempio una serie semplice dei cognomi più diffusi, ho pensato di scopiazzare l'idea di Matteo dal portale di Firenze: inserire un grafico carino collegato alla sorgente del dato.


Ho usato uno script collegato con il file csv. Ho pensato di sfruttare la sezione "correlazione" di CKAN per cui per esempio su http://dati.comune.matera.it/dataset/i-10-cognomi-piu-diffusi cliccando Correlazioni arrivo a http://dati.comune.matera.it/graph/cognomidiffusi.html che è la pagina che carica il grafico. il sito http://www.amcharts.com/ ci permette di usare i propri grafici a patto di lasciare il loro link nel grafico.


In pratica nella sezione OpenData per tutti ci sono un pò di grafici. 

Pensavo di fare lo stesso a Matera: creare una sezione Grafici linkata nella home che prenda tutti i grafici che ogni tanto mi rendo conto sia opportuno inserire.

Attenzione, non sono statici! sono collegati alla banca dati.

Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Tommaso Di Noia

unread,
Sep 1, 2013, 9:06:23 AM9/1/13
to spaghett...@googlegroups.com
Grande Piero! Più veloce della luce.

Alessio 'Blaster' Biancalana

unread,
Sep 1, 2013, 9:39:36 AM9/1/13
to spaghett...@googlegroups.com

Francesco, essendo questi grafici collegati alla banca dati, si potrebbe pensare di scriptare un po' ed esporre delle API JSON per facilitare lo sviluppo di app aggiornate in tempo reale?

Ale
Inviato da Android

PastedGraphic-1.tiff
PastedGraphic-3.tiff

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 10:01:20 AM9/1/13
to spaghett...@googlegroups.com
Dimmi come procedere.
Considera che :
1) l'idea è quella che tutte le banche dati realtime, siano collegati a portali o apps che il comune sta acquistando (vedi materapulita) o vuole realizzare
2) attualmente le banche dati sono statiche. Aggiornate ogni mese o settimana o anno ect. Per ora non ho ancora individuato "qualcosa" all'interno del comune che possa essere realtime
3) la mia idea è che tutti i CSV che metteranno, abbiamo la versione json o xml in modo da far collegare tutti 

Mi parli di API JSON. mi spieghi meglio?


--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Vincenzo Patruno

unread,
Sep 1, 2013, 10:12:03 AM9/1/13
to spaghett...@googlegroups.com

Api json sono ad esempio queste
Http://apistat.istat.it/?q=help

In realtà credo che questo passo acquisti senso solo se "dietro", quindi nel "Back office" si punti a consolidare i processi di produzione e pubblicazione dati. Se si riesce poi ad individuare dati "near real time" allora diventano indispensabili. Questo è quello che vedremo di capire nei prox gg con i vari uffici del comune di matera... oltre a tutto il resto un pò più "basic" necessario per alimentare im modo corretto dati.matera. V

PastedGraphic-1.tiff
PastedGraphic-3.tiff

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 10:29:24 AM9/1/13
to spaghett...@googlegroups.com

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Vincenzo Patruno

unread,
Sep 1, 2013, 10:38:15 AM9/1/13
to spaghett...@googlegroups.com

Ok. Solo che x i cognomi ha ovviamente poco senso.
Vinc

PastedGraphic-3.tiff
PastedGraphic-1.tiff

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 10:43:50 AM9/1/13
to spaghett...@googlegroups.com

Vincenzo Patruno

unread,
Sep 1, 2013, 10:46:31 AM9/1/13
to spaghett...@googlegroups.com

Era un esempio anche il commento. Ha poco senso anche per la serie storica degli stranieri! :)

PastedGraphic-3.tiff
PastedGraphic-1.tiff

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 10:51:58 AM9/1/13
to spaghett...@googlegroups.com
Allora mi sono perso.
Alessio mi chiedeva se i files si possono spacchettare per accedervici tramite chiamate api json

I csv gestiscono le chiamate api ma in verita' tutto il sito ckan mi sembra di capire.

Quindi con un client api gia' ora ci si puo' collegare ad uno dei files presenti.

Cosa mi manca/non ho capito?

Apposta Team
FB: Apposta
TW: @Apposta
AppStore/GooglePlay: Apposta


Vincenzo Patruno

unread,
Sep 1, 2013, 11:03:33 AM9/1/13
to spaghett...@googlegroups.com

Ah ah ah! Ne parliamo sett prox davanti ad una birra! ;)

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 11:18:07 AM9/1/13
to spaghett...@googlegroups.com
intanto che mi prendo una birra la sett prox con Vincenzo, c'è qualcuno che conosce CKAN che può dirmi cosa non ho capito ?
thanks

Alberto

unread,
Sep 1, 2013, 11:30:24 AM9/1/13
to spaghett...@googlegroups.com
Ehi, voi due. Fate capire anche me? :-)

Per ora ho capito questo:
  • le API servono a interrogare un database, che però rimane situato nel server (in questo caso, quello del Comune di Matera).
  • questo è un modo più pulito di usare dati aperti che non scaricare il dataset, perché si è sicuri che ogni query vada alla versione più aggiornata del dataset.
  • se il dataset viene aggiornato di rado, in pratica non c'è molta differenza tra scaricarlo e interrogarlo via API.
  • d'altra parte (mi pare di capire) CKAN supporta API su tutti i dataset (essendo io tecnicamente poco preparato, non l'avevo mai capito). Quindi, avere API non costa niente.

È tutto giusto? Se sì, non capisco il commento di Vinc che la API hanno poco senso. Hanno poco valore aggiunto, ma se sono gratis anche poco valore aggiunto è meglio di niente, quindi viva le API. No?

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 11:36:14 AM9/1/13
to spaghett...@googlegroups.com
Penso che la sintesi sia corretta.

Infatti ho controllato e di default ogni risorsa è raggiungibile tramite chiamata api. negli esempi che ho fatto sotto puoi cercare per parola chiave o per elenco dataset oppure per id che identifica la singola risorsa.

questa chiamata API, se non devi scrivere o fare upload o cancellare file non necessita di un'autorizzazione (giusto amici? ) 

Per il resto con un client API puoi già ora leggere tutte le info di ogni singolo file, per integrarlo in apps, o siti esterni ect.

Ho detto bene?

Alessio 'Blaster' Biancalana

unread,
Sep 1, 2013, 12:12:00 PM9/1/13
to spaghett...@googlegroups.com

A posto ;) la mia opinione è esattamente quella che ha sintetizzato Alberto, l'unica cosa che chiedevo in piú era assicurarsi una copia json dei file, eventualmente anche convertendo i csv con uno script, in modo da avere file piú puliti dato che csv non ha praticamente standard.

Che ckan esponesse api di default non mi era troppo noto, in caso meglio cosí. :)

Ale
Inviato da Android

Tommaso Di Noia

unread,
Sep 1, 2013, 12:12:17 PM9/1/13
to spaghett...@googlegroups.com
Quello che dici è giusto. Come anche documentato qui http://docs.ckan.org/it/latest/api.html tutte le informazioni gestite da CKAN sono praticamente accessibili via (JSON) API.
Il punto piuttosto è che, a meno che non sia cambiato qualcosa ultimamente, CKAN gestisce i dataset ma non i dati. In altre parole, con le API di CKAN puoi recuperare tutto il dataset dei cognomi ma non solamente quante persone hanno come cognome Paolicelli. E' evidente che una funzionalità del genere risulta essere fondamentale se si vuole fare un po' di mashup in tempo reale.

p.s. la birra piace anche a me :-)

Maurizio Napolitano

unread,
Sep 1, 2013, 2:06:37 PM9/1/13
to Spaghetti Open Data
Confermo quanto detto da Tommaso: le API di CKAN servono ad interrogare cosa offre il catalogo
ma non interrogano i dati.
D'altronde, se interrogasse anche i dati, allora ci sarebbe piu' lavoro da fare.
Una piattaforma che fa questo e' socrata.


2013/9/1 Tommaso Di Noia <t.di...@gmail.com>

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 2:12:41 PM9/1/13
to spaghett...@googlegroups.com
quindi la domanda di Alessio è trabocchetto? ;-)

Nel senso che mi pare di capire che si può puntare direttamente al files e con un parser estrare i dati, giusto?

giusto?

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Maurizio Napolitano

unread,
Sep 1, 2013, 2:17:04 PM9/1/13
to Spaghetti Open Data
2013/9/1 Francesco Piero Paolicelli <pier...@gmail.com>
>
> Grazie a tutti per l'up.
>
> Vorrei condividere due aspetti che secondo me, vedendo un pò gli altri portali opendata, sono in qualche modo evidenti solo nel portale di Firenze: la visualizzazione grafica di alcuni file per dare quindi una presentazione al pubblico.

... e ricordati che puoi sempre chiedere a terzi che lo facciano.

> Magari mi mangiate vivo, lo so. Ma non avendo a Matera un welfare come l'emilia romagna o il trentino, la difficoltà che sto cercando di superare, è il coinvolgimento del personale interno al Comune rendondolo parte attiva nel processo.

Guarda che quello che dici vale ovunque
Ti faccio l'esempio di Vienna
http://de.straba.us/wp-content/uploads/2012/08/barrieres_for_implementation_of_ogd.png


> Con l'assessore vorremmo proprio creare una specie di gara a chi mette più dati per la comunità. Inoltre attraverso la Community della Candidatura di Matera (community.matera-basilicata2019.it) più volte sono emerse alcune cose che "gente" come noi vorrebbe dalle istituzioni.Non pensare che la situazione sia migliore.http://de.straba.us/wp-content/uploads/2012/08/barrieres_for_implementation_of_ogd.png

Ecco: il coinvolgimento della comunita' e' *fondamentale*
(auto spot: http://www.chefuturo.it/2012/12/wasted-datafood/ )

> [...]
> Per conciliare la cosa, avrei la necessità-opportunità di dare sempre una visualizzazione grafica dei files. Se non sono geolocalizzati (e quindi sfrutto OSM),

sfrutti openstreetmap come background, che e' leggermente diverso da
inserire i dati in openstreetmap
confrontandosi con la comunita'
mi autocito nuovamente segnalando il caso openstreetmap
http://de.straba.us/2013/08/06/enel-incontra-openstreetmap/

Piuttosto sarebbe di gran lunga meglio se il comune aprisse i propri
geodati e si usassero quelli
via wms.

>
> Ho usato uno script collegato con il file csv. Ho pensato di sfruttare la sezione "correlazione" di CKAN per cui per esempio su http://dati.comune.matera.it/dataset/i-10-cognomi-piu-diffusi cliccando Correlazioni arrivo a http://dati.comune.matera.it/graph/cognomidiffusi.html che è la pagina che carica il grafico. il sito http://www.amcharts.com/ ci permette di usare i propri grafici a patto di lasciare il loro link nel grafico.

questa parte la hai sviluppata come plugin ckan oppure con un po' di
rattoppamenti?

> Ho preso l'esempio da qui: http://opendata.comune.fi.it/statistica_territorio/dataset_0040_grafico.html
>
> In pratica nella sezione OpenData per tutti ci sono un pò di grafici.

Hai dato una occhiata a IBM ManyEyes ?
http://www-958.ibm.com/software/analytics/manyeyes/

In ogni caso ckan ha delle preview dei dati

--
Maurizio "Napo" Napolitano
http://de.straba.us

Maurizio Napolitano

unread,
Sep 1, 2013, 2:22:13 PM9/1/13
to Spaghetti Open Data
> Dato che le segnalazioni sparano
> un file xml, ho creato uno script php sul sito materapulita.it che genera in
> automatico il file kml, e ho creato il relativo file geojson. Sto studiando
> come automatizzare anche la trasformazione contestuale di kml in geojson via
> server-side.

come ti ho scritto puoi usare la command line ogr2ogr che ti fa le conversioni
da tantissimi formati geografici.
Se non ti garba ci sono i binding per diversi linguaggi.
In cosa programmi?
Penso che la soluzione piu' easy sarebbe un xslt

Maurizio Napolitano

unread,
Sep 1, 2013, 2:25:58 PM9/1/13
to Spaghetti Open Data
2013/9/1 Francesco Piero Paolicelli <pier...@gmail.com>
>
> quindi la domanda di Alessio è trabocchetto? ;-)
>
> Nel senso che mi pare di capire che si può puntare direttamente al files e con un parser estrare i dati, giusto?
> http://dati.comune.matera.it/storage/f/2013-09-01T07%3A44%3A58.250Z/stranres2012.csv e con uno script standard mi prendo i dati.

Si, molto semplicemente bisogna farsi un programmino che prende il
file .csv e lo trasforma
in API rest da interrogare.
Il progetto Open Data della Whitehouse ha comunque messo disponibili
una applicazione
che fa questo
https://github.com/project-open-data/csv-to-api

Luigi Reggi

unread,
Sep 1, 2013, 2:46:51 PM9/1/13
to spaghett...@googlegroups.com
Il progetto Open Data della Whitehouse ha comunque messo disponibili
una applicazione
che fa questo
https://github.com/project-open-data/csv-to-api


ooooooohh ... anche per opencoesione! (?)
non lo pensavo all'inizio (ignorantone!), ma in realtà anche per dati aggiornati ogni 2 mesi è fondamentale avere API...

Alessio 'Blaster' Biancalana

unread,
Sep 1, 2013, 3:18:49 PM9/1/13
to spaghett...@googlegroups.com

API ovunque raga... :P

In realtà la mia domanda era dettata da una ignoranza di fondo sul tema ckan + api. Mettere su un servizietto di questo tipo come quello linkato dal Napo era proprio quello che intendevo.

Luigi, quello che intendevi tu è una API che permetta anche l'upload di dati fa utenti specifici (le PA)? In questo caso sarebbe utile cominciare a discutere per una piattaforma che consenta di forkare i dataset, come ipotizzavamo tempo fa.

Ale
Inviato da Android

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a spaghettiopend...@googlegroups.com.

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 3:29:33 PM9/1/13
to spaghett...@googlegroups.com

Luigi Reggi

unread,
Sep 1, 2013, 3:55:00 PM9/1/13
to spaghett...@googlegroups.com
@alessio sì, infatti, anche!  Scusate l'OT..


2013/9/1 Alessio 'Blaster' Biancalana <dottor...@gmail.com>



--
Luigi Reggi
+39 328 6785249
www.luigireggi.eu
twitter: @luigireggi

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 4:02:00 PM9/1/13
to spaghett...@googlegroups.com
Bene.

1) usando lo script whitehouse ho aggiunto a quasi tutti i files csv i relativi files json
2) seguendo opendata FIRENZE ho inserito un paio di grafici interattivi. Ho inserito la sezione "Correlati" dalla home che mi trova i vari Related
3) inerito modulo Disqus per i commenti in modo da iniziare a vedere se qualcuno prima o poi lascia commenti.

grazie amici ;-)

Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Paolo Mainardi

unread,
Sep 1, 2013, 4:07:04 PM9/1/13
to spaghett...@googlegroups.com

Ho letto quasi tutto il thread, che dire, SOD si dimostra sempre più una insostituibile risorsa ad ogni livello, complimenti a tutti.
Bravissimo Piero, conosco le tue potenzialità, come dice Alberto sei un fulmine ;)

Appena ho un attimo vedo di contribuire anche io.

Sorry for typos, sent by mobile.

PastedGraphic-3.tiff
PastedGraphic-1.tiff

Maurizio Napolitano

unread,
Sep 1, 2013, 4:10:13 PM9/1/13
to Spaghetti Open Data
> 1) usando lo script whitehouse ho aggiunto a quasi tutti i files csv i
> relativi files json

questo lo hai fatto con uno script che usa le API di CKAN oppure
sei andato a mano a fare le cose?
Te lo chiedo solo perche' quando cambierai le sorgenti file,
temo che cambieranno anche le reference.


> 2) seguendo opendata FIRENZE ho inserito un paio di grafici interattivi. Ho
> inserito la sezione "Correlati" dalla home che mi trova i vari Related

Gut

> 3) inerito modulo Disqus per i commenti in modo da iniziare a vedere se
> qualcuno prima o poi lascia commenti.

da tempo al tempo ;)


forse ti interessa questo
https://github.com/okfn/dataconverters

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 4:18:53 PM9/1/13
to spaghett...@googlegroups.com
1) usando lo script whitehouse ho aggiunto a quasi tutti i files csv i
relativi files json

questo lo hai fatto con uno script che usa le API di CKAN oppure
sei andato a mano a fare le cose?
Te lo chiedo solo perche' quando cambierai le sorgenti file,
temo che cambieranno anche le reference.


tanto i nomi non cambieranno (parlo del file csv) quindi sarà sempre corretto.

Vorrei utilizzare questo metodo:
1) ogni file con aggiornamento diciamo mensile o semestrale ect, verrà usata la procedura di creare prima csv, poi tramite questo script il relativo json
2) se sono file che invece sono realtime, mi porrò il problema del sorgente: se saranno app o siti che farò io, farò in modo come per materapulita di generare tutto in automatico da app e website. Se invece sarà di altre fonti, mi porrò il problema volta per volta. Ci vorrà del tempo per omogeneizzare i processi


--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Alessio 'Blaster' Biancalana

unread,
Sep 1, 2013, 4:23:17 PM9/1/13
to spaghett...@googlegroups.com

Beh, direi che per essere il primo di settembre è una grande ripartenza, soprattutto per te ma anche per SOD :D

Ale
Inviato da Android

Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a spaghettiopend...@googlegroups.com.
PastedGraphic-3.tiff
PastedGraphic-1.tiff

Maurizio Napolitano

unread,
Sep 1, 2013, 4:30:52 PM9/1/13
to Spaghetti Open Data
2013/9/1 Francesco Piero Paolicelli <pier...@gmail.com>
>
> 1) usando lo script whitehouse ho aggiunto a quasi tutti i files csv i
> relativi files json
>
>
> questo lo hai fatto con uno script che usa le API di CKAN oppure
> sei andato a mano a fare le cose?
> Te lo chiedo solo perche' quando cambierai le sorgenti file,
> temo che cambieranno anche le reference.
>
>
> http://dati.comune.matera.it/blog/gu/?source=http://dati.comune.matera.it/storage/f/2013-09-01T11%3A11%3A23.192Z/cognomi.csv&source_format=csv
>
> tanto i nomi non cambieranno (parlo del file csv) quindi sarà sempre corretto.

perdona lo scetticismo ma ho i miei dubbi.
Forse parli dello specifico caso sui cognomi (sui quali ho i miei dubbi che non
cambino o pensi che non ci saranno nuovi trasferimenti a Matera?)
Io faccio riferimento all'url, e gia' per come e' fatta si vede
chiaramente che basta
un update del file e cambia di brutto.

> Vorrei utilizzare questo metodo:
> 1) ogni file con aggiornamento diciamo mensile o semestrale ect, verrà usata la procedura di creare prima csv, poi tramite questo script il relativo json

quello script in realta' fa qualcosina in piu' oltre a convertire in
json visto che aggiunge dei
metodi per interrogare il file

> 2) se sono file che invece sono realtime, mi porrò il problema del sorgente: se saranno app o siti che farò io, farò in modo come per materapulita di generare tutto in automatico da app e website. Se invece sarà di altre fonti, mi porrò il problema volta per volta. Ci vorrà del tempo per omogeneizzare i processi

ma scusa ... se sono file generati runtime, invece che fare una
conversione del file, perche' non
pubblichi direttamente le API?

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 4:53:44 PM9/1/13
to spaghett...@googlegroups.com
appunto verrà fatto a mano.

Cioè insegno all'impiegato di turno, che quando deve aggiornare un dataset deve aggiornare tutti i files correlati: csv, json
Se ci sarà anche kml o geojson ci sarò sempre io per un bel pò.

Insegno la procedura 
1) apri excell
2) salva con nome
bla bla bal
inserisci l csv e controlla che funziona.
bene copiati il link e vai su script php
copia incolla in file di testo e fai upload nuovo json

sembra lungo ma non penso superi i 15 secondi tutto.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Maurizio Napolitano

unread,
Sep 1, 2013, 4:58:33 PM9/1/13
to Spaghetti Open Data
non mi sembra lungo, ma mi sembra un gran falla nella gestione

2013/9/1 Francesco Piero Paolicelli <pier...@gmail.com>:
> https://www.facebook.com/pages/Apposta-Soluzioni-personalizzate-per-iOS/130316663712753
>
>
>
> --
> Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open
> Data" di Google Gruppi.
> Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi
> messaggi, invia un'email a spaghettiopend...@googlegroups.com.
> Visita questo gruppo all'indirizzo
> http://groups.google.com/group/spaghettiopendata.
> Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.



Francesco Piero Paolicelli

unread,
Sep 1, 2013, 5:01:15 PM9/1/13
to spaghett...@googlegroups.com
mhmhmhm ci ragiono su.
pensavo di usare questo metodo per i files di aggiornamento annuale o semestrale..

per tutti gli altri devo capire prima l'origine del dato che inseriranno.
Se potrò automatizzerò tutto

Maurizio Napolitano

unread,
Sep 1, 2013, 5:03:51 PM9/1/13
to Spaghetti Open Data
Dove sai da dove vengono i file meglio se ti attacchi direttamente
alle sorgenti dati o costruendo degli harvester ckan oppure usando le
API

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 5:05:37 PM9/1/13
to spaghett...@googlegroups.com
ok. eseguo ;-)
--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 6:04:16 PM9/1/13
to spaghett...@googlegroups.com
--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Alberto

unread,
Sep 1, 2013, 6:10:13 PM9/1/13
to spaghett...@googlegroups.com
Alessio, la piattaforma che forka i dati c'è già: github. Ne parlavamo in un thread di qualche tempo fa, quello lanciato da Andrea Borruso: la città di Chicago ha messo I suoi dati (oltre che su un portale più o meno normale) anche su una serie di repo github.

Bella idea, ma non ha funzionato socialmente. Quando ci guardai al tempo nessuno aveva forkato né fatto commits tranne un unico utente, immagino il data geek del comune. E Andy Borruso, che ha fatto fork, ripulitura e ripubblicazione ha dovuto usare il suo blog. Chi ha il pane non ha i denti. :-)

Francesco Piero Paolicelli

unread,
Sep 1, 2013, 7:12:29 PM9/1/13
to spaghett...@googlegroups.com
ho inserito uno script semiautomatico
quando cliccate "esplora" oltre a download e anteprima c'è converti in json e parte il download del file convertito.

ho provato a far apparire il menu solo solo in presenza di file csv ma non ci sono riuscito:
in package/resource_item.html ho aggiunto:

<li>
        <a href="http://dati.comune.matera.it/blog/gu/?source={{ res.url }}" class="resource-url-analytics" target="_blank">
          <i class="icon-download"></i>
          {{ _('Converti in Json') }}
        </a>
      </li>

ho provato a mettere <script> per la ricerca della stringa csv ma ovviamente nel linguaggio ckan non va
ci vorrebbe un {% if csv è contenuto in {{ res.url }} %} allora aggiungi la parte di sopra per il link alla conversione

chi mi aiuta?


Vincenzo Patruno

unread,
Sep 2, 2013, 3:27:33 AM9/2/13
to spaghett...@googlegroups.com
Allora, qui sembra che si sia creata un pò di confusione. Vediamo di fare il punto in modo tale che ci capiamo:

1) CKAN è un catalogo che serve a gestire file di dati. Nel senso che se abbiamo un dataset, lo possiamo pubblicare nel catalogo andandogli ad associare una serie di metainformazioni come il titolo, la licenza, chi lo ha fatto, l'area tematica a cui appartiene e così via

2) La API disponibili sul catalogo CKAN sono API che consentono di "intercettare" il dataset utilizzando queste metainformazioni (quindi NON i dati contenuti nel dataset). Giacchè mi trovo vi annuncio che anche dati.istat.it ha da tre mesi  ha le sue API CKAN (beta) che ho sviluppato per consentire l'integrazione del'elenco di dataset prodotti da Istat all'interno del catalogo nazionale (ma che ovviamente possono essere utilizzate da chiunque). http://apistat.istat.it/?q=current_package_list_with_resources 

3) Le API che servono per utilizzare dati all'interno di applicazioni (es. mashup) sono però quelle che consentono di accedere ai dati strutturati del singolo dataset. Per fare questo i dati vengono memorizzati all'interno di un DB cosa che NON è prevista in CKAN. Come esempio possiamo prendere questo http://apistat.istat.it/?q=getdatajson&dataset=DCIS_PREVDEM&dim=1,1,3,1,182,0,0&lang=1&tr=&te= 
Qui quello che facciamo è identificare un dataset strutturato con un url. In questo caso viene utilizzato il metodo "getdatajson" a cui passiamo una query string che contiene una serie di parametri che ci servono per identificare il dataset e estrarre la porzione che ci serve.
(se volete divertirvi a generarne voi uno, potete accedere a http://www.vincenzopatruno.org/json-stat/)

4) Le API di cui al punto 3 non esistono su CKAN e non può essere altrimenti visto che CKAN è stato pensato per gestire un catalogo di dataset ma non i dati

5) Le API di cui al punto 3 sono quelle che hanno un valore tanto più alto quanto più rapidamente i dati contenuti nel DB cambiano nel tempo. Questo era il senso del "near real time" a cui ho accennato prima. Voglio sottolineare che le API sono un valore aggiunto soprattutto per chi i dati li produce. Dal punto di vista di una applicazione è infatti completamente indifferente se utilizzo i dati  utilizzando l'url http://apistat.istat.it/?q=getdatajson&dataset=DCIS_PREVDEM&dim=1,1,3,1,182,0,0&lang=1&tr=&te=  (che quindi interroga il db in tempo reale) oppure un file json "statico" fatto allo stesso modo che piazzo da qualche parte su un server e che rendo accessibile con un url tipo http://www.pippo.it/pippo.json. E' chiaro che per chi invece i dati li produce e li pubblica avrà molto più senso mantenere un DB piuttosto che generare ogni volta dataset statici.

Augh!
Vinc







2013/9/2 Francesco Piero Paolicelli <pier...@gmail.com>



--
Vincenzo Patruno

Twitter: @vincpatruno
http://www.pionero.it
http://www.vincenzopatruno.org


“ If you want a track team to win the high jump you find one person who can jump seven feet, not seven people who can jump one foot. ”.
PastedGraphic-1.tiff
PastedGraphic-3.tiff

Francesco Piero Paolicelli

unread,
Sep 2, 2013, 3:38:18 AM9/2/13
to spaghett...@googlegroups.com
Grazie Vincenzo, tutto chiaro!

Tornando quindi al compito di creare un portale open data per conto di una PA, le dinamiche che intervengono, sono quelle sociali prima che tecniche o di repository.
Nel senso che l'omino che fino a ieri scriveva sulla carta del pane l'inizio attività del nuovo bar sotto casa, ora deve imparare a crearsi un flusso informatico.
Tale oggetto poi va inserito ogni "TOT" nel portale Ckan. Il puntamento a tale oggetto è statico e non server avere API (come hai detto tu).

Il gioco si fa interessante quando il "TOT" diventa realtime. Per CKAN questo è indifferente. Il problema è a monte: il sistema che gestisce il FLUSSO deve potere mettere online una versione aggiornata.
Fin qui se gestisci tutto tu, il cerchio si può chiudere (proprio stamane le segnalazioni di materapulita in formato kml xml sono real time, mentre per le geojson sono riuscito ma toglie la descrizione lasciando solo le coordinate..devo lavorarci ancora un pò).

Potrei pensare a un qualche "contenitore" dove inviare i dati e che aggiorna de files csv, kml, xml, geojson ect a seconda dei casi. Ma sinceramente mi porrò il problema quando tratterò di casistiche con alto tasso di aggiornamento (sto puntando a fare i parcheggi disponibili realtime).

Grazie ancora 



--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.



--
Vincenzo Patruno

Twitter: @vincpatruno
http://www.pionero.it
http://www.vincenzopatruno.org


“ If you want a track team to win the high jump you find one person who can jump seven feet, not seven people who can jump one foot. ”.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Francesco Piero Paolicelli

unread,
Sep 2, 2013, 3:45:39 AM9/2/13
to spaghett...@googlegroups.com
Amici non capisco:


è un file di prova geojson che viene generato in automatico tramite script php sul mio server materapulita.it

inserito in CKAN non mi fa vedere la mappa ma se lo valido su http://geojsonlint.com/ mi appare tutto correttamente.

che sbaglio?


--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Diego Valerio Camarda

unread,
Sep 2, 2013, 3:59:53 AM9/2/13
to spaghett...@googlegroups.com
Ciao Francesco,


----------
Diego Valerio Camarda
dcam...@regesta.com - www.regesta.com


Il giorno 02 settembre 2013 01:12, Francesco Piero Paolicelli <pier...@gmail.com> ha scritto:
ho inserito uno script semiautomatico
quando cliccate "esplora" oltre a download e anteprima c'è converti in json e parte il download del file convertito.

ho provato a far apparire il menu solo solo in presenza di file csv ma non ci sono riuscito:
in package/resource_item.html ho aggiunto:

<li>
        <a href="http://dati.comune.matera.it/blog/gu/?source={{ res.url }}" class="resource-url-analytics" target="_blank">
          <i class="icon-download"></i>
          {{ _('Converti in Json') }}
        </a>
      </li>

ho provato a mettere <script> per la ricerca della stringa csv ma ovviamente nel linguaggio ckan non va
ci vorrebbe un {% if csv è contenuto in {{ res.url }} %} allora aggiungi la parte di sopra per il link alla conversione

chi mi aiuta?





non conosco lo scripting di ckan e neanche troppo bene PHP... una soluzione al tuo problema potrebbe essere una semplice chiamata da inserire in <head> (anche in tutte le pagine volendo) o nel <body> della pagina incriminata

<script>$(function() {$('a.resource-url-analytics[href$=json]').filter(':contains(Json)').remove()});</script>

non è il massimo per un crawler che raggiungerebbe comunque la pagina http://dati.comune.matera.it/blog/gu/?source=http://dati.comune.matera.it/storage/f/2013-09-01T19%3A38%3A10.206Z/cognomi2012.json ma sarebbe sufficiente per un utente che non vedrebbe più il tasto

l'unico accorgimento che ti suggerirei è di aggiungere a http://dati.comune.matera.it/blog/gu/?source=http://dati.comune.matera.it/storage/f/2013-09-01T19%3A38%3A10.206Z/cognomi2012.json un errore 404 o 500 nella response, attualmente torna 200 (OK)  e la cosa risulta un po' ambigua per le "macchine"


ciao,
diego
PastedGraphic-1.tiff
PastedGraphic-3.tiff

Diego Valerio Camarda

unread,
Sep 2, 2013, 4:07:32 AM9/2/13
to spaghett...@googlegroups.com
scusa Francesco, mi correggo subito: non avevo visto che il problema ti si pone per tutto ciò che NON è csv... 
quindi farei

$(function(){
$('a.resource-url-analytics').not('[href$=csv]').filter(':contains(Json)').remove()
};

----------
Diego Valerio Camarda
dcam...@regesta.com - www.regesta.com


PastedGraphic-1.tiff
PastedGraphic-3.tiff

Francesco Piero Paolicelli

unread,
Sep 2, 2013, 4:07:57 AM9/2/13
to spaghett...@googlegroups.com
Ciao Diego

se faccio <script>$(function() {$('a.resource-url-analytics[href$=json]').filter(':contains(Json)').remove()});</script> verrebbe tolto solo per i files già json

Servirebbe al contrario: SOLO per il files CSV fai apparire il tasto.
Oppure, ma rallenterebbe penso un pò, fare il controllo per Json, txt, pdf, xml kml

che mi consigli?


Il giorno 02/set/2013, alle ore 09:59, Diego Valerio Camarda <dcam...@regesta.com> ha scritto:

<script>$(function() {$('a.resource-url-analytics[href$=json]').filter(':contains(Json)').remove()});</script>

Francesco Piero Paolicelli

unread,
Sep 2, 2013, 4:08:18 AM9/2/13
to spaghett...@googlegroups.com
thanks!!


Ciao Francesco,


--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.



--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Francesco Piero Paolicelli

unread,
Sep 2, 2013, 4:11:48 AM9/2/13
to spaghett...@googlegroups.com
non va.

Ciao Francesco,


--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.



--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Diego Valerio Camarda

unread,
Sep 2, 2013, 4:22:01 AM9/2/13
to spaghett...@googlegroups.com
non va perché hai la dichiarazione di jquery in fondo alla pagina invece che in testa...

ci sono modi complicati per correggere la cosa, io capisco che ora vada di moda mettere il codice in fondo per motivi di performance generale della pagina, ma così di complicano estremamente le cose (infatti hai degli altri errori nella pagina a causa della mancanza di jquery, probabilmente jquery.nivo.slider.pack.js)  e il "guadagno" non vale la spesa...

non puoi spostare la dichiarazione di jquery nell'header? oppure metti il codice che ti ho dato in fondo alla pagina dopo   <script type="text/javascript" src="http://www.materatravel.it/js/jquery-1.9.0.min.js"></script>






----------
Diego Valerio Camarda
dcam...@regesta.com - www.regesta.com


PastedGraphic-3.tiff
PastedGraphic-1.tiff
PastedGraphic-1.tiff
PastedGraphic-3.tiff

Francesco Piero Paolicelli

unread,
Sep 2, 2013, 4:31:48 AM9/2/13
to spaghett...@googlegroups.com
Trovato. 

<li>
 <script>
var str= '{{ res.url }}';
var subStr = 'csv';
if( str.indexOf( subStr ) !== -1 ) {
document.write("<a href=\"http://dati.comune.matera.it/blog/gu/?source={{ res.url }}\" class=\"resource-url-analytics\" target=\"_blank\">");
document.write("<i class=\"icon-download\"></i>{{ _('Converti in Json') }}</a>");

   

}
</script> 
 </li>


Solo il files CSV ha nella sezione "Esplora" anche l'opzione di conversione con download automatico.

Grazie cmq.



Maurizio Napolitano

unread,
Sep 2, 2013, 4:38:35 AM9/2/13
to Spaghetti Open Data
2013/9/2 Francesco Piero Paolicelli <pier...@gmail.com>
>
> Grazie Vincenzo, tutto chiaro!
>
> Tornando quindi al compito di creare un portale open data per conto di una PA, le dinamiche che intervengono, sono quelle sociali prima che tecniche o di repository.
> Nel senso che l'omino che fino a ieri scriveva sulla carta del pane l'inizio attività del nuovo bar sotto casa, ora deve imparare a crearsi un flusso informatico.

just for info:
il consorzio dei comuni del trentino sta per pubblicare una
piattaforma che raccoglie
tutti i flussi dati e documenti di un comune e genera in automatico il
sito web istituzionale.
.. appena so qualcosa vi informo

Alberto

unread,
Sep 2, 2013, 4:45:02 AM9/2/13
to spaghett...@googlegroups.com
WOW! Fichissimo il bottone "esplora" con l'anteprima della struttura del JSON!

Ringrazio moltissimo Vincenzo per la precisazione sulla API di CKAN. Secondo me varrebbe la pena fare un copia-e-incolla in un post del blog di SOD! Tra l'altro mi permette di mettere a fuoco una roba che non avevo capito, ma che ripensandoci è logica: e cioè che CKAN non mette i dati in un DB. CKAN si pensa come catalogo (l'avete ripetuto più volte in questo thread), e quindi ha tutto molto senso.

Però, visto che i files di open government data tendono ad essere piccoli (OpenCoesione a parte), forse è... la logica che non è logica! Da un punto di vista del detentore dei dati, non avrebbe più senso un flusso in cui i dati dell'ente (Comune, metti), al momento dell'aggiornamento, vengono caricati su un DB accessibile con chiamata dal web? Per applicazioni semplici (quasi tutte) questo toglie l'incentivo a fare copie del dataset che poi rimangono non aggiornate. Insomma, forse avrebbe senso andare verso "API by default". No?

Diego Valerio Camarda

unread,
Sep 2, 2013, 4:49:16 AM9/2/13
to spaghett...@googlegroups.com
ho visto, ti segnalo qualche controindicazioni (filosofica) all'approccio:
  1. se malauguratamente qualcuno ti pubblica un dataset con un apostrofo " ' " nel nome, lo script ti si rompe
  2. il link al download ti apparirebbe solo con javascript abilitato, quindi un crawler non se ne accorgerebbe
  3. ipoteticamente il lettore automatico di un ipovedente, ammesso che si interessato a un dataset in formato json, probabilmente se lo perderebbe
  4. e poi io adoro jQuery :) quindi la manipolazione del document così fatta mi urta ;)
ps

gira comunque questi due da così 
<script type="text/javascript" src="http://www.materatravel.it/js/jquery.nivo.slider.pack.js"></script>

<script type="text/javascript" src="http://www.materatravel.it/js/jquery-1.9.0.min.js"></script>
    
a così
<script type="text/javascript" src="http://www.materatravel.it/js/jquery-1.9.0.min.js"></script>
<script type="text/javascript" src="http://www.materatravel.it/js/jquery.nivo.slider.pack.js"></script>
   
 non so cosa faccia nivo slider ma di sicuro così non fa niente!


ps
in caso scrivi a me e smettiamo di tediare la lista con questi codicilli javascript :) 
ottimo lavoro comunque e buon proseguimento!   



----------
Diego Valerio Camarda
dcam...@regesta.com - www.regesta.com


PastedGraphic-1.tiff
PastedGraphic-3.tiff

Francesco Piero Paolicelli

unread,
Sep 2, 2013, 4:59:18 AM9/2/13
to spaghett...@googlegroups.com
Il giorno 02/set/2013, alle ore 10:49, Diego Valerio Camarda <dcam...@regesta.com> ha scritto:

  1. se malauguratamente qualcuno ti pubblica un dataset con un apostrofo " ' " nel nome, lo script ti si rompe
ma darò le giuste indicazioni ;-) alla fine è uno script per loro. se ne accorgeranno che non funziona. cosi anche se il formato csv non è standardizzato

  1. il link al download ti apparirebbe solo con javascript abilitato, quindi un crawler non se ne accorgerebbe
come il punto 1) farò in modo che gli operatori abbiano javascript abilitato

  1. ipoteticamente il lettore automatico di un ipovedente, ammesso che si interessato a un dataset in formato json, probabilmente se lo perderebbe
pazienza..

  1. e poi io adoro jQuery :) quindi la manipolazione del document così fatta mi urta ;)

mi spiace, posso fare qualcosa per te? ;-) GRAZIE!!!




Michele Barbera

unread,
Sep 2, 2013, 8:17:39 AM9/2/13
to spaghett...@googlegroups.com
Intanto complimenti per l'iniziativa!

Metto le mani avanti ;-) se dico una stupidaggine scusatemi, purtroppo non ho seguito attentamente tutto il thread.

Di default CKAN permette di storare e interrogare via API solo i metadati, ma ha un'estensione, che si chiama Datastore, che permette di avere un'API direttamente sui contenuti dei CSV.

Per esempio:

La documentazione è qui:

Abilitarla è abbastanza semplice.

Che poi questa API non sia il massimo per lo sviluppatore (e neanche per il publisher, non è proprio rock-solid) e abbia diversi limiti è un'altro discorso ;-) (personalmente trovo l'API di Socrata decisamente più potente e semplice da usare...)

Ciao,
michele

Vincenzo Patruno

unread,
Sep 2, 2013, 8:28:39 AM9/2/13
to spaghett...@googlegroups.com
... visto!

Interessante! Anche se in effetti come hai detto sono piuttosto limitate... (Anche io preferisco a questo punto  le API di Socrata)
Bye
V


2013/9/2 Michele Barbera <bar...@spaziodati.eu>

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.



--

Francesco Piero Paolicelli

unread,
Sep 2, 2013, 8:35:59 AM9/2/13
to spaghett...@googlegroups.com
E questa aristotela dove la trovo?

Apposta Team
FB: Apposta
TW: @Apposta
AppStore/GooglePlay: Apposta


Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.

Vincenzo Patruno

unread,
Sep 2, 2013, 8:49:57 AM9/2/13
to spaghett...@googlegroups.com


2013/9/2 Francesco Piero Paolicelli <pier...@gmail.com>
E questa aristotela dove la trovo?

Matteo Brunati

unread,
Sep 2, 2013, 8:55:45 AM9/2/13
to spaghett...@googlegroups.com
Ciao a tutti,
 aggiungo che la faccenda Matera, per chi si ricorda, ha origini lontane: qualche spunto di Napo a primavera-estate 2012 se non erro, e poi come Wikitalia siamo andati ad incontrare il Comune l'11 febbraio. Dopo Firenze, era stata infatti una delle prime città a dirsi disponibile per avvicinarsi al tema Open Gov.
Le discussioni collegate all'evoluzione di OpenMatera, e tutti i lavori in corso, li ho inseriti nel wiki di Wikitalia ( stiamo aggiornando il sito per raccontare al meglio le evoluzioni dell'associazione, è un work in progress, totalmente beta )


Ovviamente ho inserito anche questo thread .) E se dovesse mancare materiale, ditemelo pure ovviamente.

 matt

Il giorno domenica 1 settembre 2013 11:16:19 UTC+2, Francesco Piero Paolicelli ha scritto:
Buon giorno a tutti,
sono appena entrato e vorrei condividere con voi la nuova esperienza  nata nel panorama di OpenData Italia, il portale http://dati.comune.matera.it
Grazie a Vincenzo Patruno di SOD e al gruppo di Wikitalia (Thanks to Alberto Cottica, Morena Ragone, Matteo Brunati e Ernerto Belisario e Maurizio Napo Napolitano) abbiamo fatto l'accordo con il Comune di Matera. L'iniziativa è nata nell'ottica della Candidatura di Matera e Capitale Europea della Cultura.

Detto ciò entro nel vivo. Ho usato la piattaforma CKAN e ho inserito modulo per preview geojson (ckan-spatial) e ho fatto qualche personalizzazione qua e la.
Mi hanno "educato" ad usare la CC-by come licenza per il tipo di dati che avremmo intenzione di usare e ho fatto alcun prove inserendo alcuni dati (demografici, rilevazioni antenne GSM e Wi-Fi-Max ect) e ho integrato la mia app iOS MateraPulita che permette segnalazioni da parte dei cittadini di caso di degrado urbano e contemporaneamente di occupa si educazione con un dizionario dei rifiuti (stile omonima app). Dato che le segnalazioni sparano un file xml, ho creato uno script php sul sito materapulita.it che genera in automatico il file kml, e ho creato il relativo file geojson. Sto studiando come automatizzare anche la trasformazione contestuale di kml in geojson via server-side.

Il portale opendata sarà ovviamente implementato da personale interno al Comune nei limiti di competenze e ruoli. Sarò di supporto per le cose più sofisticate.

Vi prego di darmi suggerimenti, idee, critiche. Mi seguirò con attenzione ed interesse e sono certo che imparerò un mondo di cose da questa mailing list.

ciao
Piero ( mi trovate come @piersoft in pratica dappertutto)

Francesco Piero Paolicelli

unread,
Sep 2, 2013, 8:55:55 AM9/2/13
to spaghett...@googlegroups.com
Ok ma posso integrarla in ckan e soprattutto ne vale la pena?

Datastore potrei anche abilitarlo ma sinceramente aspetto prima di capire come si popoleranno i dati e con che frequenza prima di mettere altra carne al fuoco


Apposta Team
FB: Apposta
TW: @Apposta
AppStore/GooglePlay: Apposta


Francesco Piero Paolicelli

unread,
Sep 2, 2013, 9:13:04 AM9/2/13
to spaghett...@googlegroups.com

Ammazza come siete organizzati.
Matrix e grande fratello fusi dentro ;-)

Apposta Team
FB: Apposta
TW: @Apposta
AppStore/GooglePlay: Apposta


--

Tommaso Di Noia

unread,
Sep 2, 2013, 9:31:03 AM9/2/13
to spaghett...@googlegroups.com
Direi che per il momento (ma solo per il momento :-) ) questo è già un ottimo risultato. Del resto chi pubblica OD a 3 stelle o inferiori come in questo caso, nella stragrande maggioranza, si ferma a questo livello di esposizione ed accesso. Non mette a disposizione una API per interrogare il contenuto dei dataset. Cosa diversa se vogliamo andare verso OD a 4 o 5 stelle, cosa che mi piacerebbe ed interesserebbe tantissimo discutere... ma questa è un'altra storia.

Francesco Piero Paolicelli

unread,
Sep 2, 2013, 9:55:42 AM9/2/13
to spaghett...@googlegroups.com
Ho visto che c'è un modulo che mette le stelle affianco al dataset .
Un'autovotazione in base al formato.

Ma la domanda è: che si vince? C'è una classifica?


Apposta Team
FB: Apposta
TW: @Apposta
AppStore/GooglePlay: Apposta


Francesca Di Donato

unread,
Sep 2, 2013, 2:51:50 PM9/2/13
to spaghett...@googlegroups.com
Salve a tutti,

cerchiamo uno sviluppatore per lavorare su Pundit (http://www.thepund.it)

posto anche qui il testo dell'offerta, sperando possa interessare qualcuno.

Saluti,
francesca


-----------
-----------
Front End Developer

Job Description

We are looking for a reliable, passionate and talented frontend developer to join the Pundit core development team. The position is full-time and salary is negotiable depending on experience.

Pundit (http://thepund.it) is an innovative, award-winning[1], Open Source, semantic annotation tool.

Pundit is being developed by Net7 in the context of several international projects, in collaboration with some of the most innovative and important research institutions world-wide. Pundit is already being used in multiple environments operating in various fields, from cultural heritage to legal information, art and medicine.

The candidate will be responsible for designing and developing core features of the system, in particular regarding Pundit’s complex User Interface. We expect you to be passionate, skilled and very creative in applying state-of-the art technologies and methodologies to design elegant UIs that make users feel at home even while performing complex tasks.  

Since the result of this project will be a crucial component of Net7’s infrastructure, this position provides you the perfect opportunity to grow, develop and enhance your career as we continue to build a great product.

 

 

HOW TO APPLY
Send us your CV (no .doc files plz!) and a short informal introduction about yourself at c...@netseven.it specifying “Pundit frontend developer” in the subject.
Please don’t forget to include links to projects you contributed to or some code we can look at.

 

 

[1] First Prize at the LODLAM Challenge in Montreal, during June 2013 http://summit2013.lodlam.net/challenge/ .

Desired Skills & Experience

The successful candidate will:

- Have *outstanding* skills in HTML(5), CSS(3), RWD
- Be a Javascript Wizard
- Have at least a BSc degree
- Be obsessed with usability, beauty and elegance of UIs
- Love to learn, discuss and share knowledge with the rest of the team
- Have a rock-solid Computer Science background
- Be familiar with *nix systems as a user (Linux / OS X, ...)

The following are a plus:

- Experience with mobile development
- Knowledge of the Dojo javascript toolkit
- Contributions to Open Source Software projects
- Previous experience developing in environments using Agile / TDD / CI / Git
- Some familiarity with RDF and semantic web technologies
- Basic understanding of Italian language or willingness to learn the basics (although you can speak english with the rest of the team!)


Francesco Piero Paolicelli

unread,
Sep 2, 2013, 3:25:08 PM9/2/13
to spaghett...@googlegroups.com
ok ho abilitato anche DataStore.




mi da non trovato.. ci lavoro stanotte a meno di fesserie che ora mi sfuggono.



--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Vincenzo Patruno

unread,
Sep 3, 2013, 3:59:33 AM9/3/13
to spaghett...@googlegroups.com

Però, visto che i files di open government data tendono ad essere piccoli (OpenCoesione a parte), forse è... la logica che non è logica! Da un punto di vista del detentore dei dati, non avrebbe più senso un flusso in cui i dati dell'ente (Comune, metti), al momento dell'aggiornamento, vengono caricati su un DB accessibile con chiamata dal web? Per applicazioni semplici (quasi tutte) questo toglie l'incentivo a fare copie del dataset che poi rimangono non aggiornate. Insomma, forse avrebbe senso andare verso "API by default". No?


Prendo spunto da questa riflessione di Alberto per fare qualche considerazione. Non sono esaustive ma sono le prime che stamattina mi sono venute in mente


1) In realtà caricare un file csv all’interno di un DB non è di per sè un grosso ostacolo. Socrata ad esempio ha semplificato molto questo passaggio


http://support.socrata.com/entries/24241271-Setting-up-a-basic-DataSync-job


mentre per quanto riguarda CKAN è un pò più “hardcore” ma grosso modo alla fine si fa anche quello (Riporto qui il link alla documentazione che aveva girato Michele)


http://docs.ckan.org/en/latest/datastore.html


Ad ogni modo ciò non toglie che di fatto il punto di partenza è che i dataset devono essere comunque generati come se si dovessero pubblicare su catalogo. A questo si aggiungerebbe un ulteriore step che è quello del caricamento nel DB


2) Il DB che ne uscirebbe sarebbe del tutto SENZA relazioni. Di fatto sarebbe solo un insieme di tavole di dati. A meno di non modellarlo appositamente convergendo verso metadati standard. Ma questo aggiungerebbe complessità a tutto il processo di gestione e pubblicazione dati, complessità che andrebbe gestita e lo sforzo sarebbe comunque importante.


3) Avere API che puntano sulla singola tavola di dati acquista un senso non tanto perchè in questo modo chi utilizza i dati riesce ad ottenere la “jsonizzazione” di un csv puntando un url, ma acquista un senso nel momento in cui quello che viene messo in piedi è un flusso “continuo” di dati che il produttore immette su web.


Mi spiego meglio: supponiamo che l’ufficio “ambiente” del Comune decide di pubblicare ogni giorno i dati delle centraline per la rilevazione del PM10. Piuttosto che pubblicare ogni giorno una tavola di dati ha molto più senso gestire una tabella di un DB in cui i nuovi dati vengono “appesi” a quelli precedenti (dando quindi la possibilità di gestire una serie storica).

Chi sviluppa applicazioni avrà tutto l’interesse ad interfacciarsi attraverso API. Non ultimo il fatto che poichè ci sono ogni giorno nuovi dati, chi sviluppa ha in modo "empirico" la rassicurazione che quella fonte di dati è una fonte di dati affidabile e su cui ha senso andarci a piazzare delle applicazioni. Personalmente non aggancerei mai un mio programma a dei dati che cambiano raramente non sapendo se effettivamente l’ufficio preposto li andrà ad aggiornare quando arriva il momento oppure se ne dimentica, oppure il tipo che lo fa va in pensione ecc ecc. A meno che non si tratti dell’Istat! :-)


Vinc


2013/9/2 Alberto <alberto...@gmail.com>



--

Maurizio Napolitano

unread,
Sep 3, 2013, 4:27:35 AM9/3/13
to Spaghetti Open Data
Diciamo che ho usi CKAN o usi SOCRATA
Socrata sicuramente ti da delle API piu' dettagliate di CKAN.
Detto in altre parole:
con le api di ckan riesci ad avere informazioni sul catalogo,
con quelle di socrata puoi interrogare anche il contenuto dei dati.
Chiaramente ti devi anche modellare i dati per inserirli
della piattaforma.
nota che queste sono mie considerazioni "a sentimento" non
ho mai messo le mani su socrata.

2013/9/2 Francesco Piero Paolicelli <pier...@gmail.com>:

Francesco Piero Paolicelli

unread,
Sep 3, 2013, 4:28:24 AM9/3/13
to spaghett...@googlegroups.com
Sicuramente avete più esperienza su portali opendata già realizzati, ma a "naso" e vedendo i portali di firenze e trentino, sono molto pochi i dataset con aggiornamento continuo.
E' sicuramente comodo avere un puntamento ad un file tramite api o meno, ma parlando da sviluppatore di app, fino ad oggi avere puntamenti a json o xml senza avere API particolari, è la cosa più diffusa che si trova in rete.

Il Comune di Matera avrà alcune cose molto statiche (serie stranieri residenti sarà aggiornato semestralmente se ci va bene) ed altre, come dice Vincenzo, che potrebbero essere frequenti come inquinamento o parcheggio.

Ma le cose si costruiscono a steps. ( Datastore è attivo, se volete divertirvi, come ho scritto non riesco a puntare il singolo datasets ma sicuramente sbaglio io in qualcosa. )
Ma mano che conosco i settori del Comune, cercherò di capire quali sono le situazioni in cui avere flusso dati continuo. Per ora è un problema remoto. Mi accontenterei già che ogni settore mettesse qualche file che magari aggiorna settimanalmente.

il flusso continuo è chiaramente da intercettare da qualcosa a monte che non penso ad oggi ci sia:
1) Gis proprietario che non permette esportazioni
2) Catasto idem
3) Motorizzazione idem
4) Ambiente IDEM

vedrò cosa posso inventarmi.


Daniele Crespi

unread,
Sep 3, 2013, 4:30:02 AM9/3/13
to spaghett...@googlegroups.com
concordo con Vinc, che saluto visto che non lo vedo da tempo.

Noi con Socrata abbiamo iniziato ad automatizare l'aggiornamento di dataset senza troppa fatica.

Un esempio molto simile a quanto cita Vincezo è il dataset su Contributi e corrispettivi (ex art 18)
che viene aggiornato ogni giorno appendendo i nuovi record, in modo completamente automatico ed unattended

ciao
daniele

Francesco Piero Paolicelli

unread,
Sep 3, 2013, 4:40:22 AM9/3/13
to spaghett...@googlegroups.com
Daniele ciao,
Socrata, da quanto ho capito e da quanto ha detto Napo, è alternativo a CKAN con il suo modulo datastore.

Mi confermi?


Apposta Team
FB: Apposta
TW: @Apposta
AppStore/GooglePlay: Apposta


Maurizio Napolitano

unread,
Sep 3, 2013, 4:45:35 AM9/3/13
to Spaghetti Open Data
2013/9/3 Francesco Piero Paolicelli <pier...@gmail.com>
>
> Sicuramente avete più esperienza su portali opendata già realizzati, ma a "naso" e vedendo i portali di firenze e trentino, sono molto pochi i dataset con aggiornamento continuo.
> E' sicuramente comodo avere un puntamento ad un file tramite api o meno, ma parlando da sviluppatore di app, fino ad oggi avere puntamenti a json o xml senza avere API particolari, è la cosa più diffusa che si trova in rete.

concordo che sui portali da te citati non ci sono dataset cosi' aggiornati.
Ci sono pero' file .xml e .json che sono creati runtime dalle API (es.
i dati di meteotrentino)

> Il Comune di Matera avrà alcune cose molto statiche (serie stranieri residenti sarà aggiornato semestralmente se ci va bene) ed altre, come dice Vincenzo, che potrebbero essere frequenti come inquinamento o parcheggio.

Anche qui dipende come i file vengono generati, puo' essere come il
caso di sopra.


> il flusso continuo è chiaramente da intercettare da qualcosa a monte che non penso ad oggi ci sia:
> 1) Gis proprietario che non permette esportazioni

???????
che diavolo di GIS avete?
Ma i file che vengono fuori in che formato sono?
Ci sara' un convertitore, no?

> 2) Catasto idem

non usa il format cxf ?

> 3) Motorizzazione idem
> 4) Ambiente IDEM

Puoi mettere online questi file in modo che si possa prendere visione
per capire come
sono strutturati?

Questo e' il male del software proprietario

Maurizio Napolitano

unread,
Sep 3, 2013, 4:49:36 AM9/3/13
to Spaghetti Open Data
2013/9/3 Francesco Piero Paolicelli <pier...@gmail.com>
>
> Daniele ciao,
> Socrata, da quanto ho capito e da quanto ha detto Napo, è alternativo a CKAN con il suo modulo datastore.
>
> Mi confermi?

Socrata puoi prenderelo in hosting dall'omonima azienda
http://www.socrata.com/solutions/socrata-plans-and-pricing/

il codice dovrebbe essere disponibie
http://www.socrata.com/solutions/socrata-for-developers/
... ma non mi sono mai cimentato

Forse Daniele ha provato a farsi una istanza in casa


Altra alternativa e' la piattaforma di CSI Piemonte usata anche da
Regione Piemonte, Emilia Romagna, Comune di Milano ecc...

Francesco Piero Paolicelli

unread,
Sep 3, 2013, 5:03:51 AM9/3/13
to spaghett...@googlegroups.com
Grazie Maurizio.
Per ora lavoro su ckan. Se poi si evolvera' la cosa penso all'evoluzione.
Facciamo partire la macchina organizzativa che forse sara' il problema
piu' grosso

Apposta Team
FB: Apposta
TW: @Apposta
AppStore/GooglePlay: Apposta



Il giorno 03/set/2013, alle ore 10:49, Maurizio Napolitano
<napo...@gmail.com> ha scritto:

Tommaso Di Noia

unread,
Sep 3, 2013, 8:33:38 AM9/3/13
to spaghett...@googlegroups.com
Il rating con le stelle lo ha proposto un tal Tim Bernners-Lee. E' un modo per classificare il livello di apertura e di interoperabilità dei dati aperti.
http://5stardata.info/
qui c'è un'ottima disamina sul 5 star rating per OD.

p.s. in realtà la trovi anche a pag. 76 del libro che mi hai detto di aver preso ;-)

Francesco Piero Paolicelli

unread,
Sep 3, 2013, 8:58:53 AM9/3/13
to spaghett...@googlegroups.com
Non l'ho preso l'ho segnalato su indicazione di Vincenzo ;-)


Apposta Team
FB: Apposta
TW: @Apposta
AppStore/GooglePlay: Apposta


Daniele Crespi

unread,
Sep 3, 2013, 4:35:47 PM9/3/13
to spaghett...@googlegroups.com
Socrata è fornito come servizio in cloud (potremmo definirlo un SaaS) ed al livello minimo costa 2.000$/mese

garantisce però funzionalità molto avanzate, prestazioni eccezionali e SLA molto alti
50GB di dati, 250GB di traffico/mese, 250K API call al giorno !!!
API di consumo dei dati e API di publishing e molte altre cose


noi abbiamo valutato che il rapporto costo/prestazione fosse meglio che implementarci e gestirci un sistema in casa
ma ovviamente è una nostra valutazione

al momento siamo contenti e a gratis abbiamo continue evoluzioni del prodotto e del servizio
ultima 8che non so se sfrutteremo) un accordo con ChallengePost (forse la miglior piattaforma per iniziative
di crowdsourcing, usata ad es. da NYC per BigApps) che possiamo quindi usare a GRATIS

qualche mese fa Socrata ha iniziato a rilasciare la piattaforma in OpenSource
la trovi qui


a prima vista pare che rispetto a marzo abbia fatto diversi passi avanti

sarebbe carino che qualcuno in Italia la provasse .... 

ciao
daniele


Francesco Piero Paolicelli

unread,
Sep 3, 2013, 4:42:31 PM9/3/13
to spaghett...@googlegroups.com
Non credo che ci sia un budget del genere a disposizione per questa cosa. Buono a sapersi per il futuro.

Intanto ringrazio Vincenzo Patruno che oggi ha toccato con mano il processo di ingaggio del personale interno al Comune e quindi ha dato "sfoggio" della conoscenza sulla preparazione dei dataset. Abbiamo iniziamo a mappare i settori di interesse e chi puo' fare cosa

Apposta Team
FB: Apposta
TW: @Apposta
AppStore/GooglePlay: Apposta


Francesco Piero Paolicelli

unread,
Sep 5, 2013, 1:26:54 AM9/5/13
to spaghett...@googlegroups.com
ho provato ad inserire il modulo 5 stelle (nessun riferimento politico ;-) ) ma mi dava un sacco di errori. per ora lascio perdere.

Lo stato dell'arte ad oggi è:
1) abbiamo normalizzato quei pochi files inseriti cercando di renderli quanto più datasets possibili e meno tabelle
2) abbiamo tolto (oh my God) i PDF
3) abbiamo assecondato la voglia di avere rappresentazioni grafiche dei dati inseriti, per una questione di leggibilità e di appeal grafico, inserendo nella sezione correlati links esterni o grafici dinamici sulla falsa riga di opendata per tutti di firenze. lavoreremo meglio sull'html per una sezione più omogenea. Esempio http://dati.comune.matera.it/graph/cognomidiffusi30_08_torta.html
4) inserito Datastore 
5) inserito modulo disqus, eliminando pubblicità a link altri, in modo da commentare i singoli datasets
6) inserito script, non sempre funzionante ma cmq ottimo, suggerito da Napo, per far trasformare i files csv in json direttamente dal menu a tendina Esplora nel singolo dataset, con il controllo che appare solo su files csv
7) inserita una sezione "delicata" e in prova che include l'elenco dei beni alineabili del comune. Ora andremo negli uffici preposti e cercheremo di avere delle georefenziazioni puntuali
8) inserita sulla community di Matera2019 un post ad hoc (http://community.matera-basilicata2019.it/content/nasce-il-portale-opendata-comune-di-matera-we-want-you) per iniziare a raccogliere i desiderata dalla popolazione per dare una priorità di lavorazione su che tipo di dataset usare

mi sono perso qualcosa?

Francesco Piero Paolicelli

unread,
Sep 13, 2013, 12:51:52 PM9/13/13
to spaghett...@googlegroups.com
Bene ragazzi, continuo il mio percorso da neofita.

Ho messo altri dataset e sto predisponendo la vita un pò "semplice" agli impiegati in modo che aggiornino frequentemente in autonomia la banca dati.

in funzione di questo, nei dataset, oltre al convertitore csv to json ho inserito un convertitore csv to geojson, grazie all'imbeccata del prezioso Napo,

per cui l'utente può anche controllare l'effetto della conversione su OSM prima di fare l'upload del file convertito.

In questi giorni è stato lanciato il portale ufficialmente e il sito dati.gov.it ci ha mappati e "giudicati".


Vi ringrazio tutti per questo work in progress collettivo.
Piersoft




--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/BfXA1CCHy6w/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.

Matteo Brunati

unread,
Oct 7, 2013, 9:24:49 AM10/7/13
to spaghett...@googlegroups.com
Ciao a tutti,
 nel frattempo ho fatto emergere il lato open del processo in corso su Matera, raccontandolo sull'epsiplatform:


Nel we faremo la formazione e vediamo come andrà: ne riparleremo dalla prossima settimana, anche per una maggiore inclusione lato comunità, il post formazione infatti è tutto da pensare, sia nei contenuti che nelle modalità operative.
Nel frattempo anche SOD è in prima linea. E pure Matera :)

Work in progress,

 matt

ps - quei mattacchioni del team editoriale dell'epsi nel we lo avevano pubblicato sotto il nome di Alberto, hanno avuto un lapsus eh eh, solo stamattina hanno sistemato, pure cambiando l'url però. Comunque oltre 1000 visualizzazioni, merito del cambio del nome? :) http://www.epsiplatform.eu/blogs 
Reply all
Reply to author
Forward
0 new messages