Step 2: condividere le regole per popolare il sito

11 views
Skip to first unread message

Alberto

unread,
Oct 14, 2010, 9:13:44 AM10/14/10
to Spaghetti Open Data
Dalle ultime discussioni ho capito che siamo quasi pronti per
"lanciare" il nostro sassolino. Grazie soprattutto agli sforzi di
Matteo e Stefano abbiamo una cosa che più o meno funziona. La cosa che
ancora non si capisce benissimo (almeno, io non la capisco) è come si
fa a riportare la diversità dei singoli database allo schema
dell'Excel proposto da Matteo. Per esempio, tempo fa si parlava di
links di tre tipi: dati, tools, persone disposte a dare una mano. Se
voglio segnalare una persona o un gruppo di persone disposte a dare
una mano cosa scrivo nel campo "type"? E in "maintainer", visto che
ovviamente le persone non hanno un maintaner? Insomma, sento il
bisogno di una guida alla compilazione-

Vi faccio una proposta: mi offro volontario per provare a rendere
questa cosa chiara e usabile, scrivendo una miniguida alla
compilazione (una pagina o due). Per questo ho bisogno di sentirmi con
Matteo, fargli alcune domande e forse proporre qualche modifica alla
struttura dell foglio elettronico. Appena siamo pronti (direi tra
circa una settimana) vi chiederò di inserire tutti i vari link.

Può andare bene? Matteo, hai tempo lunedì mattina di fare una
conference Skype? Stefano, tu puoi partecipare?

Matteo Brunati

unread,
Oct 14, 2010, 9:27:09 AM10/14/10
to spaghett...@googlegroups.com

> Dalle ultime discussioni ho capito che siamo quasi pronti per
> "lanciare" il nostro sassolino. Grazie soprattutto agli sforzi di
> Matteo e Stefano abbiamo una cosa che pi� o meno funziona. La cosa che
> ancora non si capisce benissimo (almeno, io non la capisco) � come si
> fa a riportare la diversit� dei singoli database allo schema

> dell'Excel proposto da Matteo. Per esempio, tempo fa si parlava di
> links di tre tipi: dati, tools, persone disposte a dare una mano. Se
> voglio segnalare una persona o un gruppo di persone disposte a dare
> una mano cosa scrivo nel campo "type"? E in "maintainer", visto che
> ovviamente le persone non hanno un maintaner? Insomma, sento il
> bisogno di una guida alla compilazione-

allora, in effetti per ora � attiva la parte dei dataset.
Ovviamente � molto limitata al momento, parliamone pure di come ampliarla.

entro domenica vedo di attivare anche le restanti due. ( persone e tools )

Teniamo conto che al momento lo step di usare direttamente il foglio
elettronico � una cosa temporanea, che rimane tra di noi...

Poi la form di Stefano dovrebbe diventare la norma.
Visto che al momento entrambe vanno a popolare un foglio elettronico di
Google, non dovremmo avere grossi problemi.

>
> Vi faccio una proposta: mi offro volontario per provare a rendere
> questa cosa chiara e usabile, scrivendo una miniguida alla
> compilazione (una pagina o due). Per questo ho bisogno di sentirmi con
> Matteo, fargli alcune domande e forse proporre qualche modifica alla
> struttura dell foglio elettronico. Appena siamo pronti (direi tra

> circa una settimana) vi chieder� di inserire tutti i vari link.
>
> Pu� andare bene? Matteo, hai tempo luned� mattina di fare una


> conference Skype? Stefano, tu puoi partecipare?
>

Per la conference su skype a me andrebbe meglio dalle 19.15 in poi luned�
sera, se non fosse un problema.
Oppure facciamo dal vivo a Milano per chi ci sar� a SMAU: io sar� gi� il
20, tu Alberto ci saresti? Pensavi di passare?

Matt


Federico

unread,
Oct 14, 2010, 10:56:44 AM10/14/10
to Spaghetti Open Data
Penso si dovrebbe dare qualche ritoccata alla homepage per evidenziare
(carattere più grande, grasseto) gli
indirizzi email a cui bisogna scrivere per segnalare dati.

Se posso aiutare in qualcosa ditemelo pure.

Federico

On 14 Ott, 15:27, "Matteo Brunati" <m...@blog.dagoneye.it> wrote:
> > Dalle ultime discussioni ho capito che siamo quasi pronti per
> > "lanciare" il nostro sassolino. Grazie soprattutto agli sforzi di
> > Matteo e Stefano abbiamo una cosa che pi� o meno funziona. La cosa che
> > ancora non si capisce benissimo (almeno, io non la capisco) � come si
> > fa a riportare la diversit� dei singoli database allo schema
> > dell'Excel proposto da Matteo. Per esempio, tempo fa si parlava di
> > links di tre tipi: dati, tools, persone disposte a dare una mano. Se
> > voglio segnalare una persona o un gruppo di persone disposte a dare
> > una mano cosa scrivo nel campo "type"? E in "maintainer", visto che
> > ovviamente le persone non hanno un maintaner? Insomma, sento il
> > bisogno di una guida alla compilazione-
>
> allora, in effetti per ora � attiva la parte dei dataset.
> Ovviamente � molto limitata al momento, parliamone pure di come ampliarla.
>
> entro domenica vedo di attivare anche le restanti due. ( persone e tools )
>
> Teniamo conto che al momento lo step di usare direttamente il foglio
> elettronico � una cosa temporanea, che rimane tra di noi...
>
> Poi la form di Stefano dovrebbe diventare la norma.
> Visto che al momento entrambe vanno a popolare un foglio elettronico di
> Google, non dovremmo avere grossi problemi.
>
>
>
> > Vi faccio una proposta: mi offro volontario per provare a rendere
> > questa cosa chiara e usabile, scrivendo una miniguida alla
> > compilazione (una pagina o due). Per questo ho bisogno di sentirmi con
> > Matteo, fargli alcune domande e forse proporre qualche modifica alla
> > struttura dell foglio elettronico. Appena siamo pronti (direi tra
> > circa una settimana) vi chieder� di inserire tutti i vari link.
>
> > Pu� andare bene? Matteo, hai tempo luned� mattina di fare una
> > conference Skype? Stefano, tu puoi partecipare?
>
> Per la conference su skype a me andrebbe meglio dalle 19.15 in poi luned�
> sera, se non fosse un problema.
> Oppure facciamo dal vivo a Milano per chi ci sar� a SMAU: io sar� gi� il

Alberto Cottica

unread,
Oct 14, 2010, 11:03:38 AM10/14/10
to spaghett...@googlegroups.com
Federico, hai ragione... in generale (e indipendentemente dalla guida o FAQ) l'estetica della pagina potrebbe beneficiare di un po' di lavoro. Se hai proposte, e se troviamo una modalità tecnica (la pagina sta su dagoneye, quindi per modificare il codice ti servono i dati di accesso di Matteo), potresti lavorarci un po' tu e produrre una versione che poi ci guardiamo tutti. No?

Matteo Brunati

unread,
Oct 14, 2010, 11:15:32 AM10/14/10
to spaghett...@googlegroups.com

> Federico, hai ragione... in generale (e indipendentemente dalla guida o
> FAQ)
> l'estetica della pagina potrebbe beneficiare di un po' di lavoro. Se hai
> proposte, e se troviamo una modalit� tecnica (la pagina sta su dagoneye,

> quindi per modificare il codice ti servono i dati di accesso di Matteo),
> potresti lavorarci un po' tu e produrre una versione che poi ci guardiamo
> tutti. No?
>
>
> Il giorno 14 ottobre 2010 16:56, Federico <fed...@tin.it> ha scritto:
>
>> Penso si dovrebbe dare qualche ritoccata alla homepage per evidenziare
>> (carattere pi� grande, grasseto) gli

>> indirizzi email a cui bisogna scrivere per segnalare dati.
>>
>> Se posso aiutare in qualcosa ditemelo pure.
>>
>> Federico

In effetti il lato grafico al momento � proprio minimale.

La pagina � un puro HTML + fogli di stile associati e relative immagini
per cui potresti gi� lavorarci su, Federico volendo, semplicemente
scaricandola e mettendola online su un tuo spazio. In questo momento i
dati arrivano dal foglio di google, ma in maniera totalmente indipendente
da dove poi si va a posizionare la cosa che li mostra, che possono essere
anche pi� pagine diverse.
Questo � uno dei vantaggi che abbiamo usando tali tecnologie che dividono
totalmente il dato dalla sua presentazione.

Poi per dove posizionarla nella fase di lancio, � un attimo spostarla
anche su cottica.net visto che ho i dati di accesso.

cottica.net/spaghettiopendata tipo?

E qui scatta la problematica sulla questione del come lanciare la cosa.
Cominciamo a discuterne, parallelamente alla parte tecnica su un nuovo
thread?

E se fosse meglio attivare un dominio base tipo opendataitaly.org,
dateidatipubblici.org o similari per dare maggiore focus sull'esigenza
sociale che stiamo catalizzando? ( che � indipendente dalle nostre
persone... )

Sto studiando la mappa della diffusione degli open data in uk, e la prima
cosa che � nata bottom up � stato theyworkforyou.com, giusto per dire.

Matt

Federico

unread,
Oct 14, 2010, 5:09:30 PM10/14/10
to Spaghetti Open Data
Ok, ho visto: diciamo che gli interventi lato grafica che si possono
fare sono minimi ma cerco di lavorarci.

Stefano Durì - ASTER

unread,
Oct 17, 2010, 4:21:13 PM10/17/10
to Spaghetti Open Data
Stavo pensando a come organizzare il rapporto con CKAN. Mi vengono in
mente due strade:
a) strutturare i dati in modo che siano compatibili (mappabili) con i
loro (ad es. deve esserci per ogni record un identificativo univoco
composto di soli a-z,0-9 e -_). A quel punto possiamo utilizzare le
loro API per caricarli nel repository CKAN, mantenendo comunque un
archivio separato. Questo significa:
- assicurarsi che lo spreadsheet sia mappabile, in particolare
attribuire un ID a ogni riga
- realizzare uno script che peschi le righe dello spreadsheet e (via
API) le carichi su CKAN (vedo ad es. che esiste un'interfaccia in PHP:
http://github.com/jeffreybarke/Ckan_client-PHP/blob/master/demos/package.php)
- continuare a gestire la visualizzazione dei dati usando Exhibit, che
io (ma penso un po' tutti) trovo ottimo
b) archiviare le informazioni SOLO sul loro repository e - sempre
tramite API - "leggerlo" periodicamente in modo da poter visualizzare
con Exhibit le informazioni CKAN (a questo punto relative a TUTTI i
dataset italiani). Questo comporta la realizzazione di uno script che
(sempre via API) legge i record CKAN e li trasforma in spreadsheet
(sempre che non troviamo il modo di far funzionare la cosa in modo
dinamico, ad es. sostituendo la pagina HTML statica con uno script che
crea on the fly la pagina stessa comprensiva dei dati in formato JSON
- ma temo che sarebbe un po' lenta)

Colgo l'occasione per segnalare anche un articolo di Lessig (ma
probabilmente sono l'ultimo qui in mezzo a leggerlo) che mi pare
interessante: http://www.tnr.com/article/books-and-arts/against-transparency

Pietro

unread,
Oct 18, 2010, 3:45:59 AM10/18/10
to spaghett...@googlegroups.com
Stefano ha ragione.
Io credo che l'obiettivo principale debba essere la non ridondanza del database.
Del resto CKAN è un progetto molto solido a livello internazionale, e logica e buonsenso vorrebbe che si contribuisse ad esso senza duplicare le basi di dati.
Iniziative come la nostra d'altro canto sono preziosissime proprio perchè tese a creare quella massa critica fondamentale affinchè CKAN possa crescere.
E allora 2+2=4
Ovvero, a mio modesto avviso è più interessante l'opzione b) che ha proposto Stefano, perchè pur mantenendo la nostra autonomia, sia nell'alimentazione di CKAN che nella sua "interrogazione" mediante le API, contribuiremo alla costruzione di un unico repository.

my 2 cents,
Pietro


2010/10/17 Stefano Durì - ASTER <redazio...@gmail.com>

Matteo Brunati

unread,
Oct 18, 2010, 8:46:18 AM10/18/10
to spaghett...@googlegroups.com

Sono d'accordo in pieno, ed in effetti � la strada che ho sempre
appoggiato, quella dell'integrazione con CKAN. Probabilmente il modello
inglese di data.gov � quello migliore, da usare come traccia.

Ho dato un'occhiata a data.gov.uk, sito che usa drupal + modulo di
integrazione con CKAN per girare se non erro. Mi pare che la parte sociale
del sito, quella del forum e annessi sia quella che debba scalare meglio,
no? E quella dove noi possiamo dire la nostra, per attirare e facilitare
la massa critica di utenti a dialogare con i dataset, e a far emergere
quello di cui ha bisogno.

Per il resto, gli inglesi si appoggiano al CKAN, mostrato assai bene in
questa figura:

-> http://blog.okfn.org/2010/02/23/introducing-datapkg/

Nel data.gov americano, quando hanno iniziato ad integrare le tecnologie
del Semantic Web, che ricordo non sono nate con il portale medesimo come
con i fratelli inglesi ma integrate ed inserite grazie alla community,
hanno raccolto esperienze varie su Simile Exhibit:

-> http://data-gov.tw.rpi.edu/wiki/Simile_Exhibit

Se le API del CKAN riuscissero a gestire il formato SPARQL XML, il lavoro
di lettura sarebbe gi� pronto, visto che esiste un xsl che trasforma live
la cosa, e andrebbe gestito solo l'inserimento ( cosa che ha gi� fatto in
parte Stefano in effetti ).
Appoggio quindi l'opzione b in toto.
Poi per la quantit� di dati attuale, la lentezza non credo ci debba
impensierire.

Tra l'altro, hanno fatto pure un test partendo direttamente a visualizzare
un XML dal data.gov americano usando Exhibit come motore attraverso il
tool di import degli xml .)

->
http://mit.edu/rmcqueen/Public/exhibit/src/webapp/examples/XmlImporterExample/dataGovExample.html

Possiamo giocarci per facilitare l'inserimento e la visualizzazione,
integrandolo, senza re-inventare la ruota .)

Matt


> Stefano ha ragione.
> Io credo che l'obiettivo principale debba essere la non ridondanza del
> database.

> Del resto CKAN � un progetto molto solido a livello internazionale, e


> logica
> e buonsenso vorrebbe che si contribuisse ad esso senza duplicare le basi
> di
> dati.

> Iniziative come la nostra d'altro canto sono preziosissime proprio perch�
> tese a creare quella massa critica fondamentale affinch� CKAN possa
> crescere.
> E allora 2+2=4
> Ovvero, a mio modesto avviso � pi� interessante l'opzione b) che ha
> proposto
> Stefano, perch� pur mantenendo la nostra autonomia, sia nell'alimentazione


> di CKAN che nella sua "interrogazione" mediante le API, contribuiremo alla
> costruzione di un unico repository.
>
> my 2 cents,
> Pietro
>
>

> 2010/10/17 Stefano Dur� - ASTER <redazio...@gmail.com>

Reply all
Reply to author
Forward
0 new messages