A proposito dell'harvesting da dati.gov.it

[andy]

Buonasera,

domani ci sarà la prima riunione del team open data del comune di Palermo. E' aperta al pubblico e alcuni di noi di Open Data Sicilia ci saremo.

Il portale open data del mio comune non si presta in modo "automatico" all'harvesting e lo farò notare. E penso che questo sia la causa del non aggiornamento su dati.gov.it che espone 302 dataset su 341.

Ma ho visto che anche per il comune di Lecce, su cui l'harvesting dovrebbe essere "semplice", ci sono 68 dataset su 209.

Avete idea se al momento l'harvesting sia bloccato o se venga fatto solo per i portali che espongono il catalogo secondo determinate specifiche?

Grazie

--

 Andrea Borruso
website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E, EPSG:4326

--

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

[Matteo Brunati]

Ciao Andrea,
il punto che io sappia è: l'harvesting è per lo più fermo da settembre 2015, ma non ho trovato riferimenti ufficiali in giro, se ne parla ogni tanto in lista[0], e sto andando a memoria. (per cui è molto con le pinze)

Imho questo problema di aggiornamento è una delle pecche a livello di governance più grosse che abbiamo: l'investimento in dati.gov.it segnala la coerenza e l'interesse a livello centrale per il tema, è questo è bel problema di immagine e di commitment lato governativo. Dire che è imbarazzante è dire poco.

Per il resto, mi pare che l'harvesting stia per ripartire usando direttamente la nuova specifica DCAT-AP-IT, ne avevo accennato nel thread che raccoglieva gli spunti sulla governance[1]. Ci sono delle slide che lo riprendono ma non ho idea delle tempistiche:

• http://eventipa.formez.it/sites/default/files/allegati_eventi/GiorgiaLodi_ProssimiPassi.pdf

La guida credo ancora valida che era stata diffusa per gestirsi al meglio con l'harvesting era questa:

https://docs.google.com/document/d/1niBkBRJ-rxAKVJpttnDkf5xfqeMDtV_94ViGXMlBRQM/edit

matt

[0] - https://groups.google.com/d/msg/spaghettiopendata/F3kSgjyaJ3s/ybn3AyoZCgAJ
[1] - https://groups.google.com/d/msg/spaghettiopendata/vwlPv_eN7Fg/fyaK9quFAQAJ

[Francesco Piero Paolicelli]

l'harvesting è fermo per tutti. l'Agid prima ha voluto definire il DCAT_AP-IT ed ora ricomincerà l'harvesting.

Come ha detto Giorgia Lodi nei vari webinar, avverrà o per mezzo di un webform dove per ogni dataset, la PA locale deve inserire tutti i metadati secondo il nuovo vocabolario, oppure vanno aggiornati i vari ckan/dkan/socrata ect a questo nuovo vocabolario e quindi poi AGID prenderà di nuovo in automatico i dati locali.

Quando avverrà questo non è dato saperlo.

Piersoft

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

[andy]

Grazie a tutti.

Che ne dite allora di proporre ad AGID di inserire nella "testa" della pagina dati un alert del tipo "Attenzione alcune sezioni del catalogo non sono aggiornate, fate riferimento pertanto alle fonti originarie.". E questo output potrebbe essere inserito anche nella testa dell'output delle interrogazioni via API.

Penso che sia importante perché chi cerca dati per inchieste, ricerca, campagne civiche, didattica, ecc. sfrutta spesso dati.gov.it, perché è molto comodo sfruttare un unico punto centrale. E non avrebbe alcun motivo di fare un doppio check (sito centrale e sito locale), salvo non essere avvisato del mancato aggiornamento dei dati.

Che ne pensate?

[Riccardo Grosso]

Ottima idea andy

--

[Francesco Piero Paolicelli]

è un'idea ma non basterebbe. ci sono 26.000 dataset censiti da sciamlab contro i 10.000 di datigov.

ci sono 40 PA locali censite su datigov contro le più di 200 ormai che rilasciano dati. (inclusi i 180 comuni della PAT dentro ComunWeb).

l'utente che legge "riferitevi alle fonti originali" come fa a sapere quali siano?

Inviato da iPhone

[Daniele Crespi]

Segnalo che qualcuno l'harvesting da pressoché tuuti i portali sta continuando a farlo 

http://www.sciamlab.com/opendatahub/it

ergo se qualcuno vuole farsi un idea di cosa c'è in giro tramite un unico catalogo 

è meglio che lo faccia da lì

grazie a Sciamlab  :-)

Riguardo all'adeguamento a DCAT-AP e/o DCAT-AP_IT mi sono già espresso in altre sedi

è un costo di sicuro, i vantaggi sono meno chiari ....

Ciao

Daniele

[andy]

2016-06-01 9:39 GMT+02:00 Francesco Piero Paolicelli <pier...@gmail.com>:

è un'idea ma non basterebbe. ci sono 26.000 dataset censiti da sciamlab contro i 10.000 di datigov.

ci sono 40 PA locali censite su datigov contro le più di 200 ormai che rilasciano dati. (inclusi i 180 comuni della PAT dentro ComunWeb).

l'utente che legge "riferitevi alle fonti originali" come fa a sapere quali siano?

Francesco certo. Ma almeno un avviso ci dovrebbe stare. Così si rischia di fermarsi lì e continuare con il proprio lavoro, scoprendo dopo un po' che i dati non sono aggiornati.

[Francesco Piero Paolicelli]

potrebbero mettere un bel link a 
http://www.sciamlab.com/opendatahub/organization

ahaha :)
Inviato da iPhone

--

[Riccardo Grosso]

Esattamente :)

[Maurizio Napolitano]

> è un'idea ma non basterebbe. ci sono 26.000 dataset censiti da sciamlab
> contro i 10.000 di datigov.
> ci sono 40 PA locali censite su datigov contro le più di 200 ormai che
> rilasciano dati. (inclusi i 180 comuni della PAT dentro ComunWeb).

Credo che serva però un po' di bonifica in quanto ci sono:
- dati con licenze non aperte (ma è specificato)
- formati che non sono machine readable
- formati proprietari
- formati per documenti (es. html)

... sono troppo allergico ai WMS visti come open data

Per il resto rimane un gran bel lavoro

[andy]

A chi possiamo rivolgerci di AGID per l'aggiunta di questa nota?

Grazie

[Maurizio Napolitano]

2016-06-01 10:04 GMT+02:00 andy <abor...@gmail.com>:
> A chi possiamo rivolgerci di AGID per l'aggiunta di questa nota?

Guardando le competenze dei dirigenti qui
http://trasparenza.agid.gov.it/pagina50_dirigenti.html

direi Francesco Tortorelli

[cesare gerbino]

>>... sono troppo allergico ai WMS visti come open data

Concordo .... in realtà il WMS restituisce "immagini" (e poco altro ....), ... al più sono "open services" che è tutto un altro discorso .....

Se proprio vogliamo avvicinarci ai dati allora si dovrebbe parlare di WFS (meno pubblicati ..... ), anche se anche loro, per me, sono "open services" ...... 

Buona giornata

Cesare

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

Questo è un account di posta personale di Cesare Gerbino: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

This is Cesare Gerbino mail account. Text is written by Cesare Gerbino:  the views expressed  are mine and not necessarily those of my employer.

.

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

[Maurizio Napolitano]

2016-06-01 10:14 GMT+02:00 cesare gerbino <cesare...@gmail.com>:
>>>... sono troppo allergico ai WMS visti come open data
> Concordo .... in realtà il WMS restituisce "immagini" (e poco altro ....),
> ... al più sono "open services" che è tutto un altro discorso .....
> Se proprio vogliamo avvicinarci ai dati allora si dovrebbe parlare di WFS
> (meno pubblicati ..... ), anche se anche loro, per me, sono "open services"

Grazie Cesare per aver dato la definizione, come l'avevo messa sembrava
fosse una cosa troppo criptica.

Incalzo facendo presente che, per fare un WMS, servono i dati, quindi, non
ci sono scuse:
cacciate i dati con cui fate i wms e magari divulgateli anche via WFS ;)

[Maurizio Napolitano]

> Guardando le competenze dei dirigenti qui
> http://trasparenza.agid.gov.it/pagina50_dirigenti.html

Ci ho pensato un po' su, e credo che forse sarebbe il caso di scrivere
una lettera aperta dove riportare le firme dei diretti interessati da
mandare a Samaritani (direttore di AgID) e a Madia (ministra della
funzione pubblica).
I termini della lettera dovrebbero essere una spinta a prendere per
mano il tema open data in maniera più concreta.
Che ne pensate?

Ammetto una mia vena di scetticismo ma ...

Ciao

[Francesco Piero Paolicelli]

wms non sono opendata.
i dati dietro lo potrebbero essere :)
anche a me sembra una forzatura.

ma anche su datigov ci sono pdf e wms...

ricordo che l'ultimo harvesting è sempre basato su Amaca di Sciamlab.. :)

Inviato da iPhone

> --
> Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
> Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
> Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

> Per ulteriori opzioni, visita https://groups.google.com/d/optout.

[Francesco Piero Paolicelli]

potrebbe essere una cosa che Matteo Brunati potrebbe riportare il 6 all'incontro con Madia nel forum opengov

Inviato da iPhone

> --
> Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
> Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
> Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

[Maurizio Napolitano]

2016-06-01 10:28 GMT+02:00 Francesco Piero Paolicelli <pier...@gmail.com>:
> wms non sono opendata.
> i dati dietro lo potrebbero essere :)
> anche a me sembra una forzatura.
>
> ma anche su datigov ci sono pdf e wms...

In alcuni casi pdf e wms sono presenti come arricchimento di un
dataset e quindi è tollerabile.
Quello che non va bene è quando si mette solo il WMS.
Ho dato una occhiata anche a quei dati che sono catalogati come "HTML"
in realtà puntano
a delle pagine web dove ci sono i download dei file in formato .tiff

Ci sarebbe poi da fare una ulteriore bonifica sulle organizzazioni e
su ridondanza di dati.

[andy]

2016-06-01 10:25 GMT+02:00 Maurizio Napolitano <napo...@gmail.com>:

Ci ho pensato un po' su, e credo che forse sarebbe il caso di scrivere
una lettera aperta dove riportare le firme dei diretti interessati da
mandare a Samaritani (direttore di AgID) e a Madia (ministra della
funzione pubblica).

Se inviassi comunque la richiesta minimale di sopra, relativa ad inserire almeno un avviso, sarei di "impiccio" a questa tua proposta?

Se sì, mi fermo e resto in attesa.

[Daniele Crespi]

a proposito di "organizzazioni", noi come altre Regioni, ospitiamo dati di altri EELL (comuni, provincie, Comunità montane)

quindi il fatto che siano nel nostro sito e nel nostro catalogo non vuol dire che vadano contati come di regione lombardia

nei metadati l'owner è indicato ed andrebbe considerato per definirne l'ente pubblicante

ciao

dan

[andy]

Sui WMS: finché si tratta foto aree, insomma di basi da usare come sfondo, direi che sono dati. Fra l'altro molto più comodi (in dipendenza dell'uso) di un download di decine di GeoTIFF. E si potrebbe fare qualche altro esempio.

I WFS direi però che sono sicuramente dati. E' vero è un servizio, ma molti dati aperti vengono esposti tramite API REST, insomma tramite servizi. Il WFS è un servizio "speciale", per dati "speciali".

I miei 0,5 cents

[Maurizio Napolitano]

2016-06-01 12:17 GMT+02:00 andy <abor...@gmail.com>:
> Sui WMS: finché si tratta foto aree, insomma di basi da usare come sfondo,
> direi che sono dati. Fra l'altro molto più comodi (in dipendenza dell'uso)
> di un download di decine di GeoTIFF. E si potrebbe fare qualche altro
> esempio.

concordo sul discorso ortofoto, anche se poi è importante anche avere
i geotiff per fare altri tipi di analisi come pattern recognition
Es.
https://github.com/trailbehind/DeepOSM

> I WFS direi però che sono sicuramente dati. E' vero è un servizio, ma molti
> dati aperti vengono esposti tramite API REST, insomma tramite servizi. Il
> WFS è un servizio "speciale", per dati "speciali".

Stessa cosa vale per i WCS :)
https://it.wikipedia.org/wiki/Web_Coverage_Service

> I miei 0,5 cents
>
>
> --
> Andrea Borruso
> website: http://blog.spaziogis.it
> 38° 7' 48" N, 13° 21' 9" E, EPSG:4326
>
> --
>
> "cercare e saper riconoscere chi e cosa,
> in mezzo all’inferno, non è inferno,
> e farlo durare, e dargli spazio"
>
> Italo Calvino
>

> --
> Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open
> Data" di Google Gruppi.
> Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email,
> invia un'email a spaghettiopend...@googlegroups.com.
> Visita questo gruppo all'indirizzo
> https://groups.google.com/group/spaghettiopendata.
> Per altre opzioni visita https://groups.google.com/d/optout.

--
Maurizio "Napo" Napolitano
http://de.straba.us

[cesare gerbino]

solo una ultima precisazione poi, prometto, non proseguo per non andare fuori tema e anche perchè comprendo io per primo che è una disquisizione che sà un pò di lana caprina....

>> Sui WMS: finché si tratta foto aree, insomma di basi da usare come sfondo,
>> direi che sono dati. Fra l'altro molto più comodi (in dipendenza dell'uso)
>> di un download di decine di GeoTIFF. E si potrebbe fare qualche altro
>> esempio.

>concordo sul discorso ortofoto, anche se poi è importante anche avere
>i geotiff per fare altri tipi di analisi come pattern recognition

"Ni" .... per me il dato (raw?) resta l'ortofoto a cui si potrebbe essere interessati "ad is" (poi capisco che c'è il problema dimensioni, ecc .. ecc .. ma qui entriamo nel tecnicismo ... ), ad esempio per costruirmi un TMS per la consultazione che non sia quella di un WMS (con prestazioni anche diverse ...), mentre il WMS resta un "servizio" (meglio se open ...), che me ne facilita l'accesso mediante un protocollo standard universalmente riconosciuto.

>> I WFS direi però che sono sicuramente dati. E' vero è un servizio, ma molti
>> dati aperti vengono esposti tramite API REST, insomma tramite servizi. Il
>> WFS è un servizio "speciale", per dati "speciali".

"Ni"anche qui .... per me il dato (raw?) resta sempre il dato, il WFS resta un "servizio" (meglio se open ...), che me ne facilita l'accesso mediante un protocollo standard universalmente riconosciuto, un pò come avviene nel mondo non "geo" .... consideriamo dato il json esposto tramite un servizio che fà la quesry su database (per me, seguendo il ragionamenmto di cui sopra, no ovviamente, quello è un servizio ....), o consideriamo dato il CSV, export "piatto" del RDBMS, ecc ... (per me si seguendo il ragionamento di cui sopra). Poi anche qui c'è il problema dimensioni del dato (raw) ... 

Comunque, ripeto, è una disquisizione (piacevole?), e non la porto oltre anche perchè:

1. non credo che interessi ai più ....
2. siamo tutti allineati sulla sostanza che poi è quello che conta
3. e, poi,  ............................. chi sono io per mettermi a discutere con Napo e Andrea che mi insegnano queste cose e da cui spero di continuare ad imparare? ... :-)

A presto ... 

 

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

Questo è un account di posta personale di Cesare Gerbino: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

This is Cesare Gerbino mail account. Text is written by Cesare Gerbino:  the views expressed  are mine and not necessarily those of my employer.

.