stradari e numeri civici

[Flavia Marzano]

Mi chiedono info sulla disponibilità, in formato open, di stradari e numeri civici italiani.

Voi sapete qualcosa?

grazie
F

[Maurizio Napolitano]

A parte la mia solita risposta: openstreetmap la situazione è triste
Alcune pa hanno rilasciato questi dati altre no
Alcune con licenze poco riusabili come quelle che vietano la commercializzazione

ISTAT ha un db dei civici che è stato annunciato sarà rilasciato come open data ma siamo in attesa da tempo

[Flavia Marzano]

Il giorno 17/dic/2012, alle ore 12:35, Maurizio Napolitano ha scritto:

A parte la mia solita risposta: openstreetmap la situazione è triste
Alcune pa hanno rilasciato questi dati altre no

Ne conosci/ete qualcuna?

Alcune con licenze poco riusabili come quelle che vietano la commercializzazione

ISTAT ha un db dei civici che è stato annunciato sarà rilasciato come open data ma siamo in attesa da tempo

Grazie

F

[Luca Corsato]

argomento spinoso...

il caso di Venezia penso sia comune ad altre realtà: fino a poco tempo fa i civici erano un "patrimonio" che veniva venduto attraverso cd aggiornati annualmente a vettori o altri soggetti impegnati nella logistica.
Ora tali vendite, già esigue, sono praticamente scomparse, ma rimane la necessità di provvedere ad una disposizione dirigenziale che motivi il rilascio dei dati relativi ai numeri civici, in quanto qualcuno potrebbe sollevare un "mancato introito" con conseguente "danno erariale" (follie della PA che noi tutti amiamo)

spero sia utile

ciaociao

luca

[Maurizio Napolitano]

Bologna, Torino e Trento

[Edoardo Patruno]

Buongiorno a tutti,
l'Istat in questi anni ha acquisito tutti gli stradari dei maggiori comuni italiani al fine di poter effettuare il censimento della popolazione nel 2011.
Tramite una convenzione con l'Agenzia del Territorio (nella quale è previsto il rilascio dei dati a tutti) questa aquisizione ha riguardato anche tutti gli altri comuni.
Parliamo di stradari "certificati" e per i grandi comuni, di numeri civici puntuali.
Si sta lavorando per la standardizzazione e la normalizzazione degli stradari prima di poterli rendere pubblici e vi assicuro che non è un lavoro semplice.
L'idea è quella di poter rilasciare i dati man mano che vengono validati e questo dai primi mesi del prossimo anno.
Qualche altro dettaglio lo potete trovare qui:
http://www.slideshare.net/edopatruno/patruno-dipede-archivio-dei-numeri-civici-gfoss2012

Il giorno 17 dicembre 2012 12:45, Maurizio Napolitano <napo...@gmail.com> ha scritto:

Bologna, Torino e Trento

[ilmistra]

Testimone con Napo, Bologna, luglio scorso.
Istat, Poste e Agenzia del Territorio hanno messo insieme gli sforzi per rilevare TUTTI i civici e i toponimi italiani, promettendo che entro il 2012 li avrebbero messi a disposizione in formato open. Io ogni tanto controllo sul sito dell'Istat, capofila di questa cordata, ma non trovo nulla. Qualcuno sa qualcosa di più?
Due noticine a margine.
1) La prima che già in quella riunione, qualcuno criticava l'operazione. Numeri civici e toponimi li attribuiscono i comuni, perchè non "costringere" loro per esempio a metterli su OSM, per esempio, visto che c'è già e funziona bene? Oltretutto i civici rilevati un anno fa....sono già un po scaduti. Iphone Maps insegna, vero Napo?
2) Ho avuto notizia da molti piccoli comuni che i dati che loro avevano mandato all'Istat, rielaborati e restituiti per una verifica....erano pieni di errori. Anche qui, il modello top-down è pieno di problemi. Perchè non adottare il modello bottom-up di OSM ?

Terza informazione forse utile. L'Agenzia del Territorio ha normalizzato TUTTI i toponimi italiani, cosicchè chiunque voglia accatastare qualcosa, deve inserire il nome della via come definita dal catasto stesso. Questi archivi sono liberamente scaricabili, suddivisi per provincia. Sono solo elenchi di nomi di vie, nulla è dato in termini geografici. Però è qualcosa.

Quarta, chiedo scusa. Le mappa di Google, Tom Tom e compagnia cantante, hanno informazioni solo parziali dei civici, tipicamente da incrocio a incrocio, per cui la determinazione del civico viene fatta in via approssimata. A meno che qualcuno non dice questo punto è il civico tot. Ma ripeto, se non lo fa il comune, o il cittadino che in Google Maps vuol indicare con precisione il proprio negozio, non si riesce ad andare oltre.

La questione che poi solleva Luca è centrale. Tristemente centrale. Questi dati i comuni, nella gran parte, li hanno. Ma per poterli distribuire (cedere in formato open o venderli) devono comunque investire tempo e denaro. Che non hanno. E se te li cedono così, sotto banco, senza nessuna formalità, rischiano il mancato introito e la conseguente denuncia per "danno erariale".

Salviamo i dirigenti degli uffici anagrafici, troviamogli una soluzione ! Free your civic numbers!

P.

[Luca]

@mistra

i comuni ce li hanno tutti perché servono per comporre i seggi elettorali (altra cosa importantissima); in realtà non ci sono grossi costi nella distribuzione: moltissimi comuni usano dei gestionali che generano degli output in formato .xls da trasmettere poi agli altri uffici (urbanistica, commercio, edilizia, ecc ecc).

Il problema potrebbe essere costituito dal gestionale stesso o da uffici diversi che procedono all'aggiornamento (un elenco lo aggiorna l'elettorale, uno il commercio, uno l'urbanistica... con il risultato di 3 elenchi diversi!!).

Se c'è di mezzo l'agenzia del territorio, allora passo e ne riparliamo tra 30 anni: se sono loro a gestire i civici o a distribuirli si rischia "effetto dati catastali" di cui nessuno parla più ma che rimane un'idiozia autolesionista da parte della PA... ma su questo cedo il passo ;-)

luca corsato

+393339187853

fb luca.corsato

tw lucacorsato

www.lucacorsato.it

[ilmistra]

Se c'è di mezzo l'agenzia del territorio, allora passo e ne riparliamo tra 30 anni:

come darti torto Luca ? Resta il fatto che almeno i toponimi ci sono. E sono liberamente scaricabili, con quale tipo di licenza poi non saprei dirti. Certo un primo piccolo ma significativo passo, potrebbe essere quello di creare un API capace di pescare i toponimi già normalizzati da questo db. Promuovendola come l'API da agganciare via Ajax ad OGNI  campo dove viene richiesto un indirizzo. In modo che via Buonarroti, via Michelangelo e via Michelangelo Buonarroti, con buona pace degli ontologi, diventi finalmente la stessa via.

Operazione fattibile nei tempi di un hackaton, o nelle pause natalizie. Jquery autocomplete, Mashape per condividere l'API, due righe PHP e magari un semplicissimo db Sqlite (che poi ci agganciamo la definizione geografica in un secondo tempo). Io peraltro l'ho già in programma per questioni mie...

Paolo

ps. Credo di non dire sciocchezze, ma da alcune valutazioni condivise, i db catastali sono comunque dei .DAT gestiti da Visual Cobol !!!

[Maurizio Napolitano]

> 1) La prima che già in quella riunione, qualcuno criticava l'operazione.
> Numeri civici e toponimi li attribuiscono i comuni, perchè non "costringere"
> loro per esempio a metterli su OSM, per esempio, visto che c'è già e
> funziona bene?

[...]
Io non costringerei a metterli su openstreetmap.
Lascerei che sia comunita' di OpenStreetMap a prenderseli, anche perche'
si creerebbero un po' di problemi nel mantenere due base dati, oltre alla
questione della licenza ODbL

Tra l'altro la direttiva INSPIRE specifica anche come dovrebbero essere
fatti i dati sui numeri civici
http://inspire.jrc.ec.europa.eu/documents/Data_Specifications/INSPIRE_DataSpecification_AD_v3.0.pdf
e dei grafi di trasporto
http://inspire.jrc.ec.europa.eu/documents/Data_Specifications/INSPIRE_DataSpecification_TN_v3.1.pdf

> 2) Ho avuto notizia da molti piccoli comuni che i dati che loro avevano
> mandato all'Istat, rielaborati e restituiti per una verifica....erano pieni
> di errori. Anche qui, il modello top-down è pieno di problemi. Perchè non
> adottare il modello bottom-up di OSM ?

Rimango dell'idea che l'ente pubblico dovrebbe comunque validare le
segnalazioni.

> Terza informazione forse utile. L'Agenzia del Territorio ha normalizzato
> TUTTI i toponimi italiani, cosicchè chiunque voglia accatastare qualcosa,
> deve inserire il nome della via come definita dal catasto stesso. Questi
> archivi sono liberamente scaricabili, suddivisi per provincia. Sono solo
> elenchi di nomi di vie, nulla è dato in termini geografici. Però è qualcosa.

Dove e' il download? :)

> Quarta, chiedo scusa. Le mappa di Google, Tom Tom e compagnia cantante,
> hanno informazioni solo parziali dei civici, tipicamente da incrocio a
> incrocio, per cui la determinazione del civico viene fatta in via
> approssimata. A meno che qualcuno non dice questo punto è il civico tot. Ma
> ripeto, se non lo fa il comune, o il cittadino che in Google Maps vuol
> indicare con precisione il proprio negozio, non si riesce ad andare oltre.

Grande Paolo !
Mi dai occasione per lanciare la solita frecciatina:
spesso vedo PA che usano, sui loro siti, la mappa di google, allora mi chiedo
se quando cambia la toponomastica lo vanno a dire subito a Google, altrimenti
si trovano la mappa sbagliata ... mappa con cui dialogano con i cittadini

> La questione che poi solleva Luca è centrale. Tristemente centrale. Questi
> dati i comuni, nella gran parte, li hanno. Ma per poterli distribuire
> (cedere in formato open o venderli) devono comunque investire tempo e
> denaro. Che non hanno. E se te li cedono così, sotto banco, senza nessuna
> formalità, rischiano il mancato introito e la conseguente denuncia per
> "danno erariale".

... e' per questo che continuo a dire che il "raw data now" vale molto di piu'
che stare a teorizzare i vari standard.

> Salviamo i dirigenti degli uffici anagrafici, troviamogli una soluzione !
> Free your civic numbers!

... secondo me e' questione di tempo, fra inspire e psi sector, vedrai che
arriviamo al traguardo :)

[ilmistra]

Dove e' il download? :)

http://www.agenziaterritorio.it/site.php?id=6194

per le altre osservazioni, concordo con te Napo. Bottom-up vuol dire sostituirsi alla PA nel "mettere insieme", nel "recuperare" le informazioni, perchè non c'è più tempo per aspettare. La validazione, poi, certo spetta alla PA. Ma iniziamo ad abituarci a trattare dati "in attesa di validazione". Ho sotto gli occhi il Decreto 1/6/2001 che indica le modalità operative per l'istituzione del catasto delle strade. Si da tempo 5 anni per realizzare il grafo di tutte le strade, comprese quelle dei piccoli comuni. Era il 2001, son passati 11 anni. Credo che non compaia più nemmeno nel decreto milleproroghe...forse se ne sono proprio dimenticati. Ma sono ottimista anch'io Napo !

[Gianluca Sforna]

2012/12/17 ilmistra <p.mist...@gmail.com>:

> Quarta, chiedo scusa. Le mappa di Google, Tom Tom e compagnia cantante,
> hanno informazioni solo parziali dei civici, tipicamente da incrocio a
> incrocio, per cui la determinazione del civico viene fatta in via
> approssimata. A meno che qualcuno non dice questo punto è il civico tot. Ma
> ripeto, se non lo fa il comune, o il cittadino che in Google Maps vuol
> indicare con precisione il proprio negozio, non si riesce ad andare oltre.

Aggiungo comunque che Google ha dalla sua street view. Usando le
immagini tratte dalle macchine Google che girano le città c'è un
continuo miglioramento della posizione di numeri civici e negozi
(leggono le insegne!).

Maggiori info qua:
http://www.theatlantic.com/technology/archive/2012/09/how-google-builds-its-maps-and-what-it-means-for-the-future-of-everything/261913/



--
Gianluca Sforna

http://morefedora.blogspot.com
http://identi.ca/giallu - http://twitter.com/giallu

[ilmistra]

Avvicinandosi le feste, pensavo di fare un piccolo regalo a questa ML, però ho bisogno che mi assicuriate sul fatto che posso distribuire dei dati recuperati dalla rete rilasciati senza alcun tipo di licenza. (Napo...mi leggi?)

Come ho già anticipato sul tema dei toponimi, il Catasto li distribuisce liberamente per le finalità di accatastamento. Divisi per provincia. Li ho scaricati e riorganizzati in un db Sqlite, insieme ai nomi degli 8095 (98?) comuni italiani. Il db  indicizzato e compresso pesa 50 MB. E' l'elenco "ufficiale", almeno per il catasto, delle vie italiane. Elenco di nomi, attenzione, non grafo delle strade. Anche se potremmo facilmente integrarlo con quanto c'è su OSM. Magari anche solo per sapere quante strade non sono state ancora mappate!

Agli eroi di TyMep si potrebbe suggerire l'ipotesi di mettere in piedi un widgettino autocomplete che possa avere il massimo della diffusione, provando un po a fare concorrenza con Google rispetto alle loro funzioni di geocoding, peraltro soggette a limiti di uso giornalieri. Ma il tema evidentemente non è quello del che cosa ci si può fare con questi dati. Ogni spaghettaro ha la sua idea ben chiara in testa.

Che faccio ? Scrivo due righe e faccio girare il link ?

[seralf]

beh fare concorrenza a google è ambizioso, ma metterli su in maniera interrogabile no (magari pure linked) :-)

[ilmistra]

beh fare concorrenza a google è ambizioso, ma metterli su in maniera interrogabile no (magari pure linked) :-)

Mi piacciono le iperboli! E comunque sarebbe bello farlo sotto il cappello Sod! Peraltro non è detto che non ci sia in qualche altro repository tipo GFoss....Ma come linked non mi risulta...Sull'eventuale implementazione, attendo qualche dritta, prima di mettermi a farlo su qualche mia macchina.

[seralf]

si si era chiaro, non sono male le iperboli! :-)

se i dati sono pubblicabili, facciamoli linked a 'sto punto, non ci mettiamo molto :-)

[Maurizio Napolitano]

2012/12/19 ilmistra <p.mist...@gmail.com>:

> Avvicinandosi le feste, pensavo di fare un piccolo regalo a questa ML, però
> ho bisogno che mi assicuriate sul fatto che posso distribuire dei dati
> recuperati dalla rete rilasciati senza alcun tipo di licenza. (Napo...mi
> leggi?)

Mi evochi e mi tocca leggerti ...
Se i dati provengono da sorgenti di cui non conosci la licenza e' un bel
problema poi deciderne la distribuzione.

> Come ho già anticipato sul tema dei toponimi, il Catasto li distribuisce
> liberamente per le finalità di accatastamento. Divisi per provincia. Li ho
> scaricati e riorganizzati in un db Sqlite, insieme ai nomi degli 8095 (98?)
> comuni italiani. Il db indicizzato e compresso pesa 50 MB. E' l'elenco
> "ufficiale", almeno per il catasto, delle vie italiane.

Da come la metti giu' sembra chiaro che sai da dove vengono.
Secondo me, una email per chiedere se ci sono vincoli nella redistribuzione
che tu proponi puo' essere d'aiuto.
Anche perche', poi, sul tuo database, nascera' la questione del sapere
quanto la fonte e' affidabile.

> Elenco di nomi,
> attenzione, non grafo delle strade. Anche se potremmo facilmente integrarlo
> con quanto c'è su OSM. Magari anche solo per sapere quante strade non sono
> state ancora mappate!

Questo e' molto molto interessante.
Ho gia' in mente l'applicazione che incrocia quel tuo database con
l'elenco delle strade presenti in OSM,
mostra gli indici di copertura, propone le correzioni sulla
toponomastica, individua aree su cui pianificare mapping party ...
Insomma: caccia il db che, alla peggio, ci faccio un servizio

> Agli eroi di TyMep si potrebbe suggerire l'ipotesi di mettere in piedi un
> widgettino autocomplete che possa avere il massimo della diffusione,
> provando un po a fare concorrenza con Google rispetto alle loro funzioni di
> geocoding, peraltro soggette a limiti di uso giornalieri.

??? ma quindi hai anche le coordinate?

> Ma il tema
> evidentemente non è quello del che cosa ci si può fare con questi dati. Ogni
> spaghettaro ha la sua idea ben chiara in testa.
>
> Che faccio ? Scrivo due righe e faccio girare il link ?

Intanto ti direi di andare su it.ckan.net e pubblicare il file li' dichiarando
"licenza sconosciuta"



--
Maurizio "Napo" Napolitano
http://de.straba.us

[Maurizio Napolitano]

2012/12/19 seralf <ser...@gmail.com>:

> beh fare concorrenza a google è ambizioso, ma metterli su in maniera
> interrogabile no (magari pure linked) :-)

Anche se so che apro un altro thread, io ho bisogno di capire sui geodati
quanto e' importante lo sforzo di creare linked data.
Mi spiego meglio:
i geodati, grazie alle coordinate, hanno gia' il gran potere di dirti quanto
questi sono "collegati" fra di loro quantomeno per relazioni spaziali.
Questo mi sembra che spesso, chi si occupa di linked data, lo sottovaluta.
Ho assistito ad una presentazione su linked data geografici (in cui c'era
anche Paolo) in cui, alla fine, hanno detto "Dopo che abbiamo fatto
questo gran lavoro di metadatazione usando l'rdf, abbiamo interrogato
il nostro database con una query sparql e, quello che con un normale
GIS avremmo calcolato in pochi secondi, ha impiegato un minuto e mezzo"
E' chiaro che la questione puo' essere spostata su un piano diverso come
gli algortimi utilizzati e bla bla bla.
Sono pero' dell'idea che la parte linked sui geodati dovrebbe essere
segretata solo al discorso degli attributi dei dati (sia vettoriali che
raster), ma che, dove la soluzione e' nell'uso degli algortimi pensati
per i geodati, e' meglio andare in quella direzione.

Alcune volte ho la sensazione che parlare di linked geo data voglia
essere come voler utilizzare un bazooka per uccidere un mosca.

@paolo: in ogni caso, appena hai rilasciato i dati, sono sicuro che alfredo
si mette a trasformarli in linked data :)

[Maurizio Napolitano]

> Mi piacciono le iperboli! E comunque sarebbe bello farlo sotto il cappello
> Sod! Peraltro non è detto che non ci sia in qualche altro repository tipo
> GFoss....Ma come linked non mi risulta...Sull'eventuale implementazione,
> attendo qualche dritta, prima di mettermi a farlo su qualche mia macchina.

Come ti ho gia' detto puoi usare it.ckan.net, l'idea di SOD non e' affatto male.
Come GFOSS.it penso che possiamo ospitare il dataset.
Poi hai l'imbarazzo della scelta.
A me vengono in mente:
- buzzdata.com: una piattaforma di condivisione e discussione sui data
che si porta dietro i concetti di github
- archive.org: una piattaforma che ospita file di grandi dimensioni
con licenze aperte
- github.com: e' vero che e' pensato per il software, ma - volendo - puoi
usare anche quello. Quantomeno, se mi rilasci il dataset, puo' essere
che poi lo parcheggio li' se mi metto a sviluppare una applicazione.

Ciao

[ilmistra]

Napo sei una furia!
Dammi un attimo che sistemo qualche codice di comune mancante e poi ti mando il file.

1) concordo sul ragionamento LOD in ambito geodati, e che il tema merita un thread a parte, in cui ragionare anche con chi a Bologna fece quella demo.

2) Non ho le coordinate delle vie, argh, però sarebbe bello e non impossibile, incrociando i db di OSM, popolare un ulteriore colonna geometry che possa contenere lo sviluppo della via, e in subordine, se il dato geometrico non c'è, un x,y che indichi "a spanne" dov'è. O la stringa "da definire". Mi piace l'idea che il db, in perfetto stile crowdsourcing, possa essere aggiornato e tenuto vivo. Da noi, ma anche dalle amministrazioni. Perchè no? E mettere a disposizione una pagina web dove si possano anche aggiungere con un click dei civici, da sottoporre a validazione, non ci vuole granché. Ma mi sto allargano....del resto..me provochi!

3) Io di mandare una mail a non so chi dell'Agenzia del Territorio per chiedere che cosa posso farci con questi dati....proprio non me la sento! E' come dirmi di prendere la purga.....mal che vada dopo Natale mi daranno i domiciliari. Che vuoi che sia!

[seralf]

no no ma siamo d'accordo grossomodo. La questione però è secondo me più delicata: da dove partiamo per tessere un po' di rete di linked data? un ottimo punto di partenza sono le entità ben riconoscibili, e tra queste giocano un ottmo ruolo quelle geospaziali. Partendo di qui, con un costo tutto sommato basso e senza dismettere servizi più "diretti" sui dati si può trainare attenzione su cose diffrenti.

Riguardo alle performance è un discorso lungo (in effetti dovremmo dedicare tempo a fare queste discussioni a margine, ti do ragione :-) ma secondo me ci sono alcune cose da tenere presenti: 

• se pensiamo in termini di sparql, un endpoint è allo stato attuale se non altro una forma di servizio emesso, spesso anche su dati che altrimenti vanno solo scaricati, e quindi andrebbero comunque ri-pubblicati con opportuni servizi dedicati (vedi discussione di tempo fa su dati "statici" vs servizi). Inoltre RDF/SPARQL è una specie di lingua franca, che consente di mettere insieme in modo abbastanza omogeneo cose molto differenti: è ben lungi dall'essere perfetto come metodo, ma per il momento è forse una delle strade più percorribili
  
• sulle performance: se non si mettono su endpoint di qualche tipo liberamente consumabili e che vengano effettivamente utilizzati, le performance resteranno sempre un problema. :-) Personalmente non ho affatto il "feticcio" degli endpoint sparql, per dire (personalmente sono sempre stato molto più appassionato di information retrieval e di dati "emergenti") però credo che in questa fase sia il punto centrale di una nuvoletta di tecnologie per iniziare a cucire insieme le cose, poiché inizia ad esporre, sia pure in modo naif, un po' della logica. Altrimenti ogni mashup "tiene per sè" per così dire tutta la logica.
• c'è chi sostiene che esporre sparql sia un po' come permettere di lanciare query SQL sul web: è ovvio che sia una fesseria, perché ci riferiamo a tutt'altro livello (e per di più su un framework descrittivo) però la provocaziona ci sta secondo me proprio in direzione delle tue obiezioni: probabilmente dei buoni servizi consumabili da chiunque se usano RDF/SPARQL lo "nascondono" al più al proprio interno, ma d'altrocanto procedere nel legare tra di loro varie fonti dati che usino questi framework potrebbe essere un buon modo per far dialogare tra loro applicazioni in una linea franca. Su questo però non devono evolversi solo i framework, ma anche la parte architetturale, al momento l'approccio è sempre quello di produrre query molto semplici (e quasi sempre inutilizzabili nella realtà) o mostruosamente complesse (e inutilizzabili nella realtà)

questi i miei 2 cent in estrema sintesi (anche se non si nota la sintesi :-)