[Confiscati bene]

[andy]

Buon pomeriggio,

rischiando di apparire zuccheroso e/o formale ci tengo a ringraziare tutti quelli che hanno reso possibile SOD14.

Vi scrivo per condividere i "lavori in corso" sui beni confiscati che (credo) il geniale Massimo Santi ha battezzato "Confiscati bene".

E' stato il mio primo hackathon, fra l'altro nel ruolo di "curatore" (non mi viene un termine migliore) e  non immaginavo di ridurmi così stanco alle 19: un numero di ping impressionante, ma ho visto tanti "shining eyes". Ma basta con l'onanismo.

I dati sui beni confiscati alle mafie sono pubblicati sul sito dell'ANBSC (Agenzia Nazionale per i beni confiscati). I dati non scaricabili, sono distribuiti su centinai di tabelle HTML e quindi se voglio ricavare ad esempio i dati sui beni immobili "Destinati non consegnati" di Bitonto, Bitritto e Bitetto devo fare decine di click. Qui la tabella indice ad esempio per la Sicilia.

Lo scraping sul sito (fatto in joomla) è cosa relativamente semplice e sono stati estratti tutti i dati sui beni immobili presenti, compresi i pochissimi link ai PDF dei "Decreti di destinazione" (qui una pagina che ne contiene due) e ai "Dettaglio sul bene" (qui una pagina che ne contiene uno).

E' stata fatta un po' di pulizia sui dati. Un caso per tutti è quello sul nome dei Comuni. La bella Cefalù ad esempio o non ha l'accento o contiene l'apice al posto del carattere accentato.

I nomi dei Comuni sono stati normalizzati rispetto al dataset del 2011 generalizzato di ISTAT, e da questo db sono stati estratti anche i codici numerici relativi di Comuni, Province e Regioni. Su sito dell'Agenzia, una traccia di questi codici si trova negli URL delle pagine, ma (con l'eccezione delle Regioni) non sono quelli ufficiali. Ad esempio per il Comune di Cefalù l'URL è:

http://www.benisequestraticonfiscati.it/Joomla/index.php?option=com_content&view=article&button1=Cerca&id=64&Itemid=27&regione=19&provincia=92&comune=7386&tipo=0

Proporrei all'agenzia questa normalizzazione dei codici numerici, secondo uno standard nazionale condiviso e quello ISTAT mi sembra il riferimento.

Il dataset di base come vedete non è ricchissimo, e l'obiettivo minimo è quello di renderlo più facilmente sfogliabile, interrogabile, accessibile, riutilizzabile. Sicuramente pubblicheremo il lavoro di scraping complessivo in formato CSV/JSON e a db pronto lo renderei accessibile in REST con quel giocattolo meraviglioso di bamboo.

Sul db l'elemento spazializzabile più piccolo è il nome del Comune. Di questo è stato il geocoding e sono state inserite le colonne lat e lon. 

Piersoft (grazie) ne ha già fatto una mappa a pinpoint clusterizzata. Secondo me con questo tipo di dataset i pinpoint non si prestano perché per casi come Palermo (più di 1000 beni associati ad una sola posizione), si ottengono risultati poco leggibili (vedi sotto). Stiamo infatti lavorando pure su delle coroplete tagliate per Comuni, Provincia e Regioni.

L'Agenzia si ferma a questo.

Stiamo mettendo in piedi un'interfaccia di navigazione del dataset basata su Simile Exhibit. La versione 3.0 scripted gestisce bene anche 25000 record (qui un esempio).

Stiamo scegliendo le "faccette" (campi da usare come filtro) da utilizzare e lo stile grafico.

L'ultima versione del dataset la trovate momentaneamente qui. Abbiamo fatto lo scraping anche dei beni finanziati con il PON sicurezza e abbiamo i dati ISTAT sull'ONLUS. Questi due dataset vorremmo incrociarli con quelli dell'Agenzia.

Oltre a rendere più leggibile questo dataset un po' povero di informazioni, vorremmo produrre una un dataset "fake" da cui costruire un dimostrator, che possa mostrare come potrebbe essere pubblicato il tutto, al fine di rendere le informazioni più utili e abilitanti. 

Pensiamo in realtà di produrre un dataset di pochi record, ma non con dati "fake", a partire da alcune delle risorse pubbliche locali presenti sul web.

Un gruppo di noi ha iniziato a costruire uno schema ed a valorizzare il db. Su questo siamo in progress.

Per il momento mi fermo qui, che sono stato già troppo lungo. Non ho scritto tutto, ma per fortuna siamo un bel gruppo e arriveranno integrazioni.

Al momento siamo:

• alberto cottica
  
• giulia annovi
  
• gianluca macaluso
  
• cristiano longo
  
• daniele del pinto
  
• cristina da rold
  
• giuseppe misurelli
  
• massimo santi
  
• lorena bragagna
  
• sergio farruggia
  
• lucia morganti
  
• francesco piero paolicelli
  
• ilaria vitellio
  

I nostri appunti di lavoro sono qui. Da pagina 4 in poi si tratta di note inserite ex-post.

Saluti,

a

--

Andrea Borruso
website: http://blog.spaziogis.it
GEO+ geomatica in Italia http://bit.ly/GEOplus 

38° 7' 48" N, 13° 21' 9" E, EPSG:4326
--

"cercare e saper riconoscere chi e cosa,

 in mezzo all’inferno, non è inferno, 

e farlo durare, e dargli spazio"

Italo Calvino

[Matteo Fortini]

Spettacolare lavoro e spettacolare documentazione: guai a farla rimanere solo in lista, eh? Deve avere una bella paginetta su qualche sito.

GRAZIE!

M

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

[Paolo Mainardi]

Bravissimo Andrea e tutto il gruppo.

Secondo me tutta questa documentazione (e questo messaggio) devono andare nel Wiki del progetto su Github, il rischio di perdersi pezzi altrimenti è altissimo.

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

--

 

Paolo Mainardi 
Twinbit Founder - CTO

www:      twinbit.it 
mobile:   (+39) 3401678089 
skype:    paolo_mainardi 
linkedin: paolomainardi 
twitter:  @paolomainardi 
blog:     paolomainardi.com 

[Massimo Zotti]

guai a farla rimanere solo in lista, eh?

Io mi farò aggiungere un QRcode sulla maglietta.

Massimo 

[Alberto]

Tranquilli, già a Bologna abbiamo cominciato a documentare il lavoro sul wiki del repository su GitHub. Se qualcuno vuole dare una mano benvenuti: createvi l'account su GitHub se non lo avete e fatemi sapere che vi aggiungo al team. 

[andy]

Caro Massimo,

2014-03-31 15:53 GMT+02:00 Massimo Zotti <massim...@gmail.com>:

Io mi farò aggiungere un QRcode sulla maglietta.

per dovere di cronaca e chiarezza pubblico una foto che chiarisce a quale maglietta fai riferimento.

Per acquistarne altre basta scrivere a Massimo. Sono tutte nere.

L'acquisto da diritto ad una passeggiata sul lungo mare di Bari con Massimo con degustazione di polpo arricciato.

Nella foto c'è anche "colui che non deve essere nominato": abbiamo il suo endorsment, perché tutti luoghi dove si arricciano i polpi verranno mappati su OSM. Chi era a #SOD14 ricorderà.

Saluti,

a

[Francesco Piero Paolicelli]

ottimo andrea.

Un chiarimento: la mappa ha il clustering attivo. non avrai mai migliaia di pin sulla stessa città. provate e al max potreste avere una 20na di pin nello stesso luogo.

Intanto farò alcuni abbellimenti nel pop up e inserirò il plug in suggerito da Andrea leaflet-hash ma occhio: la mappa è stata embeddata già in una pagina SOD (mi sembra /wordpress ect) e lì le coordinate non si vedranno

Il giorno 31/mar/2014, alle ore 15:31, andy <abor...@gmail.com> ha scritto:

Buon pomeriggio,

rischiando di apparire zuccheroso e/o formale ci tengo a ringraziare tutti quelli che hanno reso possibile SOD14.

Vi scrivo per condividere i "lavori in corso" sui beni confiscati che (credo) il geniale Massimo Santi ha battezzato "Confiscati bene".

E' stato il mio primo hackathon, fra l'altro nel ruolo di "curatore" (non mi viene un termine migliore) e  non immaginavo di ridurmi così stanco alle 19: un numero di ping impressionante, ma ho visto tanti "shining eyes". Ma basta con l'onanismo.

I dati sui beni confiscati alle mafie sono pubblicati sul sito dell'ANBSC (Agenzia Nazionale per i beni confiscati). I dati non scaricabili, sono distribuiti su centinai di tabelle HTML e quindi se voglio ricavare ad esempio i dati sui beni immobili "Destinati non consegnati" di Bitonto, Bitritto e Bitetto devo fare decine di click. Qui la tabella indice ad esempio per la Sicilia.

Lo scraping sul sito (fatto in joomla) è cosa relativamente semplice e sono stati estratti tutti i dati sui beni immobili presenti, compresi i pochissimi link ai PDF dei "Decreti di destinazione" (qui una pagina che ne contiene due) e ai "Dettaglio sul bene" (qui una pagina che ne contiene uno).

E' stata fatta un po' di pulizia sui dati. Un caso per tutti è quello sul nome dei Comuni. La bella Cefalù ad esempio o non ha l'accento o contiene l'apice al posto del carattere accentato.

<image.png>

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

Francesco Piero Paolicelli

TW: @piersoft

STORE: GooglePlay/AppStore

WWW: www.apposta.biz

Sorry for typos, sent by mobile.

[andy]

Ciao Francesco,

2014-03-31 16:45 GMT+02:00 Francesco Piero Paolicelli <pier...@gmail.com>:

Un chiarimento: la mappa ha il clustering attivo. non avrai mai migliaia di pin sulla stessa città. provate e al max potreste avere una 20na di pin nello stesso luogo.

lo vedo che c'è il clustering attivo, ma al pinpoint di Palermo (ad esempio) sono associati 1707 record e quindi vedrai una cosa come quella di sotto (è uno screenshot dalla tua mappa).

E' per questo che penso che per il tipo di dato, penso sia meglio una coropleta. Non appena la mettiamo su, facciamo un giro di confronto.

Grazie,

a

 

[Francesco Piero Paolicelli]

Colpa del corso #dataviz sto esplorando nuovi orizzonti: http://cdb.io/1rYjIKs

Il giorno 31/mar/2014, alle ore 15:31, andy <abor...@gmail.com> ha scritto:

Buon pomeriggio,

rischiando di apparire zuccheroso e/o formale ci tengo a ringraziare tutti quelli che hanno reso possibile SOD14.

Vi scrivo per condividere i "lavori in corso" sui beni confiscati che (credo) il geniale Massimo Santi ha battezzato "Confiscati bene".

E' stato il mio primo hackathon, fra l'altro nel ruolo di "curatore" (non mi viene un termine migliore) e  non immaginavo di ridurmi così stanco alle 19: un numero di ping impressionante, ma ho visto tanti "shining eyes". Ma basta con l'onanismo.

I dati sui beni confiscati alle mafie sono pubblicati sul sito dell'ANBSC (Agenzia Nazionale per i beni confiscati). I dati non scaricabili, sono distribuiti su centinai di tabelle HTML e quindi se voglio ricavare ad esempio i dati sui beni immobili "Destinati non consegnati" di Bitonto, Bitritto e Bitetto devo fare decine di click. Qui la tabella indice ad esempio per la Sicilia.

Lo scraping sul sito (fatto in joomla) è cosa relativamente semplice e sono stati estratti tutti i dati sui beni immobili presenti, compresi i pochissimi link ai PDF dei "Decreti di destinazione" (qui una pagina che ne contiene due) e ai "Dettaglio sul bene" (qui una pagina che ne contiene uno).

E' stata fatta un po' di pulizia sui dati. Un caso per tutti è quello sul nome dei Comuni. La bella Cefalù ad esempio o non ha l'accento o contiene l'apice al posto del carattere accentato.

<image.png>

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

[Giorgio t]

Chiedo scusa se sto per dire una banalità, ma conoscevate già questo progetto di Bollenti spiriti in Puglia, relativo proprio al censimento dei beni confiscati? http://liberailbene.regione.puglia.it

Quello che avete fatto è da applausi; per alimentare il progetto e farlo conoscere il più possibile, se volete posso contattare un consulente della commissione nazionale antimafia nonché collaboratore di Libera che si occupa proprio di questo tema. 

[Matteo Fortini]

Qui ci vorrebbe una oooolaaaa :)

[andy]

Ciao Giorgio,

2014-03-31 17:52 GMT+02:00 Giorgio t <giorgi...@gmail.com>:

Chiedo scusa se sto per dire una banalità, ma conoscevate già questo progetto di Bollenti spiriti in Puglia, relativo proprio al censimento dei beni confiscati? http://liberailbene.regione.puglia.it

io lo conoscevo, ed è (insieme ad altri) uno dei tanti piccolo progetti locali. Noi stiamo provando a rendere accessibile un dataset nazionale.

Appena lo rendiamo presentabile, vorremmo bussare a questi eroi locali e chiedergli di darci l'accesso ai dati e provare sia a centralizzare la cosa, sia a normalizzare gli schemi.

 

Quello che avete fatto è da applausi; per alimentare il progetto e farlo conoscere il più possibile, se volete posso contattare un consulente della commissione nazionale antimafia nonché collaboratore di Libera che si occupa proprio di questo tema. 

Libera è un soggetto che contatteremo e con cui alcuni di noi sono in contatto. Facci finire il lavoro di presentazione e pulizia e poi faresti una gran cosa a contattare il consulente.

Grazie

[Giorgio t]

Bene Andrea e buon lavoro con i dati :) 

giorgio

[ila]

Andy ma nel Dataset manca la colonna "assegnatario del bene" e tutti i dati (data confisca, data destinazione, data assegnazione) avevi pensato di aggiungerli dopo?

Ila

[andy]

Ciao Ilaria,

2014-03-31 18:08 GMT+02:00 ila <ilaria....@gmail.com>:

Andy ma nel Dataset manca la colonna "assegnatario del bene" e tutti i dati (data confisca, data destinazione, data assegnazione) avevi pensato di aggiungerli dopo?

nel dataset nazionale di 12000 record queste informazioni non sono presenti. Le inseriremo nel database dimostratore del "come dovrebbe essere". 

[Luca Corsato]

siete stati - e siete - bravissimi

--

[ila]

Il "come dovrebbe essere" lo dobbiamo ancora fare? sulla base del fake?

[Vincio]

Ciao Andrea!

Pensavo di aver fatto parte del gruppo... ma forse me lo sono sognato :)

Detto ciò, aggiungo il mio pezzo operativo su cosa c'è ancora da fare (che possiamo/dobbiamo fare ora)

ACTION ITEM TECNICHE

• Sistemare CSS/Layout sito (in carico a Gianluca Macaluso)

(Su questo punto: aggiungerei un altro layout free TEMPORANEO, intanto che Gianluca completa l'operazione: IN CARICO a ME)

• Sistemare la pagina con le facet (in carico a Massimo Santi)
• Stabilire le pagine da aggiungere/modificare (BRAINSTORMING in carico a tutti) ecco la mia proposta
• Chi siamo
• Mission
• spostare la "home" in  un'altra pagina (ex: Dataset) con il link al dataset da scaricare

• Aggiungere e sistemare le pagine  (in carico a Vincenzo Errante) 
• Creare il dataset RDF (in carico a Cristiano Longo)
• Arricchire il dataset (in carico a TUTTI)

SALUTI E BACI!

[andy]

2014-03-31 18:26 GMT+02:00 Vincio <vincenzo...@gmail.com>:

Pensavo di aver fatto parte del gruppo... ma forse me lo sono sognato :)

Ne faccio di ogni: sbaglio i cognomi e faccio malamente copia e incolla. Scusami anche tu.

Tutto dipende dal fatto che ho creato la lista a partire dai destinatari della prima email. Chi l'ha scritta? Proprio tu e non eri tra i destinatari. Perdono, perdono, perdonooooo 

[Vincio]

Account creato (errante) 

direi di iniziare a popolare milestones e issues.

Posso occuparmene io verso ora di pranzo 

[Massimo Santi]

Sul mio PC (Win7 64bit) l'app desktop di GitHub non ne vuole sapere. Leggo di http://www.sourcetreeapp.com/ come alternativa, qualcuno ha consigli/esperienze?
Se no faccio un reboot e uso Ubuntu...
ciao

[andy]

Sulla mia macchina Windows a 64 bit funziona senza problemi.

Qualche .net framework da aggiornare?

______
Scusami per la brevità, ti sto scrivendo dal cellulare.

website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E EPSG:4326

[Andrea Nelson Mauro]

non facile seguirvi perché siete vulcanici, questa roba è meravigliosa! :)))