Analisi file appalti con Google Spreadsheets

[Stefano Durì]

ho provato a vedere se si riesce ad analizzare un file xml con dati sugli appalti (v. Legge190) utilizzando un Google Spreadsheets + script incorporato. Un giochino, eh.

Qui il risultato: https://goo.gl/iw8S3A. L'esempio che vedete è basato su http://trasparenza.asl1abruzzo.it/archiviofile/asl1abruzzo/ANAC/avcpLegge190.xml, che contiene 2824 lotti.

Per esaminare un file (uno "semplice, non uno di quelli organizzati come indici di file "semplici") basta aprire la voce di menu "Lettura XML" (ultima a dx), scegliere "start" e inserire l'URL completo del file.

Vengono salvati, in altrettanti fogli, i metadati, i lotti, le partecipazioni, le aggiudicazioni, i partecipanti con il totale dei relativi importi aggiudicati, un paio di pivot e di elaborazioni, basate su range "denominati".

Ad ogni lotto viene associata una "bag of words" estratte dall'oggetto previa eliminazione di stopword (via regex). L'elenco delle stopword - ampiamente perfettibile - è salvato in un foglio

Sono ovviamente necessari miglioramenti e la gestione delle eccezioni è del genere "chissenefrega, tanto lo uso solo io", quindi qualsiasi commento è assolutamente gradito.

[Stefano Durì]

questi sono un paio di esperimenti con keshif sullo stesso dataset
http://stefanoduri.altervista.org/appalti/keshif_aggiudicazioni.html

http://stefanoduri.altervista.org/appalti/keshif_imp_agg.html

[Federico Morando]

Grazie per aver condiviso questa analisi, Stefano!

Colgo l'occasione per ricordare che, con Synapta, stiamo portando avanti il lavoro cominciato qui
http://public-contracts.nexacenter.org/
col Centro Nexa sugli XML dei contratti pubblici.

E naturalmente siamo aperti a idee di collaborazione di vario tipo (con PA, sviluppatori, altre aziende), nonché all'idea di abilitare l'accesso a demo interne ed ai dati integrali, mantenendo quanto più codice possibile open, come stiamo facendo:
https://github.com/synapta/public-contracts

Chi fosse interessato, si faccia sentire: io farei volentieri una call di brainstorming a breve, perché miriamoad aprire una prima alpha pubblica entro luglio.

Grazie ancora,

Federico

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

[Stefano Durì]

Forse si potrebbero realizzare strumenti di supporto per lavori di giornalismo investigativo sul public procurement. Penso a lavori focalizzati su piccoli gruppi di documenti eterogenei, quindi realizzati con strumenti "leggeri", una solida base metodologica (fornita da esperti di PP) e una quasi inevitabile componente di editing manuale.

L'obiettivo è di facilitare il lavoro di un esperto, consentendogli l'integrazione dei dati di fonti ufficiali italiane e GUUE e fornendogli automaticamente segnalazioni di potenziali problemi presenti nelle procedure di gara e di aggiudicazione. E' la tecnica utilizzata dal progetto europeo Red Flags (che però utilizza solo bandi GUUE XML), del quale si potrebbero riutilizzare - credo - gli indicatori, adattandoli alla realtà italiana. 

Insieme ai dati relativi al singolo documento (o famiglia di documenti), il sistema di Red Flags utilizza anche un database che raccoglie segnalazioni giornalistiche di casi di corruzione in Ungheria. L'analisi verticale sul singolo caso viene quindi completata da quella orizzontale che riguarda l'insieme delle pratiche dell'ente.