andy
Il titolo è solo per farvi aprire il messaggio e farvi sorridere, ma la storia è bella.
Intro
Come ricorderete ARPA aveva invitato ufficialmente OpenDataSicilia a collaborare su un’evoluzione delle loro modalità di pubblicazione dei dati. In quell’incontro emerse come ARPA archivi i dati sulle stazioni per il rilievo dell’inquinamento atmosferico in diversi CSV e noi proponemmo di non modificare nulla a queste modalità; avremmo messo in piedi un po’ di scritping che facesse pulizia, riordino e poi esponesse i dati in modo “smart”.
Io, Davide Taibi, Patrick Hausmann e Giovanni Pirrotta ci lavorammo un po’ e arrivammo a dei primi risultati confortanti. Ci mancavano però alcune info sui dati da ARPA e c’era da stabilire con loro come integrare il codice che avevamo scritto con i loro server. Era praticamente a costo zero, di semplice implementazione tecnologica e con un miglioramento netto.
Purtroppo tutto si bloccò, per problemi interni ad ARPA.
La cosa sinceramente mi dispiaceva, perché sono dati importanti. Poi Antonio Conti di ARPA Sicilia a fine gennaio mi scrive tra le altre cose “[…] più sotto, il link al file “MAria_report.xls che già conosci ma nel quale sono state rese “scoperte” le righe e le colonne contenenti tutti i dati giornalieri che risultano visibili nel bollettino […]“.
Questo è il file usato da molto tempo da ARPA per pubblicare i dati sulle stazioni, ma fino a quel momento i dati non erano in chiaro e quindi era (per noi) un po’ inutile. Questa email di Antonio, cambia tutto e decido dopo un po’ di tempo di tornare un po’ a “giocare” con questi dati (vedi vecchio messaggio).
Avvengono tre cose:
- io creo uno script bash che fa download, pulizia e trasformazione in CSV;
- Patrick scrive in R una procedura che crea un report automatico a partire da quel CSV;
- Giovanni Pirrotta alleva le API.
E vi scrivo proprio per palarvi del lavoro di Giovanni.
Le API del bollettino di sintesi dei dati di monitoraggio qualità dell’aria
Giovanni, i dettagli di implementazione ve li racconterà lui, ha creato delle API REST, con cui accedere ai dati del bollettino in modo che sia molto semplice fare cose di questo tipo:
- creare una mappa che si autoaggiorna, con visualizzati i valori dei dati;
- realizzare una dashboard, con indicati i giorni “critici”;
- realizzare un’app per smartphone per leggere i dati;
- creare un bot che dia informazioni sui dati;
- crear un accoun twitter che pubblichi i dati tutte le volte che i valori sono superiori a una certa soglia;
- ricevere un’email ogni mese con dei dati di riepilogo;
- …
Ma andando fuori dai tecnicismi di un API REST: adesso si può accedere a questi dati utilizzando un URL (un “indirizzo web”) speciale, che si può modificare per ottenere i dati di proprio interesse.
Vado con degli esempi:
- http://www.gpirrotta.tk/arpa/api/stazioni per ottenere l’anagrafica delle stazioni;
- /api/stazioni?id_stazione=1, aggiungo il parametro
id_stazionee l’id della stazione, e ottengo tutti i dati soltanto di quella stazione; - /api/stazioni?id_stazione=3&inquinante=PM10, come sopra ma aggiungo il parametro
inquinantecon il nome dell’inquinante e ottengo tutti i dati di quella stazione relativi a quel dato inquinante; - /api/stazioni?id_stazione=3&inquinante=PM10&data_inizio=22-04-2016, come sopra ma aggiungo il parametro
data_iniziocon la data a partire dalla quale voglio i dati per quell’inquinante per quella data stazione; - /api/stazioni?id_stazione=3&inquinante=PM10&data_inizio=22-04-2016&data_fine=03-05-2016, come sopra ma aggiungo il parametro
data_finecon la data ultima per cui si vogliono dati, in modo da fissare un intervallo di tempo a partire dal quale voglio i dati per quell’inquinante per quella data stazione.
A me sembra veramente un gran lavoro e ringrazio Giovanni. Cose come queste (a me) cambiano anche l’umore, mi aiutano anche a vedere più lontano.
Criticità e sviluppi
Ci sono almeno un paio di criticità.
La prima è che il server in cui ARPA pubblica questi dati è spesso fuori servizio. Nell’ultimo mese è stato online soltanto per il 62% del tempo.
La seconda è che è necessario che ARPA riprenda il dialogo con noi. Perché se ad esempio decideranno di punto in bianco di modificare lo schema dati del bollettino in XLS, o peggio ancora di non pubblicarlo più, le API di sopra non potranno più funzionare.
Io immagino che il dialogo riprenderà, ma dobbiamo tenere la cosa in considerazione.
Gli sviluppi sono quelli classici, per un’applicazione neonata e non ancora lanciata:
- c’è da fare test e debug;
- c’è da documentarla;
- si potranno proporre migliorie/integrazioni;
- e ci sarà appunto da lanciarla.
A proposito del lancio: questa mailing list per fortuna è pubblica, ma per il momento non fate girare la cosa (immagino in ogni caso una sezione dedicata al raduno, potrebbe diventare un momento didattico per sviluppatori).
Con Giovanni abbiamo pensato di scrivere qui per le seguenti ragioni:
- avere un primo feedback;
- stimolare qualcuno a fare la prima app, sito, mappa, grafico, ecc.;
- riprendere il dialogo con ARPA.
Mi scuso con Giovanni, nel caso avessi scritto qualche sciocchezza e in chiusura lo ringrazio nuovamente.
ciro spataro
L'intera iniziativa e lavoro svolto, di cui hai scritto, Andrea, è a dir poco spettacolare, di grande valore.
Tuttavia, mi metto nei panni del cittadino"normale" che a malapena sa che il valore limite x la salute umana del PM10 è 50 microgrammi x metro cubo come media dei rilevamenti nelle 24 ore, da legge, e guardando i dati su quei link legge di PM10 con valori di oltre 1000 sulla propria città e gli viene un collasso.
Allora:
È necessario rendere i dati leggibili accompagnandoli da informazioni che fanno comprendere e metabolizzare i dati al cittadino non esperto che conosce forse solo quel valore limite di legge x inquinante per la tutela della salute umana.
Cmq quel valore oltre 1000 rilevato x il PM10 è strano, è assaissimo sopra il valore limiti (20 volte) x tutela della salute umana.
Bisogna capire bene questi dati. Prima di essere pubblicati da ARPA vengono da loro stessi validati (come fa Rap x Palermo)? A volte la strumentazione delle centraline funziona male allora in quel caso, constatato il cattivo funzionamento si annulla il dato e non viene riportato alcun dato x quella centralina x quell'inquinante nel report giornaliero degli inquinanti da pubblicare online.
Bisogna capire insieme ad ARPA.
Comunque grazie x il lavoro svolto. Notevole!!!!
--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendat...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZORouqZHTBRCUt1E1C_dvF%2BWDeBrXYf4ZS4Lye_gtqxGg%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
andy
Tuttavia, mi metto nei panni del cittadino"normale" che a malapena sa che il valore limite x la salute umana del PM10 è 50 microgrammi x metro cubo come media dei rilevamenti nelle 24 ore, da legge, e guardando i dati su quei link legge di PM10 con valori di oltre 1000 sulla propria città e gli viene un collasso.
Allora:
È necessario rendere i dati leggibili accompagnandoli da informazioni che fanno comprendere e metabolizzare i dati al cittadino non esperto che conosce forse solo quel valore limite di legge x inquinante per la tutela della salute umana.
Cmq quel valore oltre 1000 rilevato x il PM10 è strano, è assaissimo sopra il valore limiti (20 volte) x tutela della salute umana.
Bisogna capire bene questi dati. Prima di essere pubblicati da ARPA vengono da loro stessi validati (come fa Rap x Palermo)?
A volte la strumentazione delle centraline funziona male allora in quel caso, constatato il cattivo funzionamento si annulla il dato e non viene riportato alcun dato x quella centralina x quell'inquinante nel report giornaliero degli inquinanti da pubblicare online.
Bisogna capire insieme ad ARPA.
Comunque grazie x il lavoro svolto. Notevole!!!!
website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
--
"cercare e saper riconoscere chi e cosa,
in mezzo all’inferno, non è inferno,
e farlo durare, e dargli spazio"
Italo Calvino
Giovanni Pirrotta
ciro spataro
--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendat...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/951C75DD-4536-471C-B81A-645E12FDC352%40gmail.com.
Jesse Marsh
--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendat...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZNj-PQHq0JwMgeKRHo-4i9a-zF1P9cS%2BqiNwaw1qvPDeQ%40mail.gmail.com.
andy
Il vostro è un lavoro lento, paziente, meticoloso e corretto e sappiamo come in Sicilia gridare al lupo finisca per fare l'effetto contrario. Non so esattamente cosa ma leggendo questa storia mi viene la sensazione che forse una strada ci sarà.
Andrea Nelson Mauro | Dataninja.it
--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendat...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZNRvYHTW-1ikXjVzJ41-a%3DUoLVf-UUiVCNGSUbFNETHcg%40mail.gmail.com.
andy
Vogliamo sicuramente passare a varie output operativi e quella di mobilita è una buona.
E ci vuole può iniziare a lavorarci.
Io vorrei provare a chiudere il cerchio con ARPA, per capire se sono interessati, se terranno su il servizio e se ci avviseranno per eventuali modifiche. Altrimenti si rischia di lavorare per qualcosa che potrebbe stare in piedi per pochi giorni.
Notte
______
Scusami per la brevità, ti sto scrivendo dal cellulare.
website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E EPSG:4326
Giovanni Pirrotta
E ci vuole può iniziare a lavorarci.
Andrea Nelson Mauro | Dataninja.it
- Vincenzo Patruno (OpenPuglia e Istat) ha fatto qualcosa di simile ma su mappa: ovviamente è questione di scelte. La mappa mostra le differenze territoriali ma perde l'andamento nel tempo, viceversa un chartline mostra l'andamento perdendo un po' la parte geo
- Quanto al discorso dashboard, segnalo anche quella recentemente rilasciata in opensource da Airbnb (si chiama caravel).
- Noi dataninja invece stiamo chiudendo un progettino proprio in questi giorni e nei prossimi tempi brevi rilasceremo in opensource una dashboard simile a questa. Volendo si può usare aggratis per questo project
--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendat...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/BF5148EF-E172-4EB3-ACA2-E4091F3EDAE5%40gmail.com.
Giovanni Pirrotta
@Giovanni: non so quanto tu abbia approfondito la parte metodologia, ma direi che ci hai preso! :)
c'è modo di fare convergere questo lavoro su github così contribuiamo anche noi lameri? :) https://github.com/SiciliaHub/arpasicilia_odo forse lo è già e mi sono perso un pezzo?
Viz & dashboard
- Vincenzo Patruno (OpenPuglia e Istat) ha fatto qualcosa di simile ma su mappa: ovviamente è questione di scelte. La mappa mostra le differenze territoriali ma perde l'andamento nel tempo, viceversa un chartline mostra l'andamento perdendo un po' la parte geo
Andrea Nelson Mauro | Dataninja.it
Ricordi che te ne parlai dopo il raduno? :-)
Giulio Di Chiara
Abbiamo necessità di fare uscire fuori da questi contesti ristretti tutte queste questioni e farle anche testare, usare, verificarne l'utilità.Ha senso secondo voi se mobilita.org avesse una pagina tipo /inquinamento in cui si vede tutto questo?