realizzare un dataset con i dati di OpenCup

[pablopers]

Buongiorno a tutti,

Hangout di oggi alle 17:00 permettendo...

partendo dallo script di Andrea Borruso Qui, si riesce ad estrarre i dati dal Portale OpenCup in formato Csv, attraverso la partita IVA dell'Ente. 

il Csv è "ricco" di colonne e per l'uso che vorrei farne (dataset sul portale Open data) avrei, quindi la necessità di: 

1) eliminare dal file una serie di colonne (es. "CODICE_STATO", "STATO" etc)

2) ordinarli in ordine crescente per "ANNO_DECISIONE" (ordine crescente) e "STATO_PROGETTO" (attivo) 

3) realizzare del file anche la versione Json.

Grazie

[andy]

Ciao Pablo,

On Fri, 4 May 2018 at 12:54, pablopers pablope...@gmail.com wrote:

partendo dallo script di Andrea Borruso Qui, si riesce ad estrarre i dati dal Portale OpenCup in formato Csv, attraverso la partita IVA dell'Ente. 

il Csv è "ricco" di colonne e per l'uso che vorrei farne (dataset sul portale Open data) avrei, quindi la necessità di: 

1) eliminare dal file una serie di colonne (es. "CODICE_STATO", "STATO" etc)

2) ordinarli in ordine crescente per "ANNO_DECISIONE" (ordine crescente) e "STATO_PROGETTO" (attivo) 

tra i modi per farlo c’è quello di fare una query SQL sul file CSV di output, tramite csvsql di csvkit:

 csvsql --query 'select "CUP","ANNO_DECISIONE","STATO_PROGETTO" from  "80016350821" order by "ANNO_DECISIONE","STATO_PROGETTO"'  80016350821.csv >./output.csv

Nell’esempio di sopra scelgo le colonne che voglio in output, e poi ordino per “ANNO_DECISIONE” e “STATO_PROGETTO”‘

CUP,ANNO_DECISIONE,STATO_PROGETTO
D77H83000000004,1983,ATTIVO
D77B86000000004,1986,ATTIVO
D93J87000000001,1987,ATTIVO
D74D88000000001,1988,ATTIVO
D72C90000000001,1990,ATTIVO

3) realizzare del file anche la versione Json.

Sempre in csvkit c’è csvjson:

 <output.csv csvjson | jq . >./output.json     

Facci sapere

​

--

___________________

Andrea Borruso
website: https://medium.com/tantotanto
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
___________________

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

[pablopers]

Buona domenica a tutti, 

scusa il tempo impiegato per le prove, ma a lavoro è un momento "magico" in cui tutti sembrano essersi svegliati e corrono ai ripari chiedendo supporto per i loro progetti di produttività.

Tutto perfetto Andrea come sempre! lo script funziona, naturalmente ho aggiunto tutti i campi di mio interesse e sostituito path e nomi file a secondo delle mie esigenze. 

ho notato però che l'order mi piazza in testa dei progetti relativi al 1988 per cui penso di dover cambiare l'ordine in discendente per l'anno lasciando inalterato quello dello stato (in ordine ascendente, quindi prima quelli in stato Attivo).

detto questo da domani posso approntare il dataset con il cron come già fatto per il dataset di spesa pubblica e procedere a relazionare il tutto a beneficio della chiarezza. 

mi solletica in questi giorni l'idea di una infografica mobile first che mi dia subito dei dati che i dirigenti e i politici possano mostrare subito, ho dato un'occhiata in giro e ho trovato qualcosa che forse potrebbe aiutarmi ma dal lato sperimentazioni sono ancora in alto mare. 

Grazie e ci aggiorniamo!

[andy]

Caro Pablo,

molto bene.

Come mi hai già anticipato, non ti resta che mettere a fattor comune con un altro blog post.

Penso possa essere di interesse per altre PA.

Notte