Una proposta di hackathon per SOD19

[Alberto]

Visto che si cerca un hackathon, e  che siamo a Milano, sarebbe bellissimo fare una versione milanese della bellissima visualizzazione di Bruxelles Melting Pot che sta girando molto qui.

In breve, è una mappa one person one dot dove ogni pixel rappresenta un abitante non nato in Italia. Il colore del pixel rappresenta la nazionalità: europea, nord-africana, asiatica etc. La mappa serve a capire se c'è segregazione spaziale. A Bruxelles c'è, con gli europei che abitano più a sud e est, i nord africani a nord e ovest, i turchi a nordest etc. 

Questa cosa viene così bene perché la regione (Bruxelles fa regione per motivi storici e politici) ha pubblicato dati disaggregati per quelli che loro chiamano "quartiers". I quartiers sono suddivisioni molto piccole, perché sono 145 per i circa 1.2 milioni di abitanti della città. La ripartizione di livello superiore è quella del comune (ce ne sono 19), che corrisponde molto grosso modo alla zona milanese. Sono sicuro che i dati per zona a Milano ci sono, ma le zone sono solo nove (e anche costruite in modo discutibile). Quindi i dati per zona sono poco granulari, con 150,000 persone in media per zona milanese contro meno di 10,000 in media per quartier bruxellese. Le mappe vengono poi generate con il comando "Random points in polygons". 

Io ci lavorerei volentieri, soprattutto con qualcuno che mastica di mappe (che però a SOD19 non manca). Bisognerebbe capire che dati abbiamo, se a Milano c'è qualcosa di simile ai quartiers o no; e se magari l'area metropolitana ha dei dati a livello più ampio (i 3 milioni di abitanti della grande Milano invece del 1.3 milioni del Comune. Qualcuno ha qualche idea? Andrea forse? Tommaso, quando senti il Comune puoi buttargliela lì?

[andy]

Ciao Alberto,

On Mon, 29 Apr 2019 at 10:07, Alberto <alberto...@gmail.com> wrote:

Io ci lavorerei volentieri, soprattutto con qualcuno che mastica di mappe (che però a SOD19 non manca). Bisognerebbe capire che dati abbiamo, se a Milano c'è qualcosa di simile ai quartiers o no; e se magari l'area metropolitana ha dei dati a livello più ampio (i 3 milioni di abitanti della grande Milano invece del 1.3 milioni del Comune. Qualcuno ha qualche idea? Andrea forse? Tommaso, quando senti il Comune puoi buttargliela lì?

se Andrea sono io :) è giusto darti un cenno. Non ho idea dei dati a Milano e ancora non so se sarò con voi.

L'idea mi piace e nel caso mi ci metto volentieri.

Saluti 

--

___________________

Andrea Borruso
website: https://medium.com/tantotanto
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
___________________

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

[Daniele Crespi]

Sul portale OD del Comune di Milano qualcosa c'è

vedi:

http://dati.comune.milano.it/callgroup/2f9121d1-d927-4605-ae5f-249553b8c1d0 

sono per "quartieri" o "zone di decentramento" (che non so cosa siano)

secondo me la cosa migliore è scrivergli e chiedere qual'è il dato migliore da usare , o di tirarne furoi uno ad hoc

ciao

daniele 

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/CAHEdGZM-PjabjjN__d5HgOi2FEAVykm%2Bdqa9JCGXU3sL%2BYEAFg%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.

[Maurizio Napolitano]

Alberto ... mi hai solleticato a provarci con i dati di Trento.

Qui lo script

https://github.com/napo/scraping_comune_trento/blob/master/dati_statistici/one%20person%20one%20dot%20-%20trento.ipynb

Non è una mappa così parlante come quella che hai girato, ma quello che conta è il codice scritto (niente di ancestrale).

Alcune considerazioni:

- ho usato le circoscrizioni, ma sarei stato molto più felice nell'usare le sezioni di censimento (che sono molto di più)

- i dati che il comune di trento offre pubblicamente sono bruttini:

  1. sono in pdf

  2. l'aggregazione per provenienza geografica è per continenti tranne per il caso Europa che è divisa in due (comunitaria e non comunitaria)

Cosa "peggiore" però è che la mia mappa non dice una mazza di interessante:

solo che la maggior parte delle persone vivono nel fondo valle ("che novità!!!" ndr)

In ogni caso lo script produce anche il file .shp e aprendolo con qgis si fanno velocemente visualizzazioni più accattivanti.

my2cents

[Alberto]

A Trento non sembra ci sia segregazione! Bravo, comunque, sei assunto per l'hackathon di Milano :-)

Daniele, aiutami a capire. Posso chiedere di tirare su dati apposta? Davvero? A chi?

[Marco Brandizi]

A questo punto, se emergono almeno 3 dataset/città su cui lavorare, vi suggerirei di procedere così:

- concordare un unico modello di dati (in qualunque formato, anche una serie di template CSV), da applicare ad ogni dataset, assumendo che ce ne sarà uno per città, più eventualmente modellare un po' di cose comuni/generali (es, valori aggregati su tutte le città).
- sviluppare un template di analisi che, dato un/a dataset/città, produce automaticamente una serie di tabelle, grafici, report, senza dover lavorare a mano su ogni dataset.
- eventualmente in seguito, pensare a qualche analisi aggregata su tutti i dataset.

In alternativa, se deciderete di lavorare ad un solo caso/città, potreste comunque farlo pensando alla prospettiva di automatizzare l'analisi e i report, passandogli ogni volta un dataset diverso (non è molto difficile, basta adottare alcuni accorgimenti tipo che non si scrivono file path direttamente negli script, ma in un file di configurazione).

Ciao,
Marco

On 01/05/2019 10:58, Alberto wrote:

A Trento non sembra ci sia segregazione! Bravo, comunque, sei assunto per l'hackathon di Milano :-)

Daniele, aiutami a capire. Posso chiedere di tirare su dati apposta? Davvero? A chi?

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/924fa61d-f31f-43c9-8164-83a189f176e1%40googlegroups.com.

Per altre opzioni visita https://groups.google.com/d/optout.

---

Marco Brandizi <marco.b...@gmail.com>
http://www.marcobrandizi.info

[Alberto]

Grazie, Marco, ottima idea... ma alla fine dipenderà moltissimo da come sono i dati, come sempre. Per esempio, A Bruxelles c'è la provenienza "UE a 13", che io non mi ricordo neanche quali paesi fossero. Probabilmente a Milano questa cosa non c'è. Standardizzare è sempre dura.

[Marco Brandizi]

E' sempre dura, ma "provenienza" la puoi modellare come una colonna, elenco configurato da qualche parte, e simili. Poi magari un giorno qualcuno scriverà da qualche parte che "UE" è una categoria più generale di "UE a 13", o comunque ci sarà la possibilità di cercare dati con provenienza "UE" OR "UE a 13".

M.

On 01/05/2019 12:57, Alberto wrote:

Grazie, Marco, ottima idea... ma alla fine dipenderà moltissimo da come sono i dati, come sempre. Per esempio, A Bruxelles c'è la provenienza "UE a 13", che io non mi ricordo neanche quali paesi fossero. Probabilmente a Milano questa cosa non c'è. Standardizzare è sempre dura.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/d00e825b-edcb-41a9-9e69-af853014aef2%40googlegroups.com.

Per altre opzioni visita https://groups.google.com/d/optout.

[Maurizio Napolitano]

Credo che ci sia un unico modello di dati definito dall'Istat usato da ogni comune dove i  dati sono raccolti a livello di sezione di censimento.

Suppongo che con una richiesta ufficiale all'ufficio statistica competente si possano avere.

Purtroppo non sono riuscito a trovarlo altrimenti avrei svilupp

Inizialmente volevo sviluppare il mio codice usando quelle chiavi in modo da scalare su tutta Italia ma non avendo trovato i dati sul sito ISTAT :/

Appena ho un po' di tempo vedo di usare i dati segnalati da Daniele

Grazie Alberto per lo stimolo

Il mer 1 mag 2019, 13:57 Alberto <alberto...@gmail.com> ha scritto:

Grazie, Marco, ottima idea... ma alla fine dipenderà moltissimo da come sono i dati, come sempre. Per esempio, A Bruxelles c'è la provenienza "UE a 13", che io non mi ricordo neanche quali paesi fossero. Probabilmente a Milano questa cosa non c'è. Standardizzare è sempre dura.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/d00e825b-edcb-41a9-9e69-af853014aef2%40googlegroups.com.

[Maurizio Napolitano]

Il mer 1 mag 2019, 11:58 Alberto <alberto...@gmail.com> ha scritto:

A Trento non sembra ci sia segregazione! Bravo, comunque, sei assunto per l'hackathon di Milano :-)

Purtroppo non sono ancora in grado di confermare la mia presenza :/

[Tommaso Dradi]

Ecco i dati per l’hackathon,

sono già sul CKAN del Comune di Milano e rispecchiano la suddivisione per quartieri di Bruxelles.

Non sono micromicrozone, però è una suddivisione sicuramente immediata da rappresentare e da far capire.

C’è anche il dataset e lo shapefile dei quartieri

Popolazione: residenti per cittadinanza e quartiere

Il dataset contiene i dati anagrafici della popolazione residente distinta per anno (al 31/12), età, sesso, cittadinanza e quartiere. Avvertenza: si consiglia l'importazione dei file scaricati mediante pacchetti statistici o software per la gestione di database (DataBase Management System), in quanto i file possono superare il numero massimo di record supportato dai fogli elettronici.

http://dati.comune.milano.it/dataset/ds27-popolazione-residenti-cittadinanza-quartiere-serie-storica

Territorio: localizzazione dei quartieri della città (Nuclei d'Identità Locale - NIL)

I NIL - Nuclei d'Identità Locale rappresentano aree definibili come quartieri di Milano, in cui è possibile riconoscere quartieri storici e di progetto, con caratteristiche differenti gli uni dagli altri. Vengono introdotti dal PGT (Piano di Governo del Territorio) come un insieme di ambiti, connessi tra loro da infrastrutture e servizi per la mobilità, il verde. Sono sistemi di vitalità urbana: concentrazioni di attività commerciali locali, giardini, luoghi di aggregazione, servizi; ma sono anche 88 nuclei di identità locale da potenziare e progettare ed attraverso cui organizzare piccoli e grandi servizi (Piano dei Servizi).

Il sistema di coordinate utilizzato è EPSG:32632 WGS 84 / UTM zone 32N

http://dati.comune.milano.it/dataset/ds61_infogeo_nil_localizzazione_

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/CAFYQUmb63VwvYJ9UX46%3DBCBnG9YtdVpOs-8s7e9OW1M8yoqZOg%40mail.gmail.com.

[Alberto]

Figata, Tommaso, grazie! E grazie al Comune. Ci sono 88 quartieri a Milano, un po' meno dei 145 di Bruxelles ma molti di più delle nove zone. Viene una bella mappa.

A questo punto:

1. posso avere un volontario che mastichi un po' di QGIS e mi dà una mano? Perché io devo ripartire da zero e non ce la posso fare :-)
2. i dati però sembrano avere qualche problema.
   

Il  record normale è fatto così:

{'Anno': 1999, 'IdNil': 1, 'Nil': 'Duomo', 'Eta': '0', 'Genere': 'Femmine', 'Cittadinanza': 'Cinese, Rep. Popolare', 'Residenti': 1}

Però oltre la metà dei records non indicano nè il nome del quartiere ('Nil') nè il suo identificativo ('IdNil'). Ci sono records fatti così:

{'2009': 2009, '69': 69, 'Sarpi': 'Sarpi', '36': '36', 'Femmine': 'Femmine', 'PerĂą': 'Polonia', '4': 1}

Una roba del genere è un po' difficile da gestire. Sembrerebbe rappresentare due records, uno relativo a quattro femmine peruviane di 36 anni che vivono a Sarpi, e l'altro relativo a una femmina polacca, anche lei di 36 anni, che vive anche lei a Sarpi. I records che tirano su un errore perché gli manca il nome del campo sono 1,136,905 su 2,136,904.

Sommando il numero di residenti sui records ben formati si ottiene 14 milioni circa, che sembra abbastanza giusto relativamente agli 11 anni del dataset. Quindi forse il milione e spingi di records cattivi vanno semplicemente eliminati? Tommaso, riusciamo ad aprire un filo diretto con il maintainer?

[andy]

Ciao Alberto,

ho aperto il CSV, e lì non vedo null, né in "Nil", né in "IdNil".

Quindi se non sbaglio qualcosa, ci potrebbe essere qualche problema sul JSON (che non ho aperto)

Saluti

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/0a3c2f75-24df-43bb-a017-c445e8cd89e1%40googlegroups.com.

Per altre opzioni visita https://groups.google.com/d/optout.

[andy]

E non ci sono problemi di "chiavi" mescolate con "valori"

[Alberto]

Allora vince il csv. Come sempre.

[Alberto]

Il milione e passa di record malformati corrisponde agli ultimi dieci anni di dati! In effetti con il CSV torna tutto. A Milano sono presenti (o lo sono stati) cittadini di 176 paesi, quindi effettivamente è molto internazionale. Da come sono fatti i dati, mi sa che sono palazzo per palazzo, veramente super-granulari. Di fatto vale la pena di costruirsi un dataset un po' riassunto (maschi e femmine per anno, quartiere e nazionalità), e poi mettere in mappa quello.

[Giovan Battista Vitrano]

Ciao a tutti,

visto che non potrò essere a Milano e l'idea di è piaciuta molto ho fatto un piccolo test con il dataset reso disponibile dal Comune di Milano.

Con qualche input di Andrea Borruso sono riuscito a tirar fuori i dati del 2018.

A breve questi stessi dati saranno disponibili in un dataset su data.world, sempre con l'aito di Andrea Borruso e Salvatore Fiandaca :-)

Appena possibile preparo un Viz con Tableau Public

[Giovan Battista Vitrano]

Ecco qui il dataset con i dati di Milano residenti per quartiere - 2018 https://data.world/gbvitrano/milano-residenti-per-quartiere-2018

potrebbe essere utile per fare tante altre elaborarioni, al dataset di base ho aggiunto due colonne per, Continents e Subregions,

All'interno del db ci sono 12 file, 10 tabelle e 2 geojson, spero siamo utili per tante belle elaborazioni  :-)

un piccolo test con tableau

[Matteo Brunati]

Ella madonna, un gran lavorone davvero! Sarebbe bello un howto per riprodurre il risultato qui sotto (o c'è da qualche parte e me lo sono perso?) e capire il ragionamento fatto, step by step. 

matt

Il giorno sabato 11 maggio 2019 17:04:31 UTC+2, Giovan Battista Vitrano ha scritto:

[Alberto]

Complimenti davvero, Giovan Battista! E adesso noi all'hackathon cosa facciamo?

In realtà possiamo fare un sacco di bella roba. Anche perché il dato 2018 mostra una segregazione abbastanza evidente, quindi c'è un segnale che possiamo portare fuori lavorando di visualizzazioni. Io resto disponibile a lavorarci a Milano, chi viene a giocare?

[Giovan Battista Vitrano]

Grazie, un post è previsto alla fine...

Abbiamo chiesto i dati anche al comune di Palermo, fino ad oggi non abbiamo notizie, nell'attesa di una risposta, stiamo lavorando ad una mappa con i dati della popolazione residente nelle circoscrizioni,  il dataset non ricco come quello di Milano ma un piccolo test si può fare :-)

[Giovan Battista Vitrano]

Come avevo anticipato... qui il post su ODS

Milano e Palermo: le mappe della distribuzione della popolazione straniera residente nel 2018

[Daniele Crespi]

Beh visto che il tema appassiona, per l'hackaton si potrebbe provare ad estendere ad altri comuni 

cercando sul nostro portale (www.dati.lombardia.it) on parola stranieri , ne vengono diversi 

vedi https://www.dati.lombardia.it/browse?q=stranieri&sortBy=relevance

a prima vista quello di bergamo sembra papabile

https://www.dati.lombardia.it/Statistica/Comune-Bergamo-Serie-storica-residenti-stranieri-p/irnt-jm8s/data 

al limite si chiede di pubblicare qualcosa di più dettagliato

mentre questi non hanno la granularità desiderata ma forse qualcosa ci si può fare

https://www.dati.lombardia.it/Statistica/PROVINCIA-DI-CREMONA-Stranieri-per-comune-sesso-e-/8nkv-atzx 

https://www.dati.lombardia.it/Statistica/CITTA-METROPOLITANA-MILANO-Popolazione-Residente-S/jm4q-8kd5/data 

ciao

daniele 

 

 

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/63e5cb3c-f4ba-4d42-81bb-55a10bcfc2ea%40googlegroups.com.

[Alberto Cottica]

Beh, poi c'è un'analisi temporale da fare, Daniele.

SE QUALCUNO SI OFFRE DI DARMI UNA MANO, VIVADDIO!

Che se no non mi diverto. :-)

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/CABT_80RTYNKB7Joif93AjQfe-VmRUwMdHYhkAT8T%3DSXPN%3D6NQA%40mail.gmail.com.

[andy]

Caro Gianni,

grazie per il lavoro fatto e per averlo documentato e condiviso.

Buona serata

______
Scusami per la brevità, ti sto scrivendo dal cellulare.

website: https://medium.com/tantotanto
38° 7' 48" N, 13° 21' 9" E EPSG:4326

--

[Matteo Brunati]

Grazie davvero di averlo documentato! Può essere un ulteriore stimolo per chiedere quei dati sul livello censuario/quartiere sulle grandi città d'Italia, in modo da poter comparare un bel po' di cosette.

Utilissimo (ora non ho scuse per giocarci, non appena trovo un attimo).

matt

[Alberto]

Ciao a tutti, l'hackathon si fa. Ho coinvolto Felipe, quindi saremo almeno in due. Stiamo cercando di portare una persona che lavora al settore servizi sociali del Comune di Milano per provare a fare un po' di statistica, e vedere se l'immigrazione correla a indicatori di disagio sociale. La domanda è più sofisticata di quanto non sembri, perché può essere che i servizi sociali si surriscaldino in base non al numero di immigrati, ma al loro tasso di crescita.

L'idea è che usiamo SOD19 soprattutto per fare prototipi e capire cosa ci interessa fare, poi il lavoro lo finiremo nei giorni successivi al raduno. Se qualcuno vuole darci una mano c'è lavoro per tutti, eh. :-)

Ho pre-aggregato i dati e aperto un repo: https://github.com/spaghetti-open-data/-milano-melting-pot

[Marco Scarselli]

Ciao Alberto! Hackaton molto interessante! Sfortunatamente nei giorni di spaghetti open data non potrò essere presente fisicamente ma qualche contributo da remoto sul progetto github lo do volentieri:)

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/85ec8b96-3735-4476-a24d-3b8570041af4%40googlegroups.com.

[Alberto]

Grazie Marco. Presa al volo. Dopo Milano aggiorno il repo, probabilmente tiro anche su un wiki.

[Alberto]

Aggiornamento: Emanuela Vita, del settore servizi sociali del Comune di Milano, si aggiunge al team. Emanuela ha alcune domande sulla correlazione tra immigrazione e domanda di servizi sociali, e ha accesso ad alcuni dataset sui servizi erogati; a Milano proveremo a montare una strategia per dire (e magari visualizzare qualcosa di utile sul tema). Quindi l'hackathon tenta di spostarsi cinque centimetri in direzione di un progettino di data science.

Ma c'è spazio per tutti, eh :-) Tutti benvenuti.