Milano melting pot: ecco come proseguiamo

94 views
Skip to first unread message

Alberto

unread,
Jun 2, 2019, 6:07:00 PM6/2/19
to Spaghetti Open Data
Ciao a tutti! Sono ancora carico per i postumi di SOD19. Grazie davvero a tutti i presenti, con menzione speciale a san Tommaso dei Dati, e a Erika per il talk pazzesco (di cui parliamo in un altro thread).

Grazie anche, tanto, al team di Milano melting pot. La giornata di oggi è stata molto utile per mettere a fuoco il problema, e mi pare che abbiamo fatto un passo avanti nel capire come muoverci a partire dai dati che abbiamo. Il piano "big picture" si trova nel wiki del repo. Propongo di andare avanti in questo modo:

Da fare subito
  1. Per favore, tutto il team si metta su GitHub. Quello è il luogo da dove ci coordiniamo. Anna, Otho, sto guardando soprattutto voi, che avete anche già del codice pronto.
  2. Canale di servizio: Telegram. Ho chiesto e ottenuto il permesso di usare il gruppo di SOD19. Se non è un problema, vi chiederei di comunicarmi il vostro username Telegram e vi mando un invito.
  3. Mettete il codice e gli eventuali dati secondari che avete prodotto sul repo.
Da fare in seguito
  1. Tenete d'occhio le issues. Assegnatevi e risolvete quelle che vi sentite di risolvere.
  2. Create nuove issues se avete idee che volete proporre.
  3. Niente panico. Questa è la fase più buia dell'hackathon, quando le luci del raduno si sono spente e il lavoro da fare sembra una montagna. Restiamo in contatto. Usiamo Telegram e la mailing list per stare in contatto e farci coraggio a vicenda.

Alberto

unread,
Jun 4, 2019, 11:49:51 AM6/4/19
to Spaghetti Open Data
Ciao a tutti, il lavoro ha fatto progressi. A SOD19 Tommaso Marcelli aveva montato una mappa con un JSON "di test", e aspettava i dati veri. Il primo JSON vero è pronto e sulla repo. Tommaso, ci leggi? Puoi controllare che vada tutto bene e che non rompa il tuo codice?

Intanto abbiamo messo un po' di gente su Telegram e GitHub.

Tommaso Marcelli

unread,
Jun 4, 2019, 6:50:02 PM6/4/19
to spaghett...@googlegroups.com
Ciao a tutti, 

certo, vi leggo! Vi aggiorno sullo stato delle cose lato mio: ho guardato meglio l'analisi di Bruxelles e soprattutto la sezione Where do residents live?, e secondo me dobbiamo adottare un dot density chart (o qualcosa del genere), in cui si possono sovrapporre più regioni d'origine. Ho combattuto un po' con Leaflet e l'ho mollato a favore di D3, su cui qualcuno ha fatto roba simile:


Il problema di quel genere di grafico è che costa veramente tanto a livello di rendering. Sovrapporre una decina di mappe e animarle tutti insieme potrebbe essere difficile disegnando un punto alla volta: sul sito di Bruxelles i grafici più semplici sono fatti con D3, quelle mappe sono immagini statiche. Avreste nel caso qualche idea alternativa di visualizzazione?

Sul JSON, ho modificato la struttura dati, ho committato come credo mi siano più comodi: l'unità minimale da gestire è la mappa per regione di origine in un anno, quindi ho rigirato i dati in modo da doverli manipolare il meno possibile nel browser. Ho aggiunto anche il file con le geometrie dei quartieri che avevamo trovato domenica. 

Per controllare meglio il tutto a livello di UI e di aggiornamento dei grafici, ho iniziato a lavorare ad una app di Vue, appena è decente faccio una pull request (pensavo di creare una cartella /web). Per andare avanti agevolmente con la visualizzazione, a me servirebbe map1Data_alt.json però con IdNil al posto di Nil, in modo da poter facilmente incrociare in maniera univoca il dataset con le geometrie dei quartieri. 

Tommaso

On Tue, 4 Jun 2019 at 17:49, Alberto <alberto...@gmail.com> wrote:
Ciao a tutti, il lavoro ha fatto progressi. A SOD19 Tommaso Marcelli aveva montato una mappa con un JSON "di test", e aspettava i dati veri. Il primo JSON vero è pronto e sulla repo. Tommaso, ci leggi? Puoi controllare che vada tutto bene e che non rompa il tuo codice?

Intanto abbiamo messo un po' di gente su Telegram e GitHub.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/18a61ab3-ffaa-43c4-89a0-0857a5f5612a%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.

Alberto Cottica

unread,
Jun 5, 2019, 4:14:39 AM6/5/19
to spaghett...@googlegroups.com
Tommaso, ci guardo stasera. Hai fatto una issue?

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/CAO%2BUpjS%3Dt3fuOVEJqrva%2BGGGyxE47gd4D7%3D513AAUqXgfRyV4w%40mail.gmail.com.

Giovan Battista Vitrano

unread,
Jun 5, 2019, 11:49:17 AM6/5/19
to Spaghetti Open Data
Ciao,
nel test che ho fatto su Palermo ho usato QGIS e Leaflet, esportando i punti in tiles e bloccando lo zoom a 13, rendendo tutto leggero.
Per qualcosa di più dinamico si potrebbero usare anche i vector-tiles.



Il giorno mercoledì 5 giugno 2019 00:50:02 UTC+2, Tommaso Marcelli ha scritto:
Ciao a tutti, 

certo, vi leggo! Vi aggiorno sullo stato delle cose lato mio: ho guardato meglio l'analisi di Bruxelles e soprattutto la sezione Where do residents live?, e secondo me dobbiamo adottare un dot density chart (o qualcosa del genere), in cui si possono sovrapporre più regioni d'origine. Ho combattuto un po' con Leaflet e l'ho mollato a favore di D3, su cui qualcuno ha fatto roba simile:


Il problema di quel genere di grafico è che costa veramente tanto a livello di rendering. Sovrapporre una decina di mappe e animarle tutti insieme potrebbe essere difficile disegnando un punto alla volta: sul sito di Bruxelles i grafici più semplici sono fatti con D3, quelle mappe sono immagini statiche. Avreste nel caso qualche idea alternativa di visualizzazione?

Sul JSON, ho modificato la struttura dati, ho committato come credo mi siano più comodi: l'unità minimale da gestire è la mappa per regione di origine in un anno, quindi ho rigirato i dati in modo da doverli manipolare il meno possibile nel browser. Ho aggiunto anche il file con le geometrie dei quartieri che avevamo trovato domenica. 

Per controllare meglio il tutto a livello di UI e di aggiornamento dei grafici, ho iniziato a lavorare ad una app di Vue, appena è decente faccio una pull request (pensavo di creare una cartella /web). Per andare avanti agevolmente con la visualizzazione, a me servirebbe map1Data_alt.json però con IdNil al posto di Nil, in modo da poter facilmente incrociare in maniera univoca il dataset con le geometrie dei quartieri. 

Tommaso

On Tue, 4 Jun 2019 at 17:49, Alberto <alberto...@gmail.com> wrote:
Ciao a tutti, il lavoro ha fatto progressi. A SOD19 Tommaso Marcelli aveva montato una mappa con un JSON "di test", e aspettava i dati veri. Il primo JSON vero è pronto e sulla repo. Tommaso, ci leggi? Puoi controllare che vada tutto bene e che non rompa il tuo codice?

Intanto abbiamo messo un po' di gente su Telegram e GitHub.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghett...@googlegroups.com.

Alberto

unread,
Jun 5, 2019, 2:44:34 PM6/5/19
to Spaghetti Open Data
Allora:

Tommaso Marcelli

unread,
Jun 5, 2019, 5:10:10 PM6/5/19
to spaghett...@googlegroups.com
Ciao a tutti, 

@Alberto: grazie mille, l'ho appena montato e convertito nel formato più nidificato, ho visto che hai rimosso anche i dati di genere e adesso è veramente compatto. Su Telegram ho ubbidito e ci sono, anche se non so cosa devo fare.

@Giovan Battista: io i punti in tiles non li stavo considerando finora, mi piaceva l'idea di fare tutto il rendering a runtime, vorrei comunque fare un paio di tentativi con D3.

Tommaso

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/2632deaf-9da1-4648-abc7-3e79f7ecd5ac%40googlegroups.com.

Giovan Battista Vitrano

unread,
Jun 12, 2019, 4:23:56 AM6/12/19
to Spaghetti Open Data
Ciao,
da qualche settimana il Comune di Palermo ha pubblicato i dati sulla popolazione straniera residente nel 2018
ne ho approfittato per replicare il lavoro già fatto.

Ho sperimentato un pò, e per come voglio rapprensetare io i dati nelle mappe QGIS e leaflet mi sembrano perfetti per ottenere mappe dinamiche.

Ho fatto prove anche con Cartodb, i dati caricati vengono restituiti in vector-tiles e caricati velocemente

http://wp.ondata.it/sicilia/wp-content/uploads/sites/2/2019/06/cartodb-768x436.png
Altra soluzione sempre in vector-tiles è mapbox

http://wp.ondata.it/sicilia/wp-content/uploads/sites/2/2019/06/mapbox-768x431.png

se si disattivano tutti gli strati informativi di base, rimane il solo lo strato aggiunto, questa nuova mappa può essere aggiunta in una mappa leaflet come layer e attivata/disattivata secondo le proprie esigenze,
con il vantaggio di avere un'immagine statica che viene caricata a piastrelle (tiles), decidi tu se il punto deve cambiare dimensione in base allo zoom e all'occorenza i punti o poligoni possono essere interrogati.



ho usato la mapbox dot nel viz di tableau

Non ho avuto il tempo di approfondire D3.js e Leaflet, mi riprometto di farlo, D3.js è veramente eccezzionale :-)




Il giorno mercoledì 5 giugno 2019 23:10:10 UTC+2, Tommaso Marcelli ha scritto:
Ciao a tutti, 

@Alberto: grazie mille, l'ho appena montato e convertito nel formato più nidificato, ho visto che hai rimosso anche i dati di genere e adesso è veramente compatto. Su Telegram ho ubbidito e ci sono, anche se non so cosa devo fare.

@Giovan Battista: io i punti in tiles non li stavo considerando finora, mi piaceva l'idea di fare tutto il rendering a runtime, vorrei comunque fare un paio di tentativi con D3.

Tommaso

On Wed, 5 Jun 2019 at 20:44, Alberto <alberto...@gmail.com> wrote:
Allora:

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghett...@googlegroups.com.

Tommaso Dradi

unread,
Jul 12, 2019, 7:30:01 PM7/12/19
to Spaghetti Open Data, Alberto Cottica
Care spaghettare e spago,
dal Comune di Milano (Francesca Montemagno) ci chiedono se c’è qualche visualizzazione e qualche dataset che vogliamo pubblicare, anche parziale in modo da stimolare ulteriormente la discussione.
Ho visto sul repo che gli ultimi commit sono di qualche settimana fa e non ho trovato direttamente, cosa si potrebbe condividere al momento?

felice notte!
Tom

Il giorno 12 giu 2019, alle ore 10:23, Giovan Battista Vitrano <giovanbatti...@gmail.com> ha scritto:

Ciao,
da qualche settimana il Comune di Palermo ha pubblicato i dati sulla popolazione straniera residente nel 2018
ne ho approfittato per replicare il lavoro già fatto.

Ho sperimentato un pò, e per come voglio rapprensetare io i dati nelle mappe QGIS e leaflet mi sembrano perfetti per ottenere mappe dinamiche.

Ho fatto prove anche con Cartodb, i dati caricati vengono restituiti in vector-tiles e caricati velocemente

http://wp.ondata.it/sicilia/wp-content/uploads/sites/2/2019/06/cartodb-768x436.png
Altra soluzione sempre in vector-tiles è mapbox

http://wp.ondata.it/sicilia/wp-content/uploads/sites/2/2019/06/mapbox-768x431.png

se si disattivano tutti gli strati informativi di base, rimane il solo lo strato aggiunto, questa nuova mappa può essere aggiunta in una mappa leaflet come layer e attivata/disattivata secondo le proprie esigenze,
con il vantaggio di avere un'immagine statica che viene caricata a piastrelle (tiles), decidi tu se il punto deve cambiare dimensione in base allo zoom e all'occorenza i punti o poligoni possono essere interrogati.


<Auto Generated Inline Image 1.png>

ho usato la mapbox dot nel viz di tableau

Non ho avuto il tempo di approfondire D3.js e Leaflet, mi riprometto di farlo, D3.js è veramente eccezzionale :-)




Il giorno mercoledì 5 giugno 2019 23:10:10 UTC+2, Tommaso Marcelli ha scritto:
Ciao a tutti, 

@Alberto: grazie mille, l'ho appena montato e convertito nel formato più nidificato, ho visto che hai rimosso anche i dati di genere e adesso è veramente compatto. Su Telegram ho ubbidito e ci sono, anche se non so cosa devo fare.

@Giovan Battista: io i punti in tiles non li stavo considerando finora, mi piaceva l'idea di fare tutto il rendering a runtime, vorrei comunque fare un paio di tentativi con D3.

Tommaso

On Wed, 5 Jun 2019 at 20:44, Alberto <alberto...@gmail.com> wrote:
Allora:

-- 
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghett...@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/2632deaf-9da1-4648-abc7-3e79f7ecd5ac%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.

-- 
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

Per altre opzioni visita https://groups.google.com/d/optout.
<Auto Generated Inline Image 1.png>

Tommaso Dradi

unread,
Jul 14, 2019, 6:59:42 PM7/14/19
to Spaghetti Open Data, Alberto Cottica
Nel frattempo gli condividerei  il link al post di Giovan Battista Vitrano che già aveva cominciato l’analisi nei giorni precedenti a SOD19 e il JSON ultra compatto con l’ID Nil e la distribuzione per aree geografiche continentali,
fatemi sapere se ci sono altre cose! grazie a tutti

Tommaso

Il giorno 13 lug 2019, alle ore 01:29, Tommaso Dradi <ta...@microonda.net> ha scritto:

Care spaghettare e spago,
dal Comune di Milano (Francesca Montemagno) ci chiedono se c’è qualche visualizzazione e qualche dataset che vogliamo pubblicare, anche parziale in modo da stimolare ulteriormente la discussione.
Ho visto sul repo che gli ultimi commit sono di qualche settimana fa e non ho trovato direttamente, cosa si potrebbe condividere al momento?

felice notte!
Tom
Il giorno 12 giu 2019, alle ore 10:23, Giovan Battista Vitrano <giovanbatti...@gmail.com> ha scritto:

Ciao,
da qualche settimana il Comune di Palermo ha pubblicato i dati sulla popolazione straniera residente nel 2018
ne ho approfittato per replicare il lavoro già fatto.

Ho sperimentato un pò, e per come voglio rapprensetare io i dati nelle mappe QGIS e leaflet mi sembrano perfetti per ottenere mappe dinamiche.


Reply all
Reply to author
Forward
0 new messages