Elezioni 2013 senza Open Data?

[Andrea Nelson Mauro]

in previsione della tornata elettorale, sto cercando i dati delle elezioni precedenti con Alessio Cimarelli e stiamo trovando una desolazione che la metà basterebbe.

A parte rari e arcinoti esempi open data (che però talvolta hanno description non esattamente chiarissime), il principale sito di riferimento del ministero dell'interno (http://elezionistorico.interno.it/) è forse ben consultabile, ma ci vuole wikileaks per tirare giù i dati. 

le domande nascono spontanee:

1) esiste un altro luogo dove risiedono i dati delle elezioni, ma riutilizzabili?

2) è il caso di avviare una qualche iniziativa per chiedere che i dati delle elezioni 2013 vengano rilasciati in open data? (per esempio agganciarla al raduno. E se sì, come? Una raccolta firme?)

3) l'ottimo gruppo di Open Polis potrebbe in qualche modo essere coinvolto? (questa è più per vittorio alvino)

Faccio presente che ovviamente i dati elettorali sono già tutti a disposizione disaggregati per sezione/comune nella PA quindi in realtà basterebbe solo tracciare la strada per la pubblicazione raw 

[Vittorio Alvino]

Ciao Andrea,

1) esiste un altro luogo dove risiedono i dati delle elezioni, ma riutilizzabili?

L'Istituto Cattaneo li mette a disposizione in xls:

http://www.cattaneo.org/it/archivi-menu/adele-menu.html 

 

2) è il caso di avviare una qualche iniziativa per chiedere che i dati delle elezioni 2013 vengano rilasciati in open data? (per esempio agganciarla al raduno. E se sì, come? Una raccolta firme?)

appoggio l'idea e aggiungo la richiesta che vengano messi a disposizione in OD gli elenchi dei candidati alle elezioni (tutte le elezioni), altrimenti che controllo preventivo può esserci sui casi di incompatibilità, incadidabilità, ineleggibilità?

3) l'ottimo gruppo di Open Polis potrebbe in qualche modo essere coinvolto? (questa è più per vittorio alvino)

a disposizione, se vuoi ci sentiamo direttamente

grazie

Vittorio 

[jenkin]

Ciao Vittorio,

ho dato un'occhiata veloce agli xls che hai segnalato,

mi confermi che ci sono solo i dati aggregati?

Cioè, per le elezioni delle assemblee regionali, per esempio, ci sono i voti ottenuti da ogni lista in ogni regione...

ma non ci sono i voti presidalle liste in ogni provincia / comune delle varie regioni.

Dato che invece è visualizzabile sul sito del ministero dell'interno... idem per le elezioni nazionali:

i voti della camera del Cattaneo sono divisi per circoscrizioni, e non anche per province / comuni.

Per capirci, il path di ricerca del sito del ministero è nella forma "Camera | 13/04/2008 | Area ITALIA (escl. Valle d'Aosta) | Circoscrizione PIEMONTE 1 | Provincia TORINO | Comune AGLIE'".

Sbaglio?

[jenkin]

Uh, aggiungo che mi pare che sul sito del ministero ci siano anche tutti i candidati nelle varie liste...

ma ho visto solo gli ultimi anni, non so nel passato come sia la situazione.

[Andrea Nelson Mauro]

@Vittorio: gli elenchi sarebbero molto utili, hai ragione da vendere. Il problema lì semmai sarebbe sui tempi. In questo caso per esempio se non erro i partiti hanno tempo fino a metà gennaio per presentare le liste, e poi dopo trenta giorni si vota. Il tempo a disposizione ci sarebbe, ma trenta giorni sono pochi. 

Magari prima di sentirci, aspettiamo qualche giorno per vedere se qualcun altro si aggrega alla discussione?

Non so che iniziativa potrebbe fare al caso nostro, ma pensavo che forse si potrebbe estendere l'invito a chi partecipa all'appello per il FOIA? Che ne dici.

Un'idea banale l'avrei, ma è ben poco: si potrebbe organizzare un "tweet day" per le elezioni in Open Data (si stabilisce una data e in quel giorno tutti twittano una frase standard (che frase?).

Il tempo comunque non è molto quindi forse nel giro di qualche giorno dovremmo capire cosa possiamo fare.

[Vittorio Alvino]

@alessio

confermo, nei file del Cattaneo non hai lo stesso dettaglio ministero interno :(

@andrea

d'accordo su a estendere al gruppo foia e il resto, quanto alle liste dei candidati potrebbe essere un appello rivolto anche ai partiti stessi perché d'ora in avanti mettano a disposizione sui loro siti le liste dei candidati alle cariche elettive come elementare dimostrazione di trasparenza

ciao

Vittorio

[Andrea Nelson Mauro]

@Vittorio: se nessun altro si aggiunge, potremmo cominciare a valutare il da farsi... Tu avevi pensato a qualcosa in particolare? Come coinvolgiamo i promotori del FOIA?

[Luca Corsato]

Scusate il ritardo...leggerò le passate mail ma sono (con tutta la mia incompetenza) a disposizione!

Appena recupero quanto avete già discusso posso essere operativo

Ciao

l

luca corsato

+393339187853

fb luca.corsato

tw lucacorsato

www.lucacorsato.it

[Maurizio Napolitano]

Secondo me sarebbe il caso di sentire prima l'ufficio
elettorale per capire se, per qualche normativa causata
dal timore di coprire la privacy degli elettori, i dati
vengano distribuiti volutamente con dei limiti.

[seralf]

mi levate una curiosità?

perché non pubblicano dati disaggregati privi delle parti "sensibili"? in tal modo le normative sulla privacy non sarebbero applicabili.

[Alessio Cimarelli]

Ma nel caso delle elezioni, quali sarebbero questi dati sensibili? Il voto segreto non è già garantito dal meccanismo dell'urna? E cmq qui il problema è il formato dei dati, non la loro natura pubblica, perché sul sito del ministero si possono navigare interamente... mi sfugge qualcosa?

[Maurizio Napolitano]

2012/12/17 seralf <ser...@gmail.com>:

> mi levate una curiosità?
> perché non pubblicano dati disaggregati privi delle parti "sensibili"? in
> tal modo le normative sulla privacy non sarebbero applicabili.

Il voto ha una caratteristica curiosa: deve essere segreto ma allo stesso
tempo pubblico.
La parte di segretezza principale e' nel diritto, di ogni singolo elettore,
di non informare della sua preferenza.
Esistono pero' le liste degli aventi diritto al voto di cui si traccia:
- il seggio in cui devono votare
- il fatto se hanno votato o meno
Sicuramente la seconda parte e' quella sensibile, ma, di fatto, va
registrata per evitare brogli.
La prima sembra, apparentemente, innocua, ma bene o male
rimane uno strumento attraverso cui un candidato e' in grado
di capire se sono arrivati o meno dei voti attesi.

Mi sono occupato di voto elettronico per 3 anni e mi e' venuto il mal
di pancia sul tema.
Il voto sembra un argomento light perche' e' una pratica su cui, bene
o male, tutti ci
siamo imbattuti e, il fatto che molta delle sicurezza e' spostata sui
processi che sono
trasparenti.

In ogni caso, e' meglio sentire il legale di un ufficio elettorale per
capire meglio
le problematiche.
Le mie sono supposizioni, e, come sempre, c'e' sempre tanto FUD, in queste
questioni.


Alcune note di contorno sul progetto su cui ho lavorato:
abbiamo costruito anche la macchina con gli elettori esprimevano la
loro preferenza
Quel che resta del progetto e' qui
http://www.elezioni.provincia.tn.it/provote/voto_elettronico/
Qui le foto di alcuni prototipi
http://www.flickr.com/photos/napo/tags/provote/
Un video che racconta qualcosa
https://www.youtube.com/watch?v=gh8e46oMLDw

[Alessio Cimarelli]

Ho capito, ma se non mi interessa il dato a livello di singolo seggio, ma aggregato al singolo comune, il problema della tracciabilita del voto incrociando i risultati con le liste degli aventi diritto sussiste solo per i comuni microscopici... ma le liste degli aventi diritto con le due informazioni di cui parli, napo, sono disponibili pubblicamente? Con nome e cognome? Immagino di no...

[Maurizio Napolitano]

2012/12/17 Alessio Cimarelli <alessio....@gmail.com>:

> Ho capito, ma se non mi interessa il dato a livello di singolo seggio, ma
> aggregato al singolo comune,

Yes, quelli hanno il problema che hai sollevato tu.
Pero' avere la mappa dei plessi o dei seggi secondo me sarebbe molto
piu' cool.

> il problema della tracciabilita del voto
> incrociando i risultati con le liste degli aventi diritto sussiste solo per
> i comuni microscopici... ma le liste degli aventi diritto con le due
> informazioni di cui parli, napo, sono disponibili pubblicamente? Con nome e
> cognome? Immagino di no...

Devo verificare, comunque e' una informazione accessibile, ma sicuramente
non in maniera diretta.
Quindi, anche io immagino di no.

Concordo per il resto che i dati dal sito del ministero necessita di scraping
(come e' stato fatto per mappeelettorali.it).
Cmq prima fare una richiesta ufficiale per vedere cosa rispondono e poi,
sulla base della risposta, partirei con una richiesta piu' strutturata.

my 2 cents

--
Maurizio "Napo" Napolitano
http://de.straba.us

[seralf]

immaginavo che anche la mia domandina richiedesse risposte complicate e supporto di analisi legali :-)

sembra proprio che non ci sia niente di semplice a volte, qui nel nostro paese...

in effetti anche una mappa a livello di seggio è ancora un dato abbastanza aggregato e però molto più chiaro per le analisi dall'alto, sarebbe un ottimo compromesso

in ogni caso seguo con interesse la discussione, e se c'è / ci fosse da fare scraping su questo tema collaboro molto molto volentieri

[Alessio Cimarelli]

L'istat ha lo shapefile dei seggi? (ma quanti sono in tutta Italia? ordine 100000?) E il ministero rilascia i dati elettorali a questo livello di dettaglio?

[Alessio Cimarelli]

@Seralf:  l'html del portale del ministero mi sembra ben fatto e tutte le query sono codificate in variabili get... se non si ottengono in altro modo, io scriverei uno spiderino che tiri giù tutto e in caso lo farei in python (da mettere poi su scraperwiki)...

[Paolo Mainardi]

Direi che è un ottima idea, perchè non facciamo un documento condiviso dove scriviamo le specifiche delle chiamate e poi ci lavoriamo insieme ? 

2012/12/17 Alessio Cimarelli <alessio....@gmail.com>

--

 

Paolo Mainardi 
Twinbit Founder - CTO

www:      twinbit.it 
mobile:   (+39) 3401678089 
skype:    paolo_mainardi 
linkedin: paolomainardi 
twitter:  @paolomainardi 
blog:     paolomainardi.com 

[seralf]

+1 per me

(certo mi costringerete a ripassare un po' di python, ma vabbè :-)

[Alessio Cimarelli]

Non ho mai programmato in team, quindi non sono avvezzo a queste pratiche... :) cmq le strategie possibili sono due: o capiamo come le query sono codificate nelle variabili get o scriviamo uno spider che navighi i vari filtri e tiri giù le pagine relative alle liste e ai candidati...

[seralf]

se ne vale la pena si può anche creare una board apposita su Trello:

www.trello.com

;-)

secondo me va fatta sia l'analisi delle get che una ossatura di spider un minimo configurabile

[Paolo Mainardi]

Son d'accordo, Trello non è che mi faccia impazzire in realtà, però Alfredo se tu lo conosci sono be lieto di seguirti :)

2012/12/17 seralf <ser...@gmail.com>

[seralf]

beh è spartano... se conosci soluzioni più ricche ben vengano, però funziona bene per avere una idea generale e seguirla, una specie di brainstorming e piccola manutenzione del work-in-progress.

Poi ovvio che i task li devi seguire, magari via le issue di github ;-)

ma non è indispensabile. Se vogliamo provarlo registratevi e creiamo una board, sennò insomma sentiamoci via mail e capiamo cosa vogliamo fare

[Silvio Traversaro]

Segnalo che il ricercatore inglese di Scienze Politiche Chris Hanretty aveva gia' fatto uno scraping di parte dei dati sull'archivio storico delle elezioni : http://chrishanretty.co.uk/blog/index.php/2012/05/17/italian-votes-dont-add-up/ (anche se non mi pare abbia pubblicato del codice).

2012/12/17 seralf <ser...@gmail.com>

[Maurizio Napolitano]

Su ScaperWiki c'e' gia' uno scraper
https://scraperwiki.com/scrapers/electiondates/

per la verita' estrae solo l'elenco di tutte le elezioni, ma, con
quello e' poi facile costruire le chiamate in get al sito del
ministero degli interni

[seralf]

niente male, bisogna dare una occhiata con calma! :-)

[Alessio Cimarelli]

@napo: avevo cercato qualcosa di simile, ma senza successo... cmq lo script è decisamente basilare,

non aiuta molto volendo tirar giù tutti i dati...

A spanne le chiamate al server sono più di un milione (10000 comuni per una 70ina di elezioni,

a cui si devono aggiungere le pagine dei candidati per ogni lista, quando ci sono).

Immagino si debba quindi pensare a un sistema di caching e resume (anche perché il database di aggiorna per aggiunta,

mentre i dati vecchi sono stabili).

ScraperWiki come gestisce la scrittura di file su disco (o di dati su database)?

--
ALESSIO CIMARELLI

a.k.a. jenkin

Ufficio comunicazione del LENS (Università di Firenze)
Giornalista scientifico freelance

Dottore in fisica

Blog: vortexvacui

Associazione: accatagliato

Telefono: +39 3343367454

Mail: alessio....@gmail.com

Skype: alessio.cimarelli

About.me

[seralf]

beh su molte chiamate sarebbe opportuno scrivere codice asincrono: qualcuno conosce buone librerie/framework per python? 

[Maurizio Napolitano]

2012/12/17 Alessio Cimarelli <alessio....@gmail.com>:

> @napo: avevo cercato qualcosa di simile, ma senza successo... cmq lo script
> è decisamente basilare,
> non aiuta molto volendo tirar giù tutti i dati...

Infatti, ho detto che e' un inizio, ma gia' ti tira fuori le variabili
necessarie per
costruire le get successive.

> A spanne le chiamate al server sono più di un milione (10000 comuni per una
> 70ina di elezioni,
> a cui si devono aggiungere le pagine dei candidati per ogni lista, quando ci
> sono).
>
> Immagino si debba quindi pensare a un sistema di caching e resume (anche
> perché il database di aggiorna per aggiunta,
> mentre i dati vecchi sono stabili).

Questa e' una logica che si deve spostare su scraperwiki

> ScraperWiki come gestisce la scrittura di file su disco (o di dati su
> database)?

Distribuisce file sqlite, e quindi immagino che scriva su sqlite, ma nei
requisiti di installazione c'e' mysql

[Andrea Nelson Mauro]

Dal punto di vista normativo va tutelata la segretezza del voto del singolo. L'unico elemento sensibile in questo caso è la privacy. rischierei di comprometterla solo se costruissi per esempio i perimetri degli edifici...

Per quanto riguarda i seggi, ciò è utile solo in caso di marker. il seggio è in effetti un aggregato di sezioni, ma solo il luogo fisico dove la gente va a votare. per la sezione invece sarebbe figo sì, ma occorre un dato ulteriore: quali numeri civici sono assegnati a ogni singola sezione, cose che ti permetterebbe poi di disegnare i perimetri. Le sezioni però cambiano con frequenza e dipendono dai singoli comuni... quindi è un delirio.

La base dati del ministero è sui comuni ed è giá ottima. con Alessio abbiamo già visto cosa può fare una choropleth con 9mila poligoni dentro (i comuni).

Secondo me lo scraping si può fare tranquillamente. Altrimenti non si spiegherebbe nemmeno perché i dati delle precedenti elezioni si possono trovare pubblicati ovunque...

[Paolo Mainardi]

Io direi che il punto di partenza è la stesura di un documento, un Google Docs condiviso, su cui scrivere almeno le specifiche delle variabili che vengono passate in GET, tutto quello che si riesce a capire facendo reverse engineering, su quello poi decidiamo come e cosa implementare.

Che ne dite ? Vogliamo partire da qui intanto ? Magari potrebbe essere un giochino per l'hackaton di Gennaio :)

2012/12/17 Andrea Nelson Mauro <andrea.ne...@gmail.com>

[Alessio Cimarelli]

@paolo: sì, io farei un tentativo di capire come funzionano le variabili get, se ci riusciamo è tutto molto più semplice...

[Paolo Mainardi]

Alessio, allora partiamo dal documento, ci pensi tu a condividerlo con noi ?

Thanks,

P.

2012/12/17 Alessio Cimarelli <alessio....@gmail.com>

[Alessio Cimarelli]

Ecco qua, con qualcosa da cui partire: https://docs.google.com/spreadsheet/ccc?key=0Aqj_-GzOiSPsdGlKbnpzNWJPbGs1dG9SdnBLMlBjdkE

[Andrea Nelson Mauro]

Allora qui il gioco si fa duro :)))

Si potrebbe fare un mega scraping e poi donarlo alla comunità come Spaghetti Open Data: poi a questo aggregare anche l'appello a rilasciare in formato Open i dati elettorali a partire dal 2013. 

E' pura follia? :D

[Maurizio Napolitano]

> E' pura follia? :D

No :)
E' la realta' dei fatti.

Personalmente lo metterei su scraperwiki e, eventualmente, spaccherei lo script
per annate.

[Paolo Mainardi]

2012/12/17 Andrea Nelson Mauro <andrea.ne...@gmail.com>

Allora qui il gioco si fa duro :)))

Si potrebbe fare un mega scraping e poi donarlo alla comunità come Spaghetti Open Data: poi a questo aggregare anche l'appello a rilasciare in formato Open i dati elettorali a partire dal 2013. 

E' pura follia? :D

E' esattamente quello che dobbiamo fare, inoltre una volta scritta la specifica, è un possibilissimo e divertente progetto da sviluppare all'hackaton, dai dai dai!