BigData Elezioni e Voto Open Data nel 2013

[Andrea Nelson Mauro]

Ciao a tutti, 

provo a riassumere il tutto, visto che nessun altro si è aggregato al thread (consultabile qui)

Le proposte sono al momento due:

1) uno scraping del BigData politico da http://elezionistorico.interno.it/ (accanto ai partecipanti metto una [s])

2) un appello al rilascio dei dati delle elezioni 2013 in Open Data, coinvolgendo i promotori del FOIA

Le persone che vogliono partecipare sono:

- Vittorio Alvino

- jenkin [s]

- lucacorsato 

- Paolo Mainardi [s]

- Alfredo Serafini [s]

- napo orso capo [s]

- Silvio Traversaro

Di seguito i link dei documenti condivisi dove scrivere le specifiche:

1) scraping

2) appello elezioni opendata

L'obiettivo è agganciare il lavoro al Raduno #SOD13 (dal 18 al 20 gennaio 2013 a Bologna). 

Quindi il tempo a disposizione è pochissimo (considerando anche la quantità di alcol e colesterolo che circolano sotto natale)

Le iscrizioni sono e resteranno sempre comunque aperte! ;)

Daidaidai! 

[seralf]

grande!

aspetta però:  l'idea è arrivare già con l'ossatura di progetto o ci concentriamo sulla parte di analisi?

Per Trello che mi dite allora? proviamo ad utilizzarlo o non ne vale la pena? in caso se volete creo una board e vi invito :-)

[Alberto]

Andrea, stiamo parlando dell'hackathon del raduno? Se è così, c'è anche la proposta di Dimitri. 

[Andrea Nelson Mauro]

Alberto, Alfredo: ditemi voi. Io ho fatto il sunto dell'altro thread... (se avete tempo date un'occhiata agli ultimi dieci post)

dobbiamo credo decidere insieme cosa fare per evitare sovrapposizioni e arrivare al dunque...

si potrebbe provare a fare lo scraping e rilasciare i dati in concomitanza con il raduno? (così la proposta di dimitri per l'hackaton non viene sfiorata)

@napo, @paolo, @vittorio: voi che dite? 

proporrei @paolo project manager, visto che con TweetYourMEP è filato tutto liscio!

non so, non vorrei fare casini :)))

p.s.: qualcuno avvisa google di attivare le menzioni? :D

[guido romeo]

sul 2 si può provare. ma dubito che li otteniamo e soprattutto in tempo.

l'1 resta un piano inevitabile…

[Andrea Nelson Mauro]

@guido: n realtà, una volta costruito lo spider che tira giù i dati, non ci sarebbe bisogno di chiedere nulla perché con quello tiri giù tutte le elezioni successive :)))

A quel punto diventa però una questione formale/simbolica... 

Mi piaceva l'idea di integrare l'iniziativa con la questione FOIA, ma non so bene quanto possa 'azzeccarci'. 

Non so, forse si può sentire anche qualcuno di dati.gov...

[Marco Trotta]

Il problema è: esiste già idea delal griglia, ovvero della struttura
dati dove mettere tutti i dati?

Il 21 dicembre 2012 22:09, Andrea Nelson Mauro
<andrea.ne...@gmail.com> ha scritto:

[Paolo Mainardi]

Ciao a tutti,

Come dicevo nell'altro thread secondo me sarebbe davvero interessante scrivere lo scraper e l'analisi pronti per il SOD raduno di gennaio, interessantissimo dataset per l'hackaton.

Per il project management del progetto ci sto, anche se il tempo libero al momento è scarso, ma con le vacanze qualcosa riesco a recuperare. 

Ma ho bisogno del supporto dei miei prodi compagni @Alfredo e @Alessio :)

@Luca c'era anche un excel con un analisi che qualcuno di noi stava facendo, scusate ora non ricordo chi :(

Direi che la documentazione che abbiamo è già un buon punto di partenza, @Alfredo puoi attivare una board su Trello intanto per iniziare a pianificare le prossime attività.

P.

2012/12/21 Andrea Nelson Mauro <andrea.ne...@gmail.com>

--

 

Paolo Mainardi 
Twinbit Founder - CTO

www:      twinbit.it 
mobile:   (+39) 3401678089 
skype:    paolo_mainardi 
linkedin: paolomainardi 
twitter:  @paolomainardi 
blog:     paolomainardi.com 

[Andrea Nelson Mauro]

@paolo: il documento condiviso è qui -> https://docs.google.com/document/d/1WtptzIHC3kyyKUoDJnbOhqN0TtDfIIKxG7sRCAeIVx8/edit

per l'hackaton, bisogna però evitare sovrapposizioni con la proposta di Dimitri sui dataset turistici, come giustamente sottolineava Alberto.

[Alberto]

Beh, questo mi sembra veramente un buon inizio per l'hackathon: ho letto il thread, ovviamente non sono in grado di capire tutto ma ho capito che avete discusso il problema a fondo – e soprattutto che c'è già un gruppo di sviluppatori in grado di tirare la volata e disposto a farlo: essenzialmente il gruppo di TYMEP, con qualche aggiunta importante. Immagino che non ci saranno problemi ad avere manovalanza: siamo già in 31 iscritti all'hackathon. 

Vi avviso: dopo il mio corso "Learning to program" dell'autunno aspiro a farmi dare cinque linee di codice da scrivere. Poi diventerò insopportabile e me la tirerò come se fossi Richard Stallman. :-) Se non me le date, pazienza, scrivo i testi come in TYMEP, o vi porto il caffè e andrà benissimo lo stesso.

Visto che siamo tanti, non è impensabile dividersi in due sottogruppi e provare a realizzare due cose anziché una. Propongo però che, se qualcuno vuole realizzare un secondo gruppo, usi la stessa logica del primo: una discussione preventiva per esplorare il problema, l'individuazione di un gruppo che assegna i compiti, svolge il lavoro preparatorio PRIMA del raduno e organizzi i partecipanti sabato 19.

[Alberto]

Una cosa, Andrea: nel documento condiviso scrivi in un paragrafo che cosa vi aspettate che succederà all'hackathon? Così lo usiamo per la comunicazione: lo mettiamo sul sito, lo ricondividiamo via Twitter etc. 

Il primo paragrafo va già benissimo così. Ne serve un secondo che dica "Procederemo così: prima scriviamo uno scraper [dicendo se lo scrivete durante l'hackathon o prima]; poi re-impacchettiamo i dati e li mettiamo su SOD per il download; poi montiamo una visualizzazione... insomma, vorrei che chi viene all'hackathon sapesse cosa aspettarsi. Fattibile?

[Dimitri Tartari]

Anche io faccio i complimenti per l'idea e il processo. Anche per me sarebbe utile un paragrafo in linguaggio naturale che faccia capire molto semplicemente come possono contribuire i meno tecnologi ma volenterosi e cosa otteniamo alla fine.

Evviva SOD, grazie a tutti.

Dimitri

--
Dimitri Tartari

cell: 3491563447

mail: d.ta...@gmail.com

[Andrea Nelson Mauro]

Alberto, ho fatto le modifiche (ho capito bene cosa intendevi?)

Tu riesci invece a dare una mano nella parte sull'appello al rilascio dei dati? Su questo cose non sono esperto...

[Alberto Cottica]

Ci guardo tra stasera e domani. Intanto grazie.

[Andrea Nelson Mauro]

Alfredo, Paolo: io mi sono iscritto su Trello e attendo la convocazione ufficiale ;)

[Alberto]

Andrea, fammi capire: da quanto ho capito nel documento, lo scraping lo fareste prima del 19. E quindi poi durante l'hackathon cosa facciamo? Elaborazioni e visualizzazioni? In questo caso dobbiamo assicurarci che ci siano le competenze.

[seralf]

Ok ho creato la board, sperando sian utile.

Ho creato una organization "Spaghetti Open Data" e reso visibile la board da chiunque ne faccia parte, così chi vuole partecipare si deve solo iscrivere o essere invitato da un amministratore: non conoscendo indirizzi ho trovato come utenti Paolo e Andrea e vi ho aggiunto e fatto amministratori (e invitato Alberto, di cui vedo l'email: per gli altri o me le girate o man mano che vi registrate vi abilito/abilitiamo :-), così ci dividiamo anche l'eventuale aggiunta/invito dei nuovi user.

Per la board ho aggiunto due colonne che di solito uso: una "wishlist" dove possiamo ammucchiare idee, così che "todo" diventa già una selezione delle cose da fare, e una finale "feedback" dove possiamo raccogliere (eventuali) obiezioni, critiche, suggerimenti utili a far ripartire il ciclo di una card, se ci va. Se non ci va o se vi sembra un'inutile spreco di energie basta che eliminate le colonne e torniamo al formato standard a tre :-)

Ho allegato nelle relative card i documenti condivisi via google drive, così man mano che sono aggiornati sono accessibili anche dalla card.

[Andrea Nelson Mauro]

Alberto: premetto che la proposta di Dimitri, oltre ad essere la prima arrivata, è anche più strutturata, quindi credo che dovrebbe avere priorità. 

Noi faremo due chiacchiere all'interno e cerchiamo di capire cosa possiamo fare prima e durante l'hackaton e direi che entro fine anno possiamo tirare le somme: cerchiamo cmq di tenere presenti bene i tuoi due suggerimenti e in particolare fare focus su cosa si può fare all'hackaton

bigdata - ho fatto due chiacchiere con un 'uccellino' (sulla cui identità manterrò il napo-riserbo più stretto :P), che giustamente mi diceva che il concetto di bigdata sia nella sostanza diverso dal modo in cui è stato usato in questo thread. 

Quindi mi sono andato a guardare la voce di Wikipedia. In italiano non c'è, e quindi l'ho creata al volo traducendo le prime righe della versione inglese.

Rischio l'OT, ma chiedo: qualcun altro si prende la briga di aggiungere qualcosa alla voce in italiano anche semplicemente traducendo dei pezzi dalla versione inglese?

:)

[Alberto]

C'è un altro aspetto di cui tenere conto. Il gruppo hackathon è numeroso e diversificato. Già oggi (http://stefanoduri.altervista.org/sod.html, poi filtra) siamo 33 iscritti: di questi, quelli che scrivono codice sono 12. Ci sono 6 pubblici amministratori, 14 interessati al data journalism, 14 attivisti e ben 18 persone interessate a statistica/visualizzazioni (il totale è > 33 perché sono possibili più risposte). 

Un hackathon ben strutturato e divertente mette tutti a lavorare. Il progetto su elezionistorico.interni.it si presta bene a questa situazione, perché è abbastanza completo. Gli smanettoni grattano il sito; gli statistici ordinano i dati, scrivono i metadati, inventano ipotesi e visualizzazioni; gli smanettoni cercano di renderle interattive sul web; i giornalisti ne traggono storie basate sui dati; gli attivisti preparano un appello e lo mettono in circolazione in rete. C'è lavoro per tutti, purché qualcuno lo organizzi. Ecco perché insisto sulla programmazione di quello che succederà sia prima che durante l'hackathon.

In effetti, pare che saremo abbastanza numerosi per fare due tracks parallele. Se Dimitri ed altri si intestano il lavoro necessario, potremmo costruire una seconda track sugli eventi. A occhio, mi pare che la track di elezionistorico.interno.it richeda pochi sviluppatori (ovviamente dipende da quanto lavoro sullo scraping viene fatto prima); mentre l'idea di Dimitri richiede molti sviluppatori (si tratta di integrare più dataset e costruirci sopra un applicativo). Le due potrebbero essere complementari!

Cosa ne dicono gli sviluppatori dell'hackathon? È realistico fare due tracks? Vi interessa? Dimitri, tu saresti disposto a montare un processo parallelo a quello di Andrea, Paolo e gli altri? Per ora dal lato sviluppatori si sono iscritti:

1. Alfredo Serafini
   
2. Carlotta Tatti
3. GIorgio Tsiotas
4. Luca Tremolada
5. Marco Trotta
6. Marco Montanari
7. Marco Brandizi
8. Matteo Fortini
9. Michele Barbera
10. Nicola Ghirardi
11. Tommaso Agnoloni
12. Vincenzo Patruno

[Alessio 'Blaster' Biancalana]

Scrittura codice e smanettamento +1 ;)

Due track possono essere l'ideale per quel tipo di pubblico che magari verrà al raduno e non vuole necessariamente essere hacker. Se le facessimo complementari allora si che sarebbe una svolta, penso :)

Ale

2012/12/23 Alberto <alberto...@gmail.com>

[Paolo Mainardi]

Ciao a tutti,

Io per l'hackaton credo che le 2 tracce sono molto interessanti, anche perchè gli hacker son delle bestie strane dunque dargli più possibilità per lavorare su un progetto forse è più stimolante e divertente.

Una cosa, qualcuno ha contatti adesso con la facoltà di informatica dell'unibo ? Ai tempi c'erano molte menti eccellenti, sarebbe bello coinvolgere un po' di studenti interessati.

Io direi di fare una hangout/skype-call per coordinarci e vedere di fare un programma, per me va bene qualsiasi giorno da oggi.

2012/12/23 Alberto <alberto...@gmail.com>

[seralf]

due track sono ottime, basta avere come obiettivi di breve termine cose semplici, è importante pure arrivare da qualche parte con la sensazione di aver prodotto delle cose :-)

ok per me anche per skype, unica cosa diamoci una specie di slot orario di riferimento, così riusciamo ad incrociarci

[Stefano Durì]

ho dato un occhio ai dati sulle elezioni, limitandomi alla Camera. Be', è un discreto casino. 

Gli assi che identificano una pagina sono:

X: Tipo di elezione (Camera, Senato,..)

Y: Data

Z: Livello geografico

se Area = Italia: [ Area > Circoscrizione > Provincia > Comune ]

se Area = Valle D'Aosta: [ Area > Collegio > Provincia > Comune ]

se Area = Estero: [ Area > Ripartizione > Nazione > Consolato ]

Solo che l'insieme di argomenti Z varia, anche per un solo tipo di elezione, in funzione del tempo: cambiano ad esempio le circoscrizioni, le province e i comuni. Forse l'approccio migliore per creare lo scraper è semplicemente partire da una pagina "elezioni di tipo X" e poi ragionare più o meno così (sintassi inventata)

set array_date = <elenco dei link alle combinazioni X, Y>

per ogni link in array_date

leggo pagina

salvo la riga: [link, testo contenuto in <div class="titolo_pagina"> (cioé il path), contenuto]

set array_livello_geo1 = <primo elenco link in colonna dx>

per ogni link in array_livello_geo1

leggo pagina

salvo la riga: [link, testo contenuto in <div class="titolo_pagina"> (cioé il path), contenuto]

set array_livello_geo2 = <secondo elenco link col dx>

....

In questo modo ho l'elenco dei link a tutte le pagine e il relativo contenuto, che può essere strutturato in modo diverso a seconda della tornata elettorale. Stiamo parlando di migliaia di righe, ovviamente. Il contenuto da salvare può essere limitato all'area centrale della pagina. A questo punto bisogna estrarre i dati atomici in base alla specifica struttura della pagina.

[Andrea Nelson Mauro]

@Stefano: ti andrebbe di ricopiare il tuo schema su Trello? Abbiamo un board aperto per la progettazione dello spiderino...

[Stefano Durì]

volentieri, ma non ho idea di come fare, a parte iscrivermi a Trello (già fatto)

[Stefano Durì]

Io parto domattina e sarò di ritorno in Italia il 3. Spero che nel frattempo non capiti nulla al meccanismo delle iscrizioni, perché di Internet mi sa che in questi giorni ne vedrò pochina e non potrò essere di aiuto. 

saluti e auguri di buone feste a tutti

[Mara Cinquepalmi]

@stefano mi sono iscritta ieri al sito, ma non ho ricevuto conferma.
Grazie

[Alberto]

Ciao Mara, 

ti ho appena approvata. E insieme a te: Fabio Fornasari, Nino Galante, Alfredo Serafini, Lucia Mazzoni, Marcello Crosara, Mara Montanino, Giuseppe Morone. 

Ci sono molti altri utenti che mi sembrano soprattutto spambot, e non li ho approvati. Se qualcuno si è iscritto al sito ma non ha avuto la mail di conferma me lo faccia sapere. 

[seralf]

ciao rispondo al volo: mail di conferma ok, ma non sembra funzionare il cambio password, almeno a me

[Alberto Cottica]

Questo è un lavoro per Paolo più che per me. Hai provato a rientrare con la nuova password? Altri siti Drupal si inchiodano quando cambi la password, ma in realtà te l'hanno accettata.

2012/12/26 seralf <ser...@gmail.com>

[seralf]

si si provato, ma non è comunque un problemone, almeno per me, era giusto per segnalare la cosa :-)

[Alberto Cottica]

Spetta che ci guardo.

2012/12/26 seralf <ser...@gmail.com>

[Nino Galante]

Per me invece non ci sono stati problemi, grazie 

[Paolo Mainardi]

Eccomi, Alfredo hai provato a chiedere una nuova pwd ?

[seralf]

si si scusate tutto risolto grazie al prode Alberto! :-)

[Mara Cinquepalmi]

ciao alberto,

tutto ok.

ho fatto login e non ho problemi.

mi sono già segnata nel gruppo comunicazione per le "cose da fare".

grazie e ciao

[Alberto]

Ottimo, Mara! Riesci a fare la famosa cartella stampa prima del 6? 

Un'altra cosa: Irene e il gruppo presentazioni, potete mettere mano al programma? Quello è un lavoro un po' più lungo.

Importante: chiunque voglia contribuire alla scelta delle presentazioni da mettere sul palco entri nel gruppo che se ne sta occupando. Il punto di riferimento è questo: http://www.spaghettiopendata.org/it/node/64 

[Mara Cinquepalmi]

Ok per cartella stampa.
Solo una cosa: tra le azioni di comunicazione pensate anche ad una conferenza stampa?
Grazie,
Mara

[Alberto]

Secondo me è una perdita di tempo colossale. Io lascerei perdere.

[Vittorio Alvino]

ciao e scusate l'assenza, 

collaboro volentieri alla stesura dell'appello a alla sua diffusione, tramite openpolis.

Credo che sia necessario prepararlo in parallelo con lo scraping (a cui non posso dare una mano perché non sono informatico) e sono d'accordo con Andrea che sarebbe ottimo lanciarlo da Bologna

nei giorni del raduno, ma non ho capito se su questo c'è consenso e convinzione in lista.

A Bologna io non potrò esserci ma sono a disposizione di quest'idea e convintissimo dell'importanza di tirare fuori i dati elettorali ma anche dato il momento anche quelli pre-elettorali, ossia quelli sui candidati, di darne dimostrazione d'uso e di pretendere all'avvio della campagna elettorale da partiti e istituzioni di renderli accessibili.  

Vittorio

[Alberto]

Mi sento di rassicurarti, Vittorio: il consenso in lista c'è – nel senso del "rough consensus and running code". Se ci siamo iscritti a SOD è perché siamo convinti che i dati aperti siano in genere una buona cosa.

[Alessio 'Blaster' Biancalana]

Concordo col consenso espresso da Alberto e con il suo rassicurarti. ;)

Una pacca sulla spalla.

Ale
Inviato da Android

[Mara Cinquepalmi]

Perfetto.
Al lavoro, al lavoro!!!

[Dimitri Tartari]

ciao mi fate sapere se la cartella è pronta?

così la mando ai colleghi che inviano newsletter

Dimitri

Il giorno 28 dicembre 2012 19:03, Mara Cinquepalmi <cinqu...@gmail.com> ha scritto:

Perfetto.
Al lavoro, al lavoro!!!

--
Dimitri Tartari

cell: 3491563447

mail: d.ta...@gmail.com

[Mara Cinquepalmi]

Ciao a tutti,
Qui http://www.spaghettiopendata.org/it/comment/13#comment-13 ho pubblicato una prima versione del comunicato.
Con Alberto sono d'accordo di aggiornarla non appena arrivano ulteriori indicazioni sul programma.
Intanto oggi ho segnalato la notizia nella sezione "rete e comunicazione" che curo per il sito del comune di San lazzaro, comune alle porte di Bologna (sono la responsabile dell'ufficio stampa, ma ho questo spazietto sul sito). In automatico la news viene ripresa dalla newletter che arriva a un bel numero di cittadini.
A presto,
Mara

[Stefano Durì]

@Andrea Nelson Mauro

Ho ricevuto l'invito per la board su Trello e mi sono iscritto ieri (o almeno ero convinto di averlo fatto), ma adesso non riesco più a vedere la board. Che è successo?

Il giorno lunedì 24 dicembre 2012 16:06:35 UTC+1, Andrea Nelson Mauro ha scritto:

[seralf]

ciao Stefano se accedi sulla board in generale non ti funziona?

https://trello.com/board/scraping-dati-elezioni/50d66457fd367d24520047a4

[Stefano Durì]

@Alfredo

la risposta è: 

Board not found.

This board may be private. If someone gave you this link, they may need to invite you to one of their boards or organizations.

[seralf]

@stefano: ho provato a farti admin, vedi un po' se ti si vede ora?

[Stefano Durì]

no, stesso messaggio - e neppure la vedo fra le mie boards

ma tu vedi un utente @stefanoduri?

Il giorno venerdì 4 gennaio 2013 11:40:00 UTC+1, Alfredo Serafini ha scritto:

[seralf]

si appunto ti ho fatto admin, così non ha senso che ti neghi accesso. Hai provato a svuotare la cache del browser? (domanda rituale, perdonami :-)

[Stefano Durì]

risolto. Colpa mia, avevo fatto login con un altro account Google. Non ho ben capito perché mi abbia loggato ugualmente ma lasciamo perdere. Scusami per il disturbo

[seralf]

nessun problema :-)

[Francesco Emanuele Bucci]

Ciao ragazzi,

è possibile avere accesso al board scraping elezioni su trello?

Grazie e a presto,

Francesco

Io seguo la mailing list ma non mi sono mai presentato:

il mio nome è Francesco, studio fisica a Copenhagen, sono in procinto di laurearmi e sono un appassionato di data drive journalism.

On Friday, 21 December 2012 18:53:57 UTC+1, Andrea Nelson Mauro wrote:

Ciao a tutti, 

provo a riassumere il tutto, visto che nessun altro si è aggregato al thread (consultabile qui)

Le proposte sono al momento due:

1) uno scraping del BigData politico da http://elezionistorico.interno.it/ (accanto ai partecipanti metto una [s])

2) un appello al rilascio dei dati delle elezioni 2013 in Open Data, coinvolgendo i promotori del FOIA

Le persone che vogliono partecipare sono:

- Vittorio Alvino

- jenkin [s]

- lucacorsato 

- Paolo Mainardi [s]

- Alfredo Serafini [s]

- napo orso capo [s]

- Silvio Traversaro

Di seguito i link dei documenti condivisi dove scrivere le specifiche:

1) scraping

2) appello elezioni opendata

L'obiettivo è agganciare il lavoro al Raduno #SOD13 (dal 18 al 20 gennaio 2013 a Bologna). 

Quindi il tempo a disposizione è pochissimo (considerando anche la quantità di alcol e colesterolo che circolano sotto natale)

Le iscrizioni sono e resteranno sempre comunque aperte! ;)

Daidaidai! 

[seralf]

ciao Francesco! ti ho aggiunto

[Francesco Emanuele Bucci]

Un razzo, Alfredo. :) Grazie mille.

[Francesco Emanuele Bucci]

Sei stato un razzo, Alfredo. Grazie mille :)

[Stefano Durì]

intanto ho messo su uno script, giusto per mostrare come potrebbe funzionare la cattura delle pagine, almeno per le elezioni della Camera. Non c'è la parte più importante (parecchio rognosa), cioé lo scraping dei dati veri e propri contenuti in ogni pagina

http://stefanoduri.altervista.org/elezioni.php

il sorgente è qui

http://stefanoduri.altervista.org/elezioni.txt

L'ho fatto abbastanza in fretta e quindi è sicuramente migliorabile e soggetto a errori. Ogni pagina richiede 0.6 secondi o più, quindi mi sa che bisogna fare di meglio.

[Paolo Mainardi]

Fantastico, @Stefano posso creare un repo e metterlo sul nostro github ?

2013/1/5 Stefano Durì <stefan...@aster.it>

--

 

Paolo Mainardi 
Twinbit Founder - CTO

www:      twinbit.it 
mobile:   (+39) 3401678089 
skype:    paolo_mainardi 
linkedin: paolomainardi 
twitter:  @paolomainardi 
blog:     paolomainardi.com 

[Stefano Durì]

non so di cosa stai parlando ma per me va bene di sicuro

[Alberto]

Ragazzi, Stefano non è iscritto al nostro Github! Bisogna rimediare.

Stefano vai qui e iscriviti. Vedrai quanta bella roba! E adesso ci finirà anche la tua. :-)

[Stefano Durì]

ok, mi sono iscritto a github come stefanoduri

[Paolo Mainardi]

Stefano, ti ho aggiunto al nostro team di "hackers" questa è la pagina: https://github.com/spaghetti-open-data Dovresti già vederlo nel tuo profilo.

Il repo invece è questo: https://github.com/spaghetti-open-data/scraper-elezionistorico

Se hai bisogno di info su come usare git/github la cosa è molto semplice, qui trovi un po tutto: https://help.github.com/

Se sei su osx/linux la cosa è semplicissima, sono davvero 3 comandi in croce:

Per scaricare il repo: 

git clone g...@github.com:spaghetti-open-data/scraper-elezionistorico.git

Per fare commit di nuove modifiche:

git commit [-a] -m "messaggio di commit" [nome-file]

Per aggiungere nuovi file: 

git add [nome-file] 

Per pushare in remoto (git è distribuito lavori sempre in locale fino al commit):

git push origin master (dove master è il branch principale)

Se hai bisogno di altre info, sentiti libero di contattarmi in privato :)

Thanks,

P.

2013/1/6 Stefano Durì <stefan...@aster.it>

[Stefano Durì]

ok, grazie

[Ernesto Belisario]

Buongiorno a tutti!

Ieri, dopo una riflessione sulla presenza di eventuali candidati incandidabili e/o ineleggibili nelle liste per le elezioni politiche, ho scritto questo post: http://blog.ernestobelisario.eu/2013/01/06/openelezioni-una-proposta/

Il buon Francesco Minazzi mi ha segnalato su Facebook l'esistenza di questo thread e, quindi, vi chiedo come possiamo provare a mettere insieme le energie per fare arrivare la proposta sulla scrivania degli Uffici competenti e - soprattutto - vederla attuata. I tempi sono stretti ma non mi sembra impossibile.

Saluti,

Ernesto Belisario

[Alberto]

Ernesto, un pezzo di questo hackathon consiste nell'appello al rilascio dei dati elettorali in formato open. Non ho capito: la tua proposta consiste nell'integrare in questo appello il rilascio immediato dei dati sui seggi e i candidati alle elezioni 2013? Se è così, credo non sia assolutamente un problema.

[Ernesto Belisario]

Alberto, esatto.

Ci tengo, inoltre, a rappresentarvi una (piccola) preoccupazione.

Chi frequenta/ha frequentato uffici elettorali sa che in questi giorni il Viminale sta già lavorando alla preparazione della macchina elettorale (la presentazione delle candidature avverrà tra un paio di settimane): per avere davvero la possibilità che l'appello venga accolto sarebbe utile che l'appello venisse inoltrato il prima possibile onde evitare che ci rispondano che "è troppo tardi".

Ernesto

[Francesco Minazzi]

Ernesto sai già a chi/cosa/dove andrebbe inoltrato l'appello? Ricerca veloce e poco approfondita mi ha condotto solo alla pagina del MinInterno con gli indirizzi PEC: http://www.interno.gov.it/mininterno/export/sites/default/it/sezioni/ministero/dipartimenti/dip_politiche_personale/pec/index.html

Oltre ciò, sarebbe da pubblicare sui principali siti/blog di attivismo democratico e openness, tipo FOIA.it, Agorà Digitale, OKFItalia, Innovatori PA e Alberto se troviamo un modo di infilarlo anche su Edgeryders allarghiamo l'iniziativa all'Unione, che ne pensi? 

[nic...@gmail.com]

Ciao a tutti!

Mi chiamo Nicola e sarò dei vostri a SOD2013.

Mi fate qualche account ?

Su github sono https://github.com/ghirardinicola

Grazie!

[Alberto Cottica]

Benvenuto, Nicola. Mi piace lo spirito! Paolo Mainardi ti aggiungerà al GitHub. Oppure segui (e vale per tutti, ovviamente):

https://github.com/spaghetti-open-data

2013/1/7 ghirard...@gmail.com <nic...@gmail.com>

[Paolo Mainardi]

Ciao Nicola, sei dei nostri :)

C'è bisogno di aiuto per lo scraper da portare all'hackaton, trovi il repo qui: https://github.com/spaghetti-open-data/scraper-elezionistorico

Se hai tempo/voglia ogni aiuto è ben accetto, chiaramente vale per tutti.

P.

2013/1/7 Alberto Cottica <alb...@cottica.net>

[Andrea Nelson Mauro]

@Ernesto: ottima idea, la proponeva anche Vittorio Alvino di OpenPolis (rilasciare i dati sui candidati) nei confronti del ministero ma anche dei partiti.

qui c'è un piccolo wiki https://docs.google.com/document/d/1hma2_pRx7YuZeKsQzAjK56REUeMu7uwhSKJshF4Zrb8/edit

Personalmente sono abbastanza pessimista sul rilascio dei dati in formato OD, infatti l'idea non è solo quella di fare l'appello, ma anche di scaricare dal sito del ministero dell'interno tutti i dati di tutte le elezioni e poi metterli a disposizione di tutti in Open Data

Che ne dite se finiamo il testo dell'appello, ci facciamo una raccolta firme (tipo con firmiamo.it) e cominciamo a farla circolare?

In pratica così cominciamo a raccogliere le adesioni già da domani/dopodomani... E poi in concomitanza con il raduno SOD di Bologna? Rilanciamo il tutto?

@Alberto, @Francesco, @Vittorio @altri: dite anche voi.

p.s.: così chiudiamo anche sto thread che ormai è ingestibile :D

[seralf]

assolutamente daccordo! :-)

[Francesco Minazzi]

Per me va bene, opterei però per Aavaz come raccolta firme per petizione, così la affianchiamo a quella che già stiamo facendo ciroclare su Democrazia 2.0 e riuniamo il tutto al raduno. Se il MinIntern non accoglie l'appello, si può valutare la disponibilità dell'intera comunità open data italiana a raccogliere i dati della campagna elettorale e pubblicarli aperti..avremo di che parlare a sto raduno.

Francesco Minazzi

67028 San Demetrio Ne' Vestini AQ 

Contact me: francesco.minazzi

Get a signature like this. CLICK HERE.  

Il giorno 07 gennaio 2013 16:41, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

[Flavia Marzano]

+1 per Aavaz

Inviato da mobile

Flavia Marzano

Cel. +39 3485104754

Email flavia....@gmail.com

Skype flavia.marzano

[jenkin]

Ciao Paolo, puoi aggiungere anche me? Sono qui: https://github.com/jenkin

Il giorno domenica 6 gennaio 2013 19:08:07 UTC+1, Paolo Mainardi ha scritto:

[Paolo Mainardi]

Alessio, ci sei :)

2013/1/7 jenkin <alessio....@gmail.com>

jenkin

[Ernesto Belisario]

Francesco,

ti dico la mia: invierei l'appello sia all'ufficio competente del Ministero sia a quello dell'Ufficio Stampa oltre, per conoscenza, alla Presidenza del Consiglio. Provocatoriamente, si può pensare anche di andarlo a protocollare in cartaceo. 

E poi lo farei girare, ma - è una considerazione ad alta voce - senza aprire una campagna per due ragioni: a) i tempi (se la apri, devi tenerla aperta almeno un paio di settimane prima di inviare l'appello); b) in questo periodo "elettorale" ci sono già un quantitativo enorme di petizioni e raccolte firme, mentre la cerchia che la fa girare è sempre la stessa. Francamente, non so se è il caso di creare l'ennesima campagna.

Mi convince di più l'approccio di Andrea di inoltrare quanto prima l'appello e rilanciarlo in occasione del raduno.

Ma, naturalmente, sono solo i miei "due nichelini" :)

Ernesto

[Francesco Minazzi]

Mi trovi d'accordo, anche sul cartaceo (ma sì, facciamo i "sovversivi" del digitale!), quanto alla petizione sono neutro, se la maggioranza vuole la possiam fare, mi sono voluto esprimere solo sul mezzo (Aavaz piuttosto che firmiamo.it). Inviamo l'appello a firma di chi? Associazioni? Ciascuno il proprio nome su base volontaria? Un vago, seppur giusto "L'Italia intera"?

Dott. Francesco Minazzi
San Demetrio Ne' Vestini AQ 67028

Contact me: francesco.minazzi

Get a signature like this. CLICK HERE.  

[perugini]

Interessante la proposta/provocazione di Ernesto... anche l'idea di protocollarla in modo cartaceo... come dire... sarebbe molto utile da punto di vista comunicativo.

Una bella foto prima di esser protocollata e dopo il protocollo... e via di diffusione.

:-)

L

[perugini]

Mi accodo... https://github.com/perugini disponibile ad inserire qualche riga di codice :-) 

L

[Paolo Mainardi]

Grande, Luca ti ho aggiunto.

2013/1/7 perugini <luca.p...@gmail.com>

[perugini]

Grazie Paolo!

L

[Andrea Nelson Mauro]

Ragazzi, proviamo?

@Ernesto: il wiki può essere un buon punto di partenza? puoi integrarlo con le tue proposte?

poi lo possiamo condividere in lista come nuovo thread per un ultimo check.. 

Molto bella anche l'idea della foto al protocollo.

- poi possiamo fare un primo giro di raccolta firme fino al raduno.

- al raduno lo rilanciamo rilasciando anche tutti i dati.

- la nostra proposta diventerà legge dello Stato (un altro, però) :))

Domandona: ma all'estero i dati elettorali sono già tutti Open Data? Pure in Uganda? :D

[Silvio Traversaro]

Per quanto riguarda l'estero, so che in USA c'e' il progetto OpenElections (http://openelections.net/), che e' finanziato dalla Knight Foundation, quindi direi che anche li e' un problema aperto!

2013/1/7 Andrea Nelson Mauro <andrea.ne...@gmail.com>

[Vittorio Alvino]

destinatari dell'appello oltre, chiaramente al Ministero dell'Interno, devono essere anche i partiti o meglio tutte le liste che si presentano alla camera e al senato.

Al loro indichiamo un modo semplice e diretto per dare dimostrazione della trasparenza e della fiducia di cui sono capaci: quello di fornire l'elenco dei candidati per ciascuna circoscrizione.

Dati

Nome - Cognome - Data di nascita - Luogo di nascita - Nome della lista - Circoscrizione Camera/Senato

Come

un foglio di calcolo pubblico a disposizione di ciascuna delle circa 20 liste, un accesso in scrittura riservato per singola lista

Che ci facciamo

banale banale, un'applicazione a cui dici dove abiti e che ti fa la cortesia di dirti per chi puoi votare, se vuoi anche prima di doverlo scoprire sul manifesto lenzuolo elettorale affisso fuori dal seggio.

Poi in base alla chiave Nome_Cognome_Luogo_Data di nascita, openpolitici.it mette a disposizione una API che permette di sapere gli incarichi elettivi attuali e passati del singolo candidato. Se volete anche link a programmi elettorali, etc.

I dati aperti sono poi a disposizione per verifiche di cittadini, giornalisti, magistrati e curiosi per verificare incandidabilità, ineleggibilità, conflitti di interesse, altro... 

La cosa funziona se hai tutte le liste. Quindi la via maestra è quella di chiedere i dati al Ministero. 

Ma parallelamente chiederei appunto alle liste, è un modo per mettere ciascuno di fronte alle proprie responsabilità e, se lo capiscono, dargli l'opportunità di far conoscere i propri candidati, se lo capiscono e non se ne vergognano. Se delle liste aderiscono e altre no? 

Si potrebbe scegliere di farlo con ci ci sta e quindi dare pubblicità positiva a quelli che hanno scelto di aderire e negativa a chi ha fatto altrimenti.

Vittorio

 

[perugini]

Vittorio,

mi sembra molto ragionevole e concreta.

L

[Alessio 'Blaster' Biancalana]

Bellissima proposta Vittorio, molto concreta.

Eventualmente si possono inserire poi anche biografie dei candidati, eventuali cariche passate. In un futuro lontano potrebbe addirittura evolversi in un sistema di feedback.

Ale
Inviato da Android

[seralf]

per non parlare dei tweet! ;-)

[Alessio 'Blaster' Biancalana]

Se abbiamo anche quella informazione non ci vuole niente a replicare TYMEP anche su questo dataset :))

Ale
Inviato da Android

[Guido Romeo]

Bellissimo!

Noi stasera a hacks hackers milano vediamo proprio come lanciare Liste di vetro. In pratica la stessa cosa ma ti evidenzia gli indagati e/o condannati

Sent from my handheld device

[Alessio 'Blaster' Biancalana]

Guido, potreste/potremmo anche integrare gli strumenti e fornire all'elettore un mega-tool :))

Ale
Inviato da Android

[Ernesto Belisario]

Provo a mettere mano all'appello in modo da sottoporvi un nuovo testo in serata ;)

Ernesto

[Andrea Nelson Mauro]

A titolo di cronaca faccio presente che al momento sono disponibili:

-in pdf i candidati del partito democratico (Camera, Senato). Oltre al nome c'è solo il numero di posizione in lista (dal quale dipende l'elezione).

- il movimento 5 stelle che ha una tagmap con le tabelle e qualche info sui candidati

gli altri ancora non hanno presentato le liste

[Francesco Emanuele Bucci]

Non ho ben capito se il posto dove si parla dello scraper elezioni è questo o l'"Hackton".
Io la butto lì: non ce la si fa a buttar giù i dati di tutti i candidati per lo meno con:

• partito,
  
• circoscrizione di residenza (o natale?),
  
• circoscrizione di candidatura,
  
• numero di legislazioni in camera/senato già in curriculum,
  
• eventuale numero di legislazioni in altra amministrazione,
• LIVELLO DI ISTRUZIONE
• professione
• nota giudiziaria: indagini, condanne, prescrizioni ecc.

Sarebbe bello fare un confronto fra i partiti e vedere chi candida la gente dove non risiede, qual è il livello di istruzione dei nostri parlamentari divisi per istruzione, quali tipi di professioni svolgono.

Magari questa cosa esiste già. Per i candidati già deputati/senatori le informazioni, non tutte, si trovano su openparlamento; per gli altri è difficile suppongo.

Io ci lavorerei anche a tempo pieno, ma ho una tesi da consegnare da qui a poco tempo, purtroppo e per fortuna.

[Mara Cinquepalmi]

ciao,
forse qualcuno lo conosce già e l'ha segnalato (nel mare magnum di info di questa ml potrei essermi persa), ma ho scoperto questo:

http://dati.camera.it/it/apps/mappa-elezioni.html

[Francesco Emanuele Bucci]

Ma non sono dati del Regno d'Italia? I dati vanno dal 1861 al 1919...

[Stefano Durì]

come niente qualcuno è ancora in Parlamento