Coordinazione Hackaton - Track 1

[Paolo Mainardi]

Ciao a tutti,

Il tempo è ormai poco, non siamo riusciti a sviluppare lo scraper, ma abbiamo della documentazione e del codice gia su Github, mi pare che era in sviluppo anche una versione in Objective-C, mi aggiornate su questo ?

A questo punto direi che l'obbiettivo dell'hackaton è quello di portare a casa uno scraper (più o meno) e di salvare i dati su un DB, cosi da renderli accessibili a tutti, sarebbe già un risultato 

Ora, io non sono un'esperto di Scraping, sicuramente Alfredo e Stefano possono essere i mentori per tutti noi in questa parte, dunque vi chiedo di sentirci un attimo per fare il punto della situazione ed organizzarci per lo sviluppo della track 1, possiamo fare un Hangout/Skype domani ? Chiunque sia interessato a partecipare, fatemi sapere.

Thanks,

P.

--

 

Paolo Mainardi 
Twinbit Founder - CTO

www:      twinbit.it 
mobile:   (+39) 3401678089 
skype:    paolo_mainardi 
linkedin: paolomainardi 
twitter:  @paolomainardi 
blog:     paolomainardi.com 

[thestubborndev]

lo scraper Objective-C lo sto facendo io ed è quasi ultimato ;-)

[Paolo Mainardi]

Wow! Carlotta riesci già a pusharlo su Github ? I dati dove li stai salvando ? Dunque questo ci apre un nuovo scenario, la possibilità di sviluppare APP direttamente sull'hackaton.

Please, condividi più dettagli che hai :)

2013/1/13 thestubborndev <carlott...@gmail.com>

[thestubborndev]

Lo scraper per adesso esamina solo le comunali. Legge tutte le aree, regioni, province e comuni da tutte le date. Proprio adesso sto scrivendo il codice per leggere i risultati. Per adesso non salva ancora essendo ancora indecisa sul formato. Suggerimenti?

Tu dici di metterlo sulla repo GitHub di sod13?

Ciao!

[Paolo Mainardi]

Esatto, puoi usare il repo che c'è, magari fai un dir "objc" dove metti tutto il tuo codice.

Per salvare io direi MongoDB, oppure Mysql, quello che ti risulta più semplice e veloce, se è questo che intendi per formato.

Grazie,

P.

2013/1/13 thestubborndev <carlott...@gmail.com>

[thestubborndev]

ehmm, sono un po' a digiuno di database... se salvo in file xml o csv può andar bene lo stesso?

[Paolo Mainardi]

Direi di si, a questo punto preferisco il  CSV :)

Hai già identificato una struttura, quali campi ci saranno ed organizzati come ?

2013/1/13 thestubborndev <carlott...@gmail.com>

[thestubborndev]

per quanto riguarda i dati vorrei metterli tutti, se possibile. non ho idea di come organizzarli... :-(

[Paolo Mainardi]

Allora, partendo da una ricerca come questa: http://elezionistorico.interno.it/index.php?tpel=C&dtel=13/04/2008&tpa=I&tpe=A&lev0=0&levsut0=0&es0=S&ms=S

Abbiamo:

Tipologia (Camera, Senato ecc.)

Elezione (data)

Candidato

Lista/Gruppi

Voti

Percentuale

Seggi

Area 
Circoscrizione

E poi i valori: Elettori, Schede bianche, Votanti, Schede non valide che sono relativi a tutta l'elezione.

Dunque dovremmo avere, almeno 3 tabelle:

1) Liste: [id, Logo, Nome]

2) Elezione: [id, Tipologia, Data, Candidato, Lista [id tabella liste], Voti, Percentuale, Seggi, Area, Circoscrizione]

3) Aggregati: [id, id_elezione, Elettori, Schede bianche, Votanti, Schede non valide]

Che ne pensi ?

2013/1/13 thestubborndev <carlott...@gmail.com>

[Alberto]

Ahem, se posso permettermi... dall'alto della mia grande esperienza... 

• Carlotta ha ragione: intanto acquisiamo tutti i dati. Il drop delle variabili si fa poi, in sede di analisi (o di scrittura dell'app). 
• Non mi porrei neanche troppo un problema di organizzazione. Una volta che c'è uno o più CSV con dentro tutto (lo schema di Paolo per esempio può andare bene), si butta in Python (o dove volete) e si fa la riorganizzazione da lì; poi magari esportiamo un JSON razionale, e generiamo un Readme di documentazione in cui spieghiamo i principi di organizzazione. Però intanto il problema di grattarsi il sito (con tutti gli annessi di cui ci parlava Stefano, e che rischiano di costare molto tempo) è risolto, e non è una cosa da poco. 

Sbaglio? 

[thestubborndev]

concordo con Alberto. meglio avere subito i dati in un formato leggibile anche se un po' "rozzi".

[Paolo Mainardi]

Assolutamente d'accordo :)

L'unica cosa è dargli quantomeno una forma, Carlotta considera la mia proposta come un esempio, su come potrebbero essere strutturati i CSV, ma semplificazione ulteriori ben vengano.

2013/1/13 thestubborndev <carlott...@gmail.com>

[thestubborndev]

ecco un esempio della tabella "aggregati" con alcuni comuni del lazio.

https://docs.google.com/file/d/0BzKLROsrapxgYnlndkVkeEhFWEU/edit

Il giorno domenica 13 gennaio 2013 16:55:53 UTC+1, Paolo Mainardi ha scritto:

[Lia Orfei]

Salve, mi intrometto in veste di una che lavora nel campo della statistica! :)
Concordo con Alberto e Carlotta, piu' dati ci sono e meglio e', e concordo anche con Paolo perche' visto che comunque una forma bisogna dargliela anche solo per salvarli in .csv, tanto vale  pensare gia' al "dopo", e cioe' ad una formato che sia facile da utilizzare per le elaborazioni.
Per semplificare al massimo, si puo' fare un'unica tabellona con tutti i dati insieme, con la lista completa dei campi che si possono ricavare dai vari siti (esempio sotto sul modello di Paolo, ma forse e' possibile estrarre altro?).
In pratica la tabella e' una serie di  "blocchi" di dati con informazioni che si ripetono si, ma che sono poi facili da navigare con semplici queries.
L'importante e' che ogni riga identifichi univocamente un record di dati. Pensate che tragedia se ci fossero due Berlusconi! (scusate non ho resistito...)
Spero di aver detto cose che hanno un senso per tutti
A sabato!
Lia

Tipologia_elezioni

Data

Candidato

Lista/gruppo

Area_geo

Circoscrizione

Elettori

Votanti

Voti

Percentuale_voti

Schede_bianche

Schede_non_valide

2013/1/13 Paolo Mainardi <pa...@twinbit.it>

[Paolo Mainardi]

Ciao Carlotta, mi sembra che sia un XML e non un CSV, puoi fare una verifica ?

2013/1/13 thestubborndev <carlott...@gmail.com>

[Paolo Mainardi]

Ciao Lia e benvenuta, che bello averti qui :)

Mi sembra un ottima semplificazione, evitiamo cosi di avere N file CSV.

Carlotta tu che ne pensi ?

2013/1/13 Lia Orfei <antea....@gmail.com>

[Alberto]

Sì. è XML:

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">

<plist version="1.0">

@Lia una megatabella unica è concettualmente la cosa più semplice. L'unico problema potrebbe essere di gestione se l'archivio risulta molto grande, ma non credo... Stefano Durì, ci leggi? Tu ci avevi guardato dentro, secondo te quanto spazio occupa il file completo?

[Paolo Mainardi]

2013/1/13 Alberto <alberto...@gmail.com>

Sì. è XML:

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">

<plist version="1.0">

@Lia una megatabella unica è concettualmente la cosa più semplice. L'unico problema potrebbe essere di gestione se l'archivio risulta molto grande, ma non credo... Stefano Durì, ci leggi? Tu ci avevi guardato dentro, secondo te quanto spazio occupa il file completo?

Se riusciamo ad avere l'unico flie CSV, anche molto grande, possiamo spezzarlo e metterlo su un DB, non dovrebbero esserci problemi.

[Lia Orfei]

boh , non mi sembra ci sia un limite per comporre un file csv... piuttosto i limiti sono negli applicativi che usi poi per aprire il file, tipo Excel ha il limite a 65mila righe mi pare

2013/1/13 Paolo Mainardi <pa...@twinbit.it>

[Paolo Mainardi]

Confermo.

2013/1/13 Lia Orfei <antea....@gmail.com>

[Stefano Durì]

difficile valutare il volume dei dati da salvare, anche perché dipende dal grado di normalizzazione (in estrema sintesi: dalla quantità di ripetizioni, che è massima se si salva un flat file).

La mia proposta è comunque quella di scaricare per ora solo Camera e Senato, che hanno il pregio di essere "di attualità" e di avere alberi identici.

La struttura che ottimizza le dimensioni potrebbe essere qualcosa di simile a questa (non l'ho controllata per bene, quindi consideratela giusto un tentativo), articolata su più file. 

elezioni.csv

id

tipo_elezione=C, S,...

data

livelli.csv

id

id_parent = id del livello superiore

tipo = (area, circoscrizione, regione, provincia, comune, stato estero, consolato,..)

nome

pagine.csv

id

url = solo la parte dei parametri che identificano la pagina. In parte è ridondante rispetto ai dati successivi

id_parent = id della pagina superiore

id_elezione

id_livello

numero_elettori

numero_votanti

numero_bianche

numero_nonvalide

n.b. la pagina può anche non contenere alcun numero, ad es. quelle relative ai livelli superiori al comune nel caso delle elezioni comunali 

liste.csv

id

nome_lista

logo_lista = url 

candidati.csv

id

nome_candidato

voti.csv

id_pagina

id_lista

id_candidato

numero_voti = numero di voti ricevuti da una singola opzione

perc_voti = % di voti ricevuti da una singola opzione. In realtà sembrerebbe un dato superfluo, essendo =numero_voti / (numero_votanti-numero_nonvalide)

candidato_eletto = bool

Ad ogni giro (= tornata elettorale) lo scraper deve 

- caricare i dati di livelli, liste, candidati per prendere gli id delle righe già presenti e per inserire nuove righe con nuovi id

- inserire nuove righe in tutti gli altri file

(Ovviamente tutto si semplificherebbe lavorando direttamente su db)

[Mara Cinquepalmi]

domandone: ma a questa track può partecipare anche una come me che non ha competenze tecniche?

grazie

Il giorno domenica 13 gennaio 2013 16:55:53 UTC+1, Paolo Mainardi ha scritto:

[Lia Orfei]

Spero di si Mara perché cosi almeno siamo in due!! ;-)

[Alfredo Serafini]

Ciao a tutte\i, e scusate il ritardo di risposta (mi ero perso questo thread!)

Qualcuno ha idea di come condividere uno spreadsheet googledocs in maniera sensata?

ho buttato giù una piccola checklist di skill, così da invitare chi partecipa all'hackaton "tecnico" a compilarla, tanto per capire insieme come siamo combinati e come formare i gruppetti di lavoro, oltre che quanti siamo etc.

Se le informazioni sono già nella registrazione tanto meglio, sennò datemi una mano a sistemarlo: fatemi una revisione, ditemi se è chiaro, se c'è roba da aggiungere/rimuovere etc, che lo sistemo entro domani e lo iniziamo a far girare.

giacchè non ho trovato modi migliori provo a linkarlo, spero si veda:

https://plus.google.com/share?url=https%3A%2F%2Fdocs.google.com%2Fspreadsheet%2Fviewform%3Fformkey%3DdHplaEZyTEszckZpWlpOUjkxV3Z4Ymc6MQ

@Mara, @Lia: secondo me si, si trova sempre qualcosa da fare (magari verificare dati, testare la navigazione etc), basta che non vi annoiate :-)

[Alberto Cottica]

Alfredo:  per condividere un G spreasheet con un gruppo puoi cliccare su "Share" in alto a dx e poi inserire l'indirizzo email del gruppo (spaghett...@googlegroups.com) nel'elenco di contributori. Però lo potranno poi aprire solo le persone che sono iscritte a SOD con un account Google.

Se non è una cosa riservata (e non credo) clicca su share, poi nella prima riga (a destra di "Private") seleziona "Change", poi "Anyone with the link". In basso trovi "Access: Anyone (no sign-in required)", clicca su "can view" subito a dx, poi scegli "can edit". In quel modo tutti potranno editarlo.

2013/1/14 Alfredo Serafini <ser...@gmail.com>

[Andrea Nelson Mauro]

Ma scusate, possibile che in questa lista non ci sia nessuno che sappia chi manovra il db del sito elettorale del ministero? Ma dai! :)

[raffaele messuti]

avrei un'idea da condividere per lo scraper, ve la illustro velocemente
ci ho lavorato una mezz'ora la notte scorsa, se interessa possiamo
andare avanti un po' prima dell'hackaton.

prima di partire direttamente con lo scraping dei dati dalle tabelle
penso sia utile conoscere a priori le url, e la loro eventuale gerarchia.
conoscere le url di tutto puo' essere utile per eseguire in parallelo lo
scraping dei dati guadagnando tempo.

la mia idea e' avere in mongodb dei documenti del tipo:

{
"name" :
"type" : [area, circoscrizione, provincia, comune]
"data" :
"url" :
"parent" :
}

esempio:

{ "_id" : ObjectId( "50f47ef2c7b22a3bd400b8db" ),
"name" : "BOLOGNA",
"date" : "05/04/1992",
"type" : "provincia",
"url" :
"http://elezionistorico.interno.it/index.php?tpel=C&dtel=05/04/1992&tpa=I&tpe=P&lev0=0&levsut0=0&lev1=12&levsut1=1&lev2=13&levsut2=2&ne1=12&ne2=13&es0=S&es1=S&es2=S&ms=S",
"parent" : ObjectId( "50f47ef2c7b22a3bd400b8da" ) }


in questo modo si potrebbero fare delle query ed avere gia' le url
e procedere ad uno scraping selettivo delle tabelle contenute

> use elezionistorico
> db.camera.find({$and: [{"name":"BOLOGNA"},{"type":"comune"}]})
> db.camera.find({$and: [{"name":"BOLOGNA"},{"type":"provincia"}]})
etc.

ho scritto velocemente questo script:
https://dl.dropbox.com/u/536407/elezionistorico/scrapetree.rb
e' molto grezzo, e guarda solo le url della camera dei dep.

l'ho eseguito ieri sera, l'esecuzione dura poco piu' di mezz'ora.
potete scaricarvi il dump per mongodb (o l'export json) da qui
https://dl.dropbox.com/u/536407/elezionistorico/index.html

e' una cosa che ho fatto molto velocemente, e senza testarla
per cui non prendetela troppo per buona.

visto che il tempo della giornata dell'hackaton non sara' comunque
sufficiente a catturare tutto, io proporrei di usare questo sistema per
catturare solo una parte a titolo dimostrativo, ad esempio solo la
regione e-r o il comune di bologna.

ci vediamo sabato, ciao


--raffaele

[seralf]

ciao Raffaele, avevo ipotizzato anche io qualcosa del genere ed implementato un micro-esempio in nodejs+mongo, da perfezionare. Oggi è un po' una giornataccia e non credo di farcela, ma tra stasera e domani magari provo a condividere qualcosa. In ogni caso l'idea emersa credo sia di proporre dei dati di prova da confezionare e -se siamo abbastanza, se c'è voglia- al limite allestire in parallelo un miglioramento/scrittura dello scraping. Quindi magari c'è spazio per lavorarci su insieme :-)

sei iscritto a Trello?

@Alberto: grazie per le informazioni. Prima di condividerlo ditemi se secondo voi va bene o volete modifiche, ci mettete meno di un minuto e almeno siamo sicuri sia comprensibile e utile

[Stefano Durì]

@Alfredo

però il link che hai postato non mi permette di vedere il modulo. Il link da postare per visualizzarlo lo trovi sul modulo stesso, a fondo pagina

[Michele d'Alena]

ciao a tutte/e

per questo gruppo ho previsto la sala dell'Urban Center tutta per voi mentre per l'altro gruppo ci sarà una sala separata che è disponibile fino alle 16.

c'è microfono, schermo con proiettore, altro schermo LCD, free wi fi (basta registrarsi con il cellulare qui http://www.comune.bologna.it/wireless/it/register) ma chiedo a tutti di portarsi propri device per la connessione (vista l'esperienza, il wi fi non basta mai) e ciabatte e riduttori.

La sala è all'ultimo piano di Sala Borsa molto vicina alla sala dove ci sarà l'altro gruppo. Per ulteriori necessità c'è altra sala da massimo 8 persone.

Michele

[Paolo Mainardi]

Grazie Michele,

Ottimo, riporto queste info sul sito.

P.

2013/1/15 Michele d'Alena <michele...@gmail.com>

per questo gruppo ho previsto la sala dell'Urban Center tutta per voi mentre per l'altro gruppo ci sarà una sala separata che è disponibile fino alle 16.

c'è microfono, schermo con proiettore, altro schermo LCD, free wi fi (basta registrarsi con il cellulare qui http://www.comune.bologna.it/wireless/it/register) ma chiedo a tutti di portarsi propri device per la connessione (vista l'esperienza, il wi fi non basta mai) e ciabatte e riduttori.

La sala è all'ultimo piano di Sala Borsa molto vicina alla sala dove ci sarà l'altro gruppo. Per ulteriori necessità c'è altra sala da massimo 8 persone.

Michele

[Alberto Cottica]

Questa roba è già nella pagina checklist (salvo l'info relativa alle diverse sale).

2013/1/15 Paolo Mainardi <pa...@twinbit.it>

[thestubborndev]

ho finito lo scraper. sto scaricando la camera 2001-2006-2008

ciao

Il giorno domenica 13 gennaio 2013 16:55:53 UTC+1, Paolo Mainardi ha scritto:

Ciao a tutti,

Il tempo è ormai poco, non siamo riusciti a sviluppare lo scraper, ma abbiamo della documentazione e del codice gia su Github, mi pare che era in sviluppo anche una versione in Objective-C, mi aggiornate su questo ?

A questo punto direi che l'obbiettivo dell'hackaton è quello di portare a casa uno scraper (più o meno) e di salvare i dati su un DB, cosi da renderli accessibili a tutti, sarebbe già un risultato 

Ora, io non sono un'esperto di Scraping, sicuramente Alfredo e Stefano possono essere i mentori per tutti noi in questa parte, dunque vi chiedo di sentirci un attimo per fare il punto della situazione ed organizzarci per lo sviluppo della track 1, possiamo fare un Hangout/Skype domani ? Chiunque sia interessato a partecipare, fatemi sapere.

Thanks,

P.

[Alberto]

Brava Carlotta. All hail the hacker!

[Andrea Nelson Mauro]

Carlotta e tutti: io ho tirato giù dei dati a mano (per cose mie di lavoro).

Li metto a disposizione per la verifica. Li giro a @Paolo

[seralf]

Ciao, scusate il ritardo ma in questi giorni sono un po' incastrato su alcune cosette

intanto applausi a Carlotta che ci da qualche dato da cui partire :-)

@Raffaele: per la parte di scraping credo che una idea emergente dal gruppo sia utilizzare un po' di dati raccolti da Carlotta/Stefano e iniziare a prototipare applicazioni / sito su di esse.

Va da sè che in parallelo (una volta definito lo schema dei dati di massima) si potrebbe anche approcciare a mettere in piedi un sistema di scraping stabile e magari riutilizzabile altrove. Se c'è abbastanza gente volenterosa in tal senso, io ci sono molto volentieri, anche perché mi diletto con questi aggeggi da un bel po'. :-)
D'altro canto cerchiamo di capire quanti siamo e cosa sappiamo fare: immagino saremo un bel po', ma qualora fossimo invece pochi è bene orientarci su qualcosa di un po' presentabile, così da coinvolgere altre persone :-)

@Stefano: grazie della dritta, ecco il link spero corretto:

https://docs.google.com/spreadsheet/viewform?formkey=dHplaEZyTEszckZpWlpOUjkxV3Z4Ymc6MQ

se volete fate le vostre modifiche così magari lo facciamo girare :-)

[seralf]

ciao Andrea: allegali sul documento google docs o su trello, così li troviamo tutti! :-)

[Paolo Mainardi]

Ottimo, grandissimi ragazzi, siete una forza!

@Andrea in che formato li hai tirati giù ?

@Carlotta non appena hai gli export facceli avere cosi iniziamo a lavorarli.

2013/1/15 Andrea Nelson Mauro <andrea.ne...@gmail.com>

Carlotta e tutti: io ho tirato giù dei dati a mano (per cose mie di lavoro).

Li metto a disposizione per la verifica. Li giro a @Paolo

[seralf]

ok ho allegato i dati di Andrea su Trello, così è facile ritrovarli tutti... ho modificato la card già modificata da Stefano, che ora si chiama semplicemente "Dati esempio/ Scaricati". Se Carlotta può allegare pure i suoi lì abbiamo tutto in un unico posto ;-)

[Stefano Durì]

Io ho aggiunto la lettura dei dati di riepilogo e di candidato/lista all'esempio di scraper che avevo realizzato

http://stefanoduri.altervista.org/elezioni.php

[Paolo Mainardi]

Ciao Stefano, il sorgente dove lo trovo ? Cosi lo aggiorno anche in Github.

Idem per Carlotta.

2013/1/15 Stefano Durì <stefan...@aster.it>

Io ho aggiunto la lettura dei dati di riepilogo e di candidato/lista all'esempio di scraper che avevo realizzato

http://stefanoduri.altervista.org/elezioni.php

[seralf]

@Alberto: ho messo che chiunque può vedere il form/spreadsheet e chi è iscritto a SOD può modificare ;-)

[thestubborndev]

@Paolo ecco il sorgente https://docs.google.com/file/d/0B0il_Crqb1ExNnpYN3VtUTVKOVk/edit

Ciao

Il giorno domenica 13 gennaio 2013 16:55:53 UTC+1, Paolo Mainardi ha scritto:

Ciao a tutti,

Il tempo è ormai poco, non siamo riusciti a sviluppare lo scraper, ma abbiamo della documentazione e del codice gia su Github, mi pare che era in sviluppo anche una versione in Objective-C, mi aggiornate su questo ?

A questo punto direi che l'obbiettivo dell'hackaton è quello di portare a casa uno scraper (più o meno) e di salvare i dati su un DB, cosi da renderli accessibili a tutti, sarebbe già un risultato 

Ora, io non sono un'esperto di Scraping, sicuramente Alfredo e Stefano possono essere i mentori per tutti noi in questa parte, dunque vi chiedo di sentirci un attimo per fare il punto della situazione ed organizzarci per lo sviluppo della track 1, possiamo fare un Hangout/Skype domani ? Chiunque sia interessato a partecipare, fatemi sapere.

Thanks,

P.

[Paolo Mainardi]

E' tutto su Github, grazie.

Carlotta, magari lavora direttamente sul nostro repo, cosi puoi pushare gli aggiornamenti.

Thanks,

P.

2013/1/15 thestubborndev <carlott...@gmail.com>

[Stefano Durì]

ho aggiornato il codice su github

[Stefano Durì]

@Alfredo

secondo me dovresti spiegare chiaramente che cosa significa la scala graduata nelle varie domande (qualcosa del tipo.: "1=pessimo .. 5=ottimo"), altrimenti risultano ambigue

[Andrea Nelson Mauro]

paolo li ho girati ad alfredo avevo messo il il tab come separatore.

ho anche qualcosa dalle regioni Lazio, Lombardia e Molise se serve

[seralf]

Li ho messi in allegato su una card di Trello, ci sono anche quelli già aggiunti da Stefano! (così sta tutto in un unico posto, e non ci perdiamo le cose :-)

Volendo possiamo pure creare una cartelletta apposita su github

@Stefano: grazie, hai ragion. Ora modifico!

[thestubborndev]

mi sono accorta che il mio scraper è estremamente lento (circa 0,5 secondi ogni comune)

in due ore ha scaricato solo 4 regioni e quindi l'ho interrotto. quindi, giusto per capire... ci sono alternative??

[seralf]

ciao Carlotta è abbastanza comune che gli scraper siano lenti: in generale l'http non è che sia questo fulmine di protocollo :-)

diciamo che di solito l'opzione più efficiente è adottare linguaggi/framework basati su modelli concorrenti.

In ogni caso al di là dell'eventuale creazione di una piattaforma si può sempre mettere su un cronjob da qualche parte di qui a giovedì...

PS: tu come te la cavi con javascript?

[thestubborndev]

di javascript conosco le basi (loop for, if, var, get)

potrebbe bastare? per quanto riguarda il cronjob potremo usare ec2

[Paolo Mainardi]

Ciao Carlotta, 

Posso far girare quel codice su Linux ? Potremmo usare il server che adesso usiamo per SOD.

2013/1/15 thestubborndev <carlott...@gmail.com>

[thestubborndev]

non penso sia possibile compilare codice obiettive-c su linux :-(

[Stefano Durì]

realizzando lo scraper per la Camera, fra l'altro, c'è da notare che (ad es. nelle elezioni del 21/04/1996) deve tenere conto non solo della gerarchia "amministrativo/geografica", ma anche - per ogni livello - del sistema di voto Uninominale/Proporzionale, cioé leggere due pagine (con diversa struttura) per ogni livello.

es. 2008

http://stefanoduri.altervista.org/elezioni.php?d=1

es. 1996

http://stefanoduri.altervista.org/elezioni.php?d=2

(non è detto che tutto fili, beninteso)

[Paolo Mainardi]

Credo anche io :(

Intanto puoi condividere quello che sei riuscita ad esportare ? Cosi vediamo di iniziare a sviluppare l'importer su DB e disegnare il modello.

Per le tempistiche, più dati abbiamo, meglio è :)

2013/1/15 thestubborndev <carlott...@gmail.com>

[Paolo Mainardi]

Grazie Stefano,

Pensi che sarebbe possibile completarlo in tempo per l'hackaton oppure è fantascienza ? 

2013/1/15 Stefano Durì <stefan...@aster.it>

[Mara Cinquepalmi]

scusate, ma sto perdendo colpi.

per questa track cosa devo scaricare?

purtroppo non riesco a seguire tutte le discussioni e temo di arrivare sabato come una scolaretta impreparata...

grazie

mara

[karloff]

In verità su linux il compilatore ci sarebbe, con licenza Gnu, da anni. Si chiama GCC (http://gcc.gnu.org/) ma non riesco a darvi una mano oltre a questo: non programmo più da tempo...
State facendo un meraviglioso lavoro, vengo ad ascoltarvi venerdì e provo a capirci qualcosa sabato.

Ciao
Carlo

[Alfredo Serafini]

non so se ho capito: gcc compila anche objective c?

[Vincenzo Patruno]

Carissimi, per quanto riguarda la questione scraper, ho passato qualche ora ieri in compagnia di scraperwiki. 

Ho preso in esame i dati del senato a livello comunale e quello che è uscito lo potete vedere qui

https://scraperwiki.com/scrapers/test_4/

La cosa funzionerebbe se non fosse che i dati sono troppi e ad un certo punto, dopo 5409 pagine, scraperwiki si stende. E siamo ancora ai dati del 2008! :-)

Non ho la possibilità di procedere oltre in quanto sono circondato da mille cose da fare, tutte ovviamente per ieri, per cui se qualcuno ha la voglia, il tempo e la possibilità di raffinare lo script (probabilmente sarebbe da declinare per anno e regione, per cui alla fine si avrebbero tanti "miniscraper"....)

Questo ovviamente si andrebbe ad aggiungere allo scraper di Carlotta, per cui sarebbe un "di più".

Buona giornata a tutti

V

2013/1/16 Alfredo Serafini <ser...@gmail.com>

--
Vincenzo Patruno

@vincpatruno

http://www.segnalazionit.org

http://www.pionero.it
http://www.vincenzopatruno.org

“ If you want a track team to win the high jump you find one person who can jump seven feet, not seven people who can jump one foot. ”.

[Alessio 'Blaster' Biancalana]

CERTO che GCC compila anche objective c :P

Ale
Inviato da Android

[Stefano Durì]

Lo scraper dimostrativo che ho realizzato (http://stefanoduri.altervista.org/elezioni.php) "sembra" in grado di leggere qualsiasi data delle elezioni della Camera. Ho aggiunto una lista che consente di testarlo su ogni data. Non ho tempo per fare molto di più, a parte rendere un po' più leggibili i dati estratti da ogni pagina. Lo considero una specie di prototipo dimostrativo e non vorrei utilizzarlo per scaricare davvero i dati, anche perché manca tutta la parte di gestione del db. Naturalmente chiunque può riutilizzarlo come e quando vuole.

Un lavoro interessante (ma complesso) da realizzare potrebbe essere qualcosa tipo una timeline che segnala le modifiche a

- legge elettorale (nazionale e, credo, anche delle regioni a statuto speciale)

- struttura amministrativa regioni/province/comuni

- raggruppamenti in aree/circoscrizioni elettorali (ad es. l'introduzione del voto all'estero)

che influiscono nel corso del tempo sulla struttura dei risultati elettorali e quindi su navigazione (albero) e layout delle pagine del sito in elezioni/date diverse

[Vincio]

Ciao ragazzi,

Il Database di BE dove sono contenuti questi dati è Oracle. Sto provando (incrociamo le dita) ad avere un DUMP dei dati :)

Qualora dovessi averlo (re-incrociamo le dita), farei un reverse engeenring giusto per poter recuperare un class-diagram che ci indichi il dominio completo dei dati.

Incrociate le dita

Vincio

P.S. dovrei esserci pure io sia sabato che domenica

[Paolo Mainardi]

Grandissimo Vincenzo!  Questa è un ottima notizia, in qualsiasi formato riusciamo ad averlo andrà benissimo :)

Tienici aggiornati ed incrociamo le dita con te!

2013/1/16 Vincio <vincenzo...@gmail.com>

[thestubborndev]

ho caricato su trello un file di esempio dei dati estratti contenente la circoscrizione "piemonte 1"

Carlotta

Il giorno domenica 13 gennaio 2013 16:55:53 UTC+1, Paolo Mainardi ha scritto:

Ciao a tutti,

Il tempo è ormai poco, non siamo riusciti a sviluppare lo scraper, ma abbiamo della documentazione e del codice gia su Github, mi pare che era in sviluppo anche una versione in Objective-C, mi aggiornate su questo ?

A questo punto direi che l'obbiettivo dell'hackaton è quello di portare a casa uno scraper (più o meno) e di salvare i dati su un DB, cosi da renderli accessibili a tutti, sarebbe già un risultato 

Ora, io non sono un'esperto di Scraping, sicuramente Alfredo e Stefano possono essere i mentori per tutti noi in questa parte, dunque vi chiedo di sentirci un attimo per fare il punto della situazione ed organizzarci per lo sviluppo della track 1, possiamo fare un Hangout/Skype domani ? Chiunque sia interessato a partecipare, fatemi sapere.

Thanks,

P.

[Paolo Mainardi]

Ciao Carlotta,

Ottimo e grazie mille per l'impegno.

Due domande:

1) Quanti dati siamo riusciti a scaricare ?

2) Ci puoi dare un po' di informazioni sulla struttura dell'XML, perchè non riesco a trovare nel plist che hai allegato le informazioni su "data, aree, regioni, province" 

Thanks a lot.

2013/1/16 thestubborndev <carlott...@gmail.com>

[thestubborndev]

purtroppo lo scraper non è ancora asincrono (ci sto lavorando). ci mette circa 10 minuti per scaricare una provincia.

la struttura è la seguente

1) array date

2) array areea

3) array circoscrizioni

4) array province

5) array di dizionari dei comuni

- il dizionario comune contiene:

1) campo "nome_comune"

2) dizionario dati completi

3) dizionario riepilogo

- il dizionario "dati completi" contiene:

1) campo "voti"

2) array di dizionari dei candidati

- il dizionario candidato contiene:

1) campo "nome_candidato"

2) campo "percentuale"

3) campo "voti"

4) array di dizionari delle liste

- il dizionario lista contiene:

1) campo "nome_lista"

2) campo "percentuale"

3) campo "voti"

[Paolo Mainardi]

Ciao Carlotta, grazie.

E' proprio sull'array date ed areea che non riesco a reperire l'informazione, vedo l'annidamento ma non trovo poi il valore.

Mi fai vedere un esempio ?

Grazie.

2013/1/16 thestubborndev <carlott...@gmail.com>

[thestubborndev]

... mi sa che mi sono dimenticata di settare quei due campi...

correggo e aggiorno file..

[Paolo Mainardi]

Forse mancano anche:

3) array circoscrizioni

4) array province

O almeno non io non riesco a trovarli.

Thanks a lot,

P.

2013/1/16 thestubborndev <carlott...@gmail.com>

[thestubborndev]

sì, esatto ;-)

[thestubborndev]

file su trello aggiornato

Ciao

[Paolo Mainardi]

Carlotta, grazie mille ricevuto, ora mi sembra tutto corretto, @seralf e @dario potete fare una verifica anche voi.

Dunque, a questo punto lo scraper come funziona ? Riusciamo ad avere un file separata per ogni tipo di elezione oppure l'idea è avere un unico file XML ?

Grazie,

P.

2013/1/16 thestubborndev <carlott...@gmail.com>

[thestubborndev]

certo, l'ideale sarebbe tirare giù tutti i dati, ma come dicevo il mio scraper al momento è molto lento (10 minuti x provincia = 43 ore per data)

sto lavorando per velocizzarlo, eseguendo le richieste in modo asincrono.

Ciao

[Lia Orfei]

Carlotta & others

ho dato un'occhiata veloce ai file gia' scaricati, e , visti i tempi che stringono e da perfetta ignorante in materia di programmazione, mi viene spontaneo pensare che la velocizzazione dello scraper mi sembra un problema secondario adesso: darei la priorita' al cercare di scaricare serie storiche complete di dati che siano facilmente riutilizzabili, anche se non coprono tutto  il territorio nazionale.

Mi spiego meglio: penso che sia piu' utile ora avere uno scraper anche lento che pero' salva tutti i dati disponibili e utili per l'analisi in formato immediatamente utilizzabile (es .csv e .txt con separatori uniformi e definiti, con le date ben evidenti ecc) , piuttosto che uno scraper veloce che pero' salva dati non utilizzabili come fa ora.

Magari se per sabato riusciamo ad avere anche solo 2-3 regioni alla fine avremo comunque qualcosa di completo su cui lavorare ad un prototipo di qualche app, da espandere poi a tutto il territorio nazionale una volta velocizzati i tempi di ottenimento dati.

Che ne pensate?

2013/1/16 thestubborndev <carlott...@gmail.com>

[thestubborndev]

@Lia Giusto! ho appena avviato lo scraping della camera 2008 con tutte le regioni ;-)

Ciao

[Lia Orfei]

vai!

Io intanto mi sono scaricata le cartografie dei confini comunali al 2008 da http://www3.istat.it/dati/catalogo/20090728_00/  dove ci sono i nomi e i codici dei comuni da mappare con i dati elettorali - la granularita' non sara' fine come potrebbe essere (non sono riuscita a trovare le cartografie delle circoscrizioni elettorali, ma gia' a livello comunale e' abbastanza dettagliato)

questo in vista di un lavoretto di visualizzazione su mappa che potrebbe essere carino da fare sabato, su suggerimento di Marco G e Paolo M :)

2013/1/16 thestubborndev <carlott...@gmail.com>

[Lia Orfei]

sto anche cercando di metterle su Trello

2013/1/16 Lia Orfei <antea....@gmail.com>

[duemme]

Da una rapida ricerca su http://it.wikipedia.org/wiki/Circoscrizione_elettorale

Ho visto che la Camera ha base regionale o provinciale, mentre per il Senato la base è regionale.

Sulla banca dati giuridica della Giuffrè sono riuscito a recuperare la tabella A allegata alla "LEGGE 4 agosto 1993, n. 277 - Nuove norme per l'elezione della Camera dei deputati ", che dovrebbe elencare le province che costituiscono le circoscrizioni.

La tabella A dovrebbe essere stata confermata dalla  legge 21 dicembre 2005, n. 270, per cui l'assetto dovrebbe essere rimasto invariato.

All'elenco dovrebbero però mancare la Valle d'Aosta e le circoscrizioni (o circoscrizione) Estero. 

Spero possa essere una basa di partenza per ricostruire l'assetto delle circoscrizioni per la Camera.

Ciao

* * *

" CIRCOSCRIZIONI ELETTORALI

                                                     Sede Ufficio
               CIRCOSCRIZIONE                          centrale
                                                   circoscrizionale
                    ---                                   ---
     1) Piemonte 1 (provincia di Torino)                Torino
     2) Piemonte 2 (province di Vercelli, Novara,       Novara
Cuneo, Asti, Alessandria, Biella, Verbano-Cusio-
Ossola)
     3) Lombardia 1 (provincia di Milano)               Milano
     4) Lombardia 2 (province di Varese, Como,          Brescia
Sondrio, Lecco, Bergamo, Brescia)
     5) Lombardia 3 (province di Pavia, Cremona,        Mantova
Mantova, Lodi)
     6) Trentino-Alto Adige                             Trento
     7) Veneto 1 (province di Verona, Vicenza,          Verona
Padova, Rovigo)
     8) Veneto 2 (province di Venezia, Treviso,         Venezia
Belluno)
     9) Friuli-Venezia Giulia                           Trieste
    10) Liguria                                         Genova
    11) Emilia-Romagna                                  Bologna
    12) Toscana                                         Firenze
    13) Umbria                                          Perugia
    14) Marche                                          Ancona
    15) Lazio 1 (provincia di Roma)                     Roma
    16) Lazio 2 (province di Viterbo, Rieti, Latina,    Frosinone
Frosinone)
    17) Abruzzi                                         L'Aquila
    18) Molise                                          Campobasso
    19) Campania 1 (provincia di Napoli)                Napoli
    20) Campania 2 (province di Caserta, Benevento,     Benevento
Avellino, Salerno)
    21) Puglia                                          Bari
    22) Basilicata                                      Potenza
    23) Calabria                                        Catanzaro
    24) Sicilia 1 (province di Palermo, Trapani,        Palermo
Agrigento, Caltanissetta)
    25) Sicilia 2 (province di Messina, Catania,        Catania
Ragusa, Siracusa, Enna)
    26) Sardegna                                        Cagliari

[jenkin]

Ciao,

scusate se rispondo solo adesso, ma sulle circoscrizioni ho già un po' di materiale caricato su dataninja:

• tabelle dei codici delle divisioni amministrative e shapefile (regioni, circoscrizioni, province, comuni): http://dataninja.it/shapes/maps/it/ISTAT/2011/italia/
• relative mappe derivate in formato SVG (come spiegato qui): http://dataninja.it/shapes/maps/it/

A domani :)

[Lia Orfei]

grazie, allora problema risolto!

ti posso chiedere dove hai preso i dati delle circoscrizioni? 

thanks!

2013/1/17 jenkin <alessio....@gmail.com>

[Paolo Mainardi]

Ragazzi riuscite a mettere questa documentazione sul nostro documento condiviso per favore ? Entro oggi vorrei riportare tutto sul sito.

2013/1/17 Lia Orfei <antea....@gmail.com>

[Alessio Cimarelli]

Nel foglio di calcolo (ods), WP sta per WikiPedia... :)

--

ALESSIO CIMARELLI

a.k.a. jenkin

Ufficio comunicazione del LENS (Università di Firenze)
Data scientist e giornalista scientifico freelance

Dottore in fisica

Blog: dataninja.it

Associazione: accatagliato

Telefono: +39 3343367454

Mail: alessio....@gmail.com

Skype: alessio.cimarelli

About.me

[Lia Orfei]

Alessio please metti i link su Trello cosi abbiamo tutto in un posto e non in mailing list che magari qualcuno non riesce a leggere tutto e si perdono i pezzi.... thanks

2013/1/17 Alessio Cimarelli <alessio....@gmail.com>

[Lia Orfei]

se non sei registrato li metto io! 

2013/1/17 Lia Orfei <antea....@gmail.com>

[Lia Orfei]

ok fatto ,  grazie

2013/1/17 Lia Orfei <antea....@gmail.com>

[Alessio Cimarelli]

Grazie! 

[Gianluca Sforna]

2013/1/17 Lia Orfei <antea....@gmail.com>

Alessio please metti i link su Trello cosi abbiamo tutto in un posto e non in mailing list che magari qualcuno non riesce a leggere tutto e si perdono i pezzi.... thanks

A proposito di Trello, c'è qualcuno che mi aggiunge alla board? vorrei curiosare :)

--
Gianluca Sforna

http://morefedora.blogspot.com
http://identi.ca/giallu - http://twitter.com/giallu

[Paolo Mainardi]

Ciao Gianluca,

Ti aggiungo io, la tua username ?

2013/1/17 Gianluca Sforna <gia...@gmail.com>

[Paolo Mainardi]

Ciao a tutti, finalmente il grande giorno è arrivato :)

Un piccolo aggiornamento, ho creato questa pagina di informazioni per la track 1: http://www.spaghettiopendata.org/it/page/hackathon-track-1-informazioni

Mi aiutate a diffonderla ? 

In bocca al lupo a tutti gli speaker di oggi, ci vediamo tra poco.

Thanks,

P.

[Riccardo Grosso]

Mi da accesso negato

--
http://about.me/riccardo.maria.grosso

[Gabriele Boccassini]

Confermo!

[Paolo Mainardi]

Ciao Riccaro, grazie per la segnalazione, non era pubblicata e non me ne ero accorto perchè sono admin.

Ora dovrebbe essere tutto ok, confermate ?

2013/1/18 Riccardo Grosso <riccardo.m...@gmail.com>

[Riccardo Grosso]

Confermo, e appena twittato la pagina

--
http://about.me/riccardo.maria.grosso

[Vincenzo Patruno]

Visto! Nel caso servisse, ance per usi futuri,  lo scraper su scraperwiki dei dati di elezionistorico ora funziona. A dopo. V

2013/1/18 Riccardo Grosso <riccardo.m...@gmail.com>

--
Vincenzo Patruno

@vincpatruno

http://www.segnalazionit.org

http://www.pionero.it
http://www.vincenzopatruno.org

“ If you want a track team to win the high jump you find one person who can jump seven feet, not seven people who can jump one foot. ”.

[Paolo Mainardi]

Vincenzo, certo che serve, é quello che faremo all'hackaton.

Mi puoi dare il link che lo mettiamo sulla pagina ?

Paolo Mainardi

CTO Twinbit

http://www.paolomainardi.com

{mobile email}

[Vincenzo Patruno]

https://scraperwiki.com/profiles/vinc/

Gli elenchi completi sono quelli per regione. Al momento ci sono Emilia Romagna e Puglia, ma copiando il codice e sostituendo il nome della regione voluta si possono avere i dati di qualunque regione. Lo scraper per tutta Italia in realtà si schianta dopo 80.000 righe! :-)

2013/1/18 Paolo Mainardi <paolom...@gmail.com>

[Paolo Mainardi]

Ciao Vincenzo,

Questo è un grandissimo risultato! 

Dalla tua pagina vedo N items, mi puoi aiutare a decifrarli meglio ? 

Se sei registrato al sito, puoi modificare direttamente questa pagina: http://www.spaghettiopendata.org/it/page/hackathon-track-1-informazioni#.UPk-AWnDRwk ed aggiungere tutte le informazioni che servono.

2013/1/18 Vincenzo Patruno <patruno...@gmail.com>

[Vincenzo Patruno]

quelli "buoni" sono i dati  1948-2008 senato puglia e emilia romagna. puoi wl volo prendere i dati delle altre regioni semplicemente scrivendo la regine voluta nel codice. a dopo