Osservatorio Carburanti MiSE

[sabas88]

Ciao,

abbiamo fatto un po' di analisi dell'applicazione dell'Osservatorio Carburanti[0], cosa che è riuscita abbastanza facilmente (c'è una API REST dietro, anche se non è pubblica).

Purtroppo sono rimasto abbastanza deluso dalla qualità dei dati tra nomi e coordinate: abbiamo notato duplicati, omissioni (ma queste sono motivate dalla non presenza degli operatori credo, anche se non è giustificata a norma di legge), cose vecchie / inesistenti, e posizionamenti errati (c'è un distributore offshore al largo di Gela? poi gli ambientalisti si arrabbiano...).

Codice e note sono rilasciati su GitHub[1], mentre la prima demo è live su

http://toolserver.openstreetmap.it/carburantiMiSE/distributori.html

Qui abbiamo sfruttato l'endpoint position per trovare i distributori nell'intorno di un singolo punto (funziona da mobile, altro che app proprietaria[2]).

Fatemi sapere se avete altre idee, due miglioramenti quasi immediati sono:

- icone per marca del distributore;

- trova il prezzo migliore dato il tipo di carburante nel mio intorno.

Ciao,

Stefano

PS Google Maps schifo :D

[0] https://carburanti.mise.gov.it/OssPrezziSearch/

[1] https://github.com/sabas/carburantiMiSE

[2] https://play.google.com/store/apps/details?id=it.gov.mise.ossprezziapp&hl=it

[Francesco Piero Paolicelli]

siete dei maghi. complimenti

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

Francesco Piero Paolicelli

TW: @piersoft

STORE: GooglePlay/AppStore

WWW: www.apposta.biz

Sorry for typos, sent by mobile.

[Andrea Nelson Mauro]

@stefano.

esatto: se riuscite a fare qls sul distributore più conveniente, questa è una cosa molto estiva, potreste rilanciarla con grande impatto.

e poi si possono fare varie viz di confronto nord/sud / tipi di strade / gestore etc.

poi ci starebbe anche un confronto con l'estero... beh dai mi fermo :D

un'altro tema grosso è: i territori dove ci sono le raffinerie hanno delle agevolazioni? lì il carburante costa meno? 

temo che la risposta sia no (è una storica polemica siciliana, sull'isola ci sono mi pare 5 raffinerie) però sarebbe bello poterlo verificare, perché le raffinerie hanno grande impatto ambientale e adesso alcune sono vicine alla chiusura

cmq molto figo, andate avanti! :-)

[Francesco Piero Paolicelli]

In basilicata, dove si estrae un terzo del petrolio nazionale, abbiamo la card carburante con 80 euro anno ... Fatevobis....

Inviato da iPhone

[sabas88]

Ho completato lo scraper per recuperare tutti i dati.

Ci vogliono dei miglioramenti particolarmente sullo script bash (a volte il server risponde con un json vuoto, in questo caso bisogna riprovare... non sono ferrato in materia..), ma lo scraping fresco fresco di oggi è in questo db sqlite di 6 megabyte.

http://toolserver.openstreetmap.it/carburantiMiSE/scraper/db/

Codice qui https://github.com/sabas/carburantiMiSE/tree/master/scraper

Ci sono due tabelle, la prima è quella contenente i distributori (con località e provincia oltre ai dati esistenti), la seconda è quella dei prezzi.

Ho supposto che l'identificatore del distributore fosse unico e l'ho usato come chiave.

Dovrebbero essere 17405 distributori e 72446 prezzi.

di cui almeno un distributore non ha l'indirizzo, più i vari problemi di geocoding esposti all'inizio...

Adesso vogliamo le viz :-P

Ciao,

Stefano

Il giorno 19 luglio 2014 13:43, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

@stefano.

esatto: se riuscite a fare qls sul distributore più conveniente, questa è una cosa molto estiva, potreste rilanciarla con grande impatto.

Ci stavo iniziando a lavorare ieri, ho un abbozzo di interfaccia qua http://toolserver.openstreetmap.it/carburantiMiSE/cheap.html

C'è un problema sulla tipologia di carburante (ci sono i carburanti 'di marca' che non sono considerati nei filtri anche sul sito del mise, tipo il blu diesel e simili).

 

e poi si possono fare varie viz di confronto nord/sud / tipi di strade / gestore etc.

poi ci starebbe anche un confronto con l'estero... beh dai mi fermo :D

Ci sono dati confrontabili all'estero?

un'altro tema grosso è: i territori dove ci sono le raffinerie hanno delle agevolazioni? lì il carburante costa meno? 

temo che la risposta sia no (è una storica polemica siciliana, sull'isola ci sono mi pare 5 raffinerie) però sarebbe bello poterlo verificare, perché le raffinerie hanno grande impatto ambientale e adesso alcune sono vicine alla chiusura

cmq molto figo, andate avanti! :-)

--

[Simone Cortesi]

2014-07-20 17:20 GMT+02:00 sabas88 <sab...@gmail.com>:
> Ci sono due tabelle, la prima è quella contenente i distributori (con
> località e provincia oltre ai dati esistenti), la seconda è quella dei
> prezzi.
> Ho supposto che l'identificatore del distributore fosse unico e l'ho usato
> come chiave.
> Dovrebbero essere 17405 distributori e 72446 prezzi.
> di cui almeno un distributore non ha l'indirizzo, più i vari problemi di
> geocoding esposti all'inizio...

Sabas già lo sa, ho scritto la notizia e forwardato un paio di mail al
MISE per chiedere come possiamo fare a contribuire le coordinate
corrette al DB che utilizzano loro e suggerire miglioramenti.

attendo loro notizie.

ora abbiamo biogno delle visualizzazioni da qualcuno di voi...

--
-S

[Matteo Fortini]

Altra piccola cosa che si potrebbe osservare: chiamiamola i "cartelli".
Ovvero: nel mio paese il GPL costa al millesimo lo stesso in tutti i distributori, con cambio sincronizzatissimo. Non fanno neanche lo sforzo di averne uno a turno che costa meno.

Lo stesso tipo di analisi si potrebbe ovviamente fare osservando come si diffondono le variazioni di prezzi sulla rete, e qui ci si può dare di SNA per la gioia di grandi e piccini ;)

M

[Andrea Nelson Mauro]

@matteo: e se dessimo una mano noi due (ma spero che si aggiungano altri) sulle visualizzazioni?

io sarò un po' intermittente in queste settimane, ma se qualche anima più mette i dati su uno spreadsheet google ci lavoro volentieri

[sabas88]

Bravi!

Ho finito la ricerca del distributore più conveniente nella zona.

http://toolserver.openstreetmap.it/carburantiMiSE/cheap.html

Ciao,

Stefano

Il giorno 21 luglio 2014 18:19, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

@matteo: e se dessimo una mano noi due (ma spero che si aggiungano altri) sulle visualizzazioni?

io sarò un po' intermittente in queste settimane, ma se qualche anima più mette i dati su uno spreadsheet google ci lavoro volentieri

--

[Francesco Piero Paolicelli]

Uau. Ammazza che lavoro.

Completerei la mappa con un "cerca" cosi viene trovata la località non solo con la localizzazione e poi inserirei i plugin hash e social per condividere sui socials proprio la porzione di mappa zoomata.

Grandissimi.

[Simone Cortesi]

2014-07-21 19:13 GMT+02:00 Francesco Piero Paolicelli <pier...@gmail.com>:

Completerei la mappa con un "cerca" cosi viene trovata la località non solo con la localizzazione e poi inserirei i plugin hash e social per condividere sui socials proprio la porzione di mappa zoomata.

Grazie,

oggi io e Stefano abbiamo ricevuto risposta entusiasta dal mise, relativamente a questa iniziativa di civic hacking, ci sarà una telefonata nei prossimi giorni. Sanno di avere qualche problema con il geocoding.

le altre aggiunte che stiamo discutendo in lista sono:

 * visualizzazione a confronto del dato OSM (amenity=fuel) e MISE, che permetta di capire quale dei due dati è migliore, e segnalazione dell'incongruenza verso osm o verso mise a seconda del caso.

 * grafico dell'andamento del prezzo nei mesi.

 * account twitter che segnali di giorno in giorno il distributore "top" della regione/nazione.

Vedo molto positivamente le idee di individuare eventuali "cartelli di prezzo" (viene creato ogni giorno un DB sqlite aggiornato).

Riicordo a tutti che il progetto di Sabas è ospitato qui: https://github.com/sabas/carburantiMiSE

e tutti osno i benvenuti a partecipare.

--
-S

[Matteo Fortini]

Simone, intanto grazie delle bellissime notizie e complimenti a tutti per il bel risultato,
provo a guardare il progetto su github per vedere se riesco a dare qualche contributo,
Matteo

[cesare gerbino]

Ottimo! MOLTO interessante...

Suggerimento: oltre alla localizzazione per posizione si potrebbe anche aggiungere una localizzazione per indirizzo? So che c'è il problema della completezza di vie e numeri civici ma si potrebbe ovviare anche solo con una ricerca per comune, quelli ci sono tutti. Questo permetterebbe di poter cercare anche per luoghi che non siano solo quelli nell'intorno della posizione corrente.

In ogni caso ..... bravissimi!

Cesare

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

[Luca Corsato]

GRANDISSIMIIIIIII!

[Luca Corsato]

ah.... si può spammare?

[Andrea Raimondi]

Sabas sei un grande

[sabas88]

https://www.youtube.com/watch?v=anwy2MPT5RE

[Matteo Fortini]

Ciao,
i database sqlite dove si trovano?

Grazie,
M

[sabas88]

Ciao,
non ho avuto il tempo di rilanciarlo e completare,  quello di domenica è qui
http://toolserver.openstreetmap.it/carburantiMiSE/scraper/db/

Appena riesco completo e rilancio :-)
Ciao,
Stefano

Per ulteriori opzioni, visita https://groups.google.com/d/optout.

[cesare gerbino]

Ciao Stefano, dove trovo indicazioni su come avete fatto lo scraper dei dati del MISE? Sul tuo github?

 Grazie

Cesare

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

[sabas88]

Ciao Cesare,

indicazioni precise non ne ho ancora scritte, ho messo degli appunti nel readme del repository (https://github.com/sabas/carburantiMiSE), basicamente i dati sono ottenuti direttamente dal sito tramite una chiamata con curl, e poi sono rielaborati con due query di inserimento nel database.. Ho scritto anche una versione python (https://github.com/sabas/carburantiMiSE/blob/master/scraper/scrape.py) che è più lenta di quella in php (https://github.com/sabas/carburantiMiSE/blob/master/scraper/scrape.php), probabilmente per come gestisce le transazioni, ma magari è più chiara...

Ciao,

Stefano

[cesare gerbino]

Ciao Stefano,

vanno bene le indicazioni in curl che ho visto hai messo su github  ... Thanks!!!

 Cesare

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

[Nicola Ghirardi]

Qualcuno sa quanto sono completi questi dati?
Ho dato un occhio ai metanari di bologna e sembra ce ne sia solo uno su quattro recensito.
ero già esaltato all'app metano fatta in casa :(

[sabas88]

Nicola,

Purtroppo sembrerebbe solamente 'opt-in', leggendo il sito e l'ultimo decreto ministeriale (

http://www.mise.gov.it/images/stories/impresa/consumatori/DM17gen2013comnepreziicarburanti.pdf), sono obbligati ma non vedo metodi per fare adempiere tutti i gestori.

Se ne manca qualcuno bisognerebbe provare a chiedere come mai non si sia iscritto...

A Genova città mi pare di ricordare ci siano 4 distributori di gpl, ma ne vedo solo due ad esempio.

Per tutti invece,

Ho eseguito l'aggiornamento dello scraping, rilanciandolo.

Questi i risultati:

- avendo ottimizzato python abbiamo usato direttamente questa versione di scraper

- abbiamo aggiunto la versione spatialite del database, così si divertono anche i geomatici :-)

DB qui http://toolserver.openstreetmap.it/carburantiMiSE/scraper/db/

la versione con aggiunto _notclean è il database spatialite con all'interno quei distributori le cui coordinate sono state scartate (generalmente sono appartenenti alla repubblica di Null Island - http://www.nullisland.com/ ), l'elenco di questi ultimi è qui http://toolserver.openstreetmap.it/carburantiMiSE/scraper/outofbounds.txt

Ciao,

Stefano

--

[cesare gerbino]

Ho visto che è cambiata anche la pagina

http://toolserver.openstreetmap.it/carburantiMiSE/distributori.html

Sparita la ricerca che evidenziava il distributore più conveniente nell'intorno del punto corrente?

:-(

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

[sabas88]

No, quella è qua http://toolserver.openstreetmap.it/carburantiMiSE/cheap.html#6/42.041/12.129

Devo mettere un po' in ordine... :-)

[cesare gerbino]

ops ... non avevo fatto attenzione al fatto che la url era diversa ... noto però che ora ha qualche problemino ...

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

[sabas88]

Come dissero in altra sede "Meno male che non progetto aerei teleguidati"

Avevo aggiunto una funzione per ridimensionare la mappa, ma non caricava le nuove tile all'avvio.. La modifica è già live.

Ciao,

Stefano

[cesare gerbino]

ora al va!!!

Grazie!

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

[Francesco Piero Paolicelli]

Stefano quando organizzi un corso anche in hangout in cui spieghi tutti questi strumenti strepitosi che sai usare a manetta?

Piersoft

[Andrea Nelson Mauro]

ragazzi se nessun visualizzatore si fa avanti prima, io do una mano in agosto, perché di sqlite non so una pippa e me lo devo studiare.

@mfortini: non so se hai tempo da dedicarci, ma tu potresti spaccare.

cmq sarebbe figo farci un progettino 

[Simone Cortesi]

2014-07-28 9:12 GMT+02:00 Andrea Nelson Mauro <andrea.ne...@gmail.com>:
> ragazzi se nessun visualizzatore si fa avanti prima, io do una mano in
> agosto, perché di sqlite non so una pippa e me lo devo studiare.
> @mfortini: non so se hai tempo da dedicarci, ma tu potresti spaccare.

Andrea,
giusto per capire cosa puo' esservi necessario lato
sviluppo/scraping/raccolta dati.

un dump dei prezzi? ogni quanto?
altro?

--
-S

[Maurizio Napolitano]

2014-07-28 9:12 GMT+02:00 Andrea Nelson Mauro <andrea.ne...@gmail.com>:

> ragazzi se nessun visualizzatore si fa avanti prima, io do una mano in
> agosto, perché di sqlite non so una pippa e me lo devo studiare.

parti da qui e diventerai uno chef
http://www.gaia-gis.it/gaia-sins/spatialite-cookbook/html/start.html
c'è anche in italiano
http://www.gaia-gis.it/spatialite-3.0.0-BETA/SpatiaLite-Cookbook_ITA.pdf

[sabas88]

Si può benissimo convertire in un altro formato, data package? 

--
-S

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.

[Paolo Mainardi]

E se ne facessimo un API pubblica ?

Sorry for typos, sent by mobile.

[sabas88]

Verso il dump o verso il Mise?

Nel secondo caso é questione di continuare a scrivere i proxy sullo stile di quello che sto utilizzando per i due programmini https://github.com/sabas/carburantiMiSE/blob/master/positionProxy.php

(Che dimostra che lato mise basterebbe rendere pubblica l'api ed abilitare jsonp)

[Paolo Mainardi]

Io lo farei verso il dump, per evitare di sovraccaricare l'api privata del MISE, oltre al rischio di un uso non autorizzato, magari da questo il MISE ne farà un ragionamento :)

 

Paolo Mainardi 
Twinbit Founder - CTO

www:      twinbit.it 
mobile:   (+39) 3401678089 
skype:    paolo_mainardi 
linkedin: paolomainardi 
twitter:  @paolomainardi 
blog:     paolomainardi.com 

[Maurizio Napolitano]

2014-07-28 10:35 GMT+02:00 Paolo Mainardi <pa...@twinbit.it>:
>
> Io lo farei verso il dump, per evitare di sovraccaricare l'api privata del MISE, oltre al rischio di un uso non autorizzato, magari da questo il MISE ne farà un ragionamento :)

In tal caso penso si possa ragionare sul fronte di utilizzare servizi
online come import.io e kimonolabs.com

[Paolo Mainardi]

Infatti, ma se non erro si basano sul concetto di estrazione dati da una pagina, servirebbe dunque riportare le informazioni su una tabella html e poi buildarci una API sopra.

Insomma, avere un API, in qualsiasi modo, è decisamente un qualcosa di utile IMHO.

[Maurizio Napolitano]

>> In tal caso penso si possa ragionare sul fronte di utilizzare servizi
>> online come import.io e kimonolabs.com
>
>
> Infatti, ma se non erro si basano sul concetto di estrazione dati da una pagina, servirebbe dunque riportare le informazioni su una tabella html e poi buildarci una API sopra.
> Insomma, avere un API, in qualsiasi modo, è decisamente un qualcosa di utile IMHO.

Meglio sarebbe se MISE si prendesse il carico di dare una policy seria
alle API che offre.
(come già stato detto).
Se ho inteso (ma qui aspetto stefano) le API del MISE non trattano lo
storico, quindi il
lavoro di stefano ha un significato molto più ampio.
Da lì a sviluppare delle API che wrappano il db il passo è molto molto breve :)

my2cents

[Paolo Mainardi]

Infatti, magari può essere una spinta a farlo, per questo dicevo di usare direttamente i dump di Stefano (grandissimo lavoro), un modo per far pressione e far vedere come si potrebbe fare.

 

my2cents

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/d/optout.

[Simone Cortesi]

2014-07-28 11:18 GMT+02:00 Maurizio Napolitano <napo...@gmail.com>:
> Meglio sarebbe se MISE si prendesse il carico di dare una policy seria
> alle API che offre.
> (come già stato detto).
> Se ho inteso (ma qui aspetto stefano) le API del MISE non trattano lo
> storico, quindi il
> lavoro di stefano ha un significato molto più ampio.
> Da lì a sviluppare delle API che wrappano il db il passo è molto molto breve :)

Ho parlato ora con il MISE, mi hanno confermato la loro volontà di
rilasciare in opendata, sono contenti del nostro operato e del circolo
virtuoso con i civic hacker (cit.), mi chiedono di passare da loro
alla prima occasione in cui mi trovassi a Roma per approfondire gli
aspetti tecnici (avro' comunque una call tecnica entro fine
settimana).

--
-S

[sabas88]

Il giorno 28 luglio 2014 11:21, Paolo Mainardi <pa...@twinbit.it> ha scritto:

2014-07-28 11:18 GMT+02:00 Maurizio Napolitano <napo...@gmail.com>:

>> In tal caso penso si possa ragionare sul fronte di utilizzare servizi
>> online come import.io e kimonolabs.com
>
>
> Infatti, ma se non erro si basano sul concetto di estrazione dati da una pagina, servirebbe dunque riportare le informazioni su una tabella html e poi buildarci una API sopra.
> Insomma, avere un API, in qualsiasi modo, è decisamente un qualcosa di utile IMHO.

Meglio sarebbe se MISE si prendesse il carico di dare una policy seria
alle API che offre.
(come già stato detto).
Se ho inteso (ma qui aspetto stefano) le API del MISE non trattano lo
storico, quindi il
lavoro di stefano ha un significato molto più ampio.
Da lì a sviluppare delle API che wrappano il db il passo è molto molto breve :)

Infatti, magari può essere una spinta a farlo, per questo dicevo di usare direttamente i dump di Stefano (grandissimo lavoro), un modo per far pressione e far vedere come si potrebbe fare.

 

http://toolserver.openstreetmap.it/carburantiMiSE/scraper/db/api.php/distributori/provincia/GE?by=comune&limit=10

Ho lasciato solo la GET di https://github.com/alixaxel/ArrestDB

 

my2cents

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per ulteriori opzioni, visita https://groups.google.com/d/optout.

--

 

Paolo Mainardi 
Twinbit Founder - CTO

www:      twinbit.it 
mobile:   (+39) 3401678089 
skype:    paolo_mainardi 
linkedin: paolomainardi 
twitter:  @paolomainardi 
blog:     paolomainardi.com 

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.

[cesare gerbino]

bellissimooooooo!

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

[cesare gerbino]

ma ... è solo una primissima versione? Non vedo i prezzi ...

:-)

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

[sabas88]

http://toolserver.openstreetmap.it/carburantiMiSE/scraper/db/api.php/prezzi/id_d/15983

il formato è

api.php/[table]/[chiave]/[valore]?[limit, order e quelle cose]

[cesare gerbino]

ok, ... così mi torna. Ho individuato i distributori del mio comune e stasera provo a vedere la coerenza dei prezzi ... ho visto che i dati sono del

"dIns": "2014-07-23 17:03:13", .. E' la data che arriva dal MISE o è quella di inserimento nel db di scarico?

Cesare Gerbino

http://cesaregerbino.wordpress.com/
http://www.facebook.com/cesare.gerbino
http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl
https://twitter.com/CesareGerbino
http://www.linkedin.com/pub/cesare-gerbino/56/494/77b

[Matteo Fortini]

Stefano, per fare qualche viz sulle variazioni di prezzo, che è una cosa che potrebbe essere interessante, sarebbe bello aggiornare sqlite mettendo per ogni prezzo la data e aggiungendo le variazioni con la data corrispondente.

In questo momento non ho tempo di modificarlo, lo scrivo qui perché intanto qualcuno potrebbe lavorarci ;)

[sabas88]

dIns è la data contenuta nel json che scarico dal mise.

E' messa al livello del distributore ma io la sposto a livello di prezzo (così, eventualmente in caso di monitoraggio giornaliero, nel caso di variazione basterebbe confrontare id_d -chiave esterna- e dIns).

[Andrea Nelson Mauro]

sì c'è sicuramente una parte più giornalistica/informativa, e sicuramente andrebbe fatta una contestualizzazione per esempio con le politiche del territorio.

sui dati, beh: se fate un data-package faccio qualcosina al volo, ma sqlite devo studiarmelo (grazie @napo) e scroccherò anche una prova live al buon @aborruso nei prox giorni (#uomoavvisato) perché ultimamente quello di sqlite è un tema che ho incrociato altre due volte recentemente

rischio poi anche un po' di tesi populiste ma mi chiedo: 

1) nei periodi di vacanze i prezzi aumentano?

2) e nei territori turistici?

3) dove conviene fare benzina: in centro città o in periferia? in strade urbane o in autostrada?

4) ci sono benefici per territori con raffinerie?

5) qual è il numero di utenti per distributore? (questa è difficile :P )

figo sarebbe poi farci un'app con mail alert: l'utente sottoscrive e al mattino riceve una mail. "Oggi ti conviene di più fare benzina qui". Oppure "nel raggio di 10km i distributori più convenienti sono A, B, C"..

ovviamente come dice il saggio @mfortini sarebbe curioso vedere gli andamenti nel tempo.

cmq comincio a raccogliere anch'io un po' di pappardelle in giro per provare a trovare dati e rispondere alle mie domande marzulliane

[Simone Cortesi]

2014-07-29 7:48 GMT+02:00 Andrea Nelson Mauro <andrea.ne...@gmail.com>:
> 5) qual è il numero di utenti per distributore? (questa è difficile :P )

se ti bastano gli abitanti per cella di censimento, è abbastanza
facile, ma so che non ti basta. :)

> figo sarebbe poi farci un'app con mail alert: l'utente sottoscrive e al
> mattino riceve una mail. "Oggi ti conviene di più fare benzina qui". Oppure
> "nel raggio di 10km i distributori più convenienti sono A, B, C"..

a me interessa questo: un sistema di calcolo percorsi che mi dica: "se
fai questa strada, puoi fare il pieno con 5euro meno di spesa, facendo
una deviazione di 3km, ah, sul percorso c'e' anche una chiesa del '500
che non ha foto su wikipedia. ti fermi a scattare una fotografia?"

:)

--
-S

[sabas88]

Il giorno 29 luglio 2014 07:48, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

sì c'è sicuramente una parte più giornalistica/informativa, e sicuramente andrebbe fatta una contestualizzazione per esempio con le politiche del territorio.

sui dati, beh: se fate un data-package faccio qualcosina al volo, ma sqlite devo studiarmelo (grazie @napo) e scroccherò anche una prova live al buon @aborruso nei prox giorni (#uomoavvisato) perché ultimamente quello di sqlite è un tema che ho incrociato altre due volte recentemente

La fatina dei file tabulari è passata ed ha lasciato un regalino

http://toolserver.openstreetmap.it/carburantiMiSE/scraper/distributori.tsv 

http://toolserver.openstreetmap.it/carburantiMiSE/scraper/prezzi.tsv

farò anche il datapackage.json dopo, al momento ho lasciato l'intestazione nei file.

Abbiamo anche aggiornato i dati ad oggi.

 

rischio poi anche un po' di tesi populiste ma mi chiedo: 

1) nei periodi di vacanze i prezzi aumentano?

2) e nei territori turistici?

3) dove conviene fare benzina: in centro città o in periferia? in strade urbane o in autostrada?

4) ci sono benefici per territori con raffinerie?

5) qual è il numero di utenti per distributore? (questa è difficile :P )

Ma soprattutto, perchè il prezzo del greggio varia così tanto e quello della benzina no? :-)

 

figo sarebbe poi farci un'app con mail alert: l'utente sottoscrive e al mattino riceve una mail. "Oggi ti conviene di più fare benzina qui". Oppure "nel raggio di 10km i distributori più convenienti sono A, B, C"..

Ieri sono andato sui monti con @simonecortesi e @sbiribizio e ho fatto gasolio al distributore più conveniente di Genova.

Per quanto riguarda quella pagina abbiamo aggiunto segnalini per mostrare anche quelli interrogati ma meno convenienti (i dati vengono scaricati una sola volta), ma devo vedere come funziona con il gps attivato, in linea teorica dovrebbe spostarsi il puntino con la geolocalizzazione attivata  (ma non effettuare altre interrogazioni, serve?)

ovviamente come dice il saggio @mfortini sarebbe curioso vedere gli andamenti nel tempo.

Qui quelli vecchi

http://toolserver.openstreetmap.it/carburantiMiSE/scraper/db/old/ 

cmq comincio a raccogliere anch'io un po' di pappardelle in giro per provare a trovare dati e rispondere alle mie domande marzulliane

Ti sei fatto una domanda, datti una risposta :D

Ciao,

Stefano 

[Matteo Fortini]

Sul prezzo del greggio da quanto avevo visto tempo fa bisogna mettere in conto le fluttuazioni del prezzo dell'Euro, che spariglia un po' le cose.

vedi qui:
http://www2.prezzibenzina.it/doppia-velocita

[Matteo Fortini]

Stefano, secondo te perché ci sono distributori con più prezzi diversi
per lo stesso carburante e la stessa data?

Esempio:
sqlite> select * from prezzi where id_d= 24707 and carb='Benzina' and isSelf=1;
24707|2014-07-25 09:07:00|Benzina|1|1.783
24707|2014-07-25 09:07:00|Benzina|1|1.741

[sabas88]

Bug del Mise direi :-)

http://toolserver.openstreetmap.it/carburantiMiSE/distributori.html#15/45.2387/12.0686

Per controllare velocemente 

SELECT id,addr,"http://toolserver.openstreetmap.it/carburantiMiSE/distributori.html#15/"||lat||"/"||lon FROM distributori WHERE id=24707

Apri nel browser il link generato e fai doppio click per caricare i dati

La ricerca per identificativo sull'API non esiste...

[Simone Cortesi]

altra cosa che abbiamo scoperto in questi giorni:

i distributori che da API MISE risultano senza coordinate [0,0] sono
quelli che non aggiornano i prezzi da più di 6 mesi (o che nel
frattempo hanno cambiato bandiera o cessato attività) e non quelli non
geocoded.

2014-07-31 9:19 GMT+02:00 sabas88 <sab...@gmail.com>:
> Bug del Mise direi :-)
>
> http://toolserver.openstreetmap.it/carburantiMiSE/distributori.html#15/45.2387/12.0686
>
> Per controllare velocemente
> SELECT
> id,addr,"http://toolserver.openstreetmap.it/carburantiMiSE/distributori.html#15/"||lat||"/"||lon
> FROM distributori WHERE id=24707
> Apri nel browser il link generato e fai doppio click per caricare i dati
>
> La ricerca per identificativo sull'API non esiste...

--
-S

[Cristian Consonni]

Ciao,

scusate se intervengo solo ora.
Innanziutto complimenti a Sabas (e Marco e Fabrizio) per il bel lavoro.

Volevo capire;
* ogni quanto gira lo scraper?
* nel DB mi pare che siano solo i dati relativi a un dato momento, non
c'è lo storico, giusto?

Il 29 luglio 2014 08:52, Simone Cortesi <sim...@cortesi.com> ha scritto:
> 2014-07-29 7:48 GMT+02:00 Andrea Nelson Mauro <andrea.ne...@gmail.com>:
>> 5) qual è il numero di utenti per distributore? (questa è difficile :P )
>
> se ti bastano gli abitanti per cella di censimento, è abbastanza
> facile, ma so che non ti basta. :)

Si potrebbe fare il diagramma di Voronoi dei distributori, (in
sostanza dividere l'Italia in aree ciascuna con il suo distributore
più vicino), pescare il dato della popolazione dalle zone ISTAT per
ogni area (facendo un po' di somme, intersezioni e riparti) e poi
calcolare il numero di abitanti per distributore per ciascun
distributore in Italia. =)

Ciao,

C

[sabas88]

Il giorno 31 luglio 2014 11:50, Cristian Consonni <kikkoc...@gmail.com> ha scritto:

Ciao,

scusate se intervengo solo ora.
Innanziutto complimenti a Sabas (e Marco e Fabrizio) per il bel lavoro.

Volevo capire;
* ogni quanto gira lo scraper?

Al momento l'abbiamo fatto girare 3 volte in totale, bisognerebbe metterlo in cron (lanciando download, scrapePY, scapePYspatialite, TSV).

L'ho fatto a mano per il momento perchè voglio controllare che i file vengano scaricati tutti correttamente prima di generare il file, e non ho proceduto ad eseguirlo sullo stesso database.

Probabilmente questo controllo lo posso automatizzare sul bash, a quel punto si può mettere in esecuzione automatica.

 

* nel DB mi pare che siano solo i dati relativi a un dato momento, non
c'è lo storico, giusto?

Esatto,  

qui quelli vecchi http://toolserver.openstreetmap.it/carburantiMiSE/scraper/db/old/

 

Il 29 luglio 2014 08:52, Simone Cortesi <sim...@cortesi.com> ha scritto:

> 2014-07-29 7:48 GMT+02:00 Andrea Nelson Mauro <andrea.ne...@gmail.com>:
>> 5) qual è il numero di utenti per distributore? (questa è difficile :P )
>
> se ti bastano gli abitanti per cella di censimento, è abbastanza
> facile, ma so che non ti basta. :)

Si potrebbe fare il diagramma di Voronoi dei distributori, (in
sostanza dividere l'Italia in aree ciascuna con il suo distributore
più vicino), pescare il dato della popolazione dalle zone ISTAT per
ogni area (facendo un po' di somme, intersezioni e riparti) e poi
calcolare il numero di abitanti per distributore per ciascun
distributore in Italia. =)

Ciao,

C

[Andrea Nelson Mauro]

probabilmente ci siete finiti già voi, ma ad ogni modo segnalo che sul sito dell'unione petrolifera c'è una sezione dati e statistiche 

http://www.unionepetrolifera.it/it/show/134/Dati%20statistici

[Andrea Nelson Mauro]

Allora, ho cominciato a dare un'occhiata ai dati in tsv, ma mentre ci smanetto mi veniva in mente: avete già fatto un repo riassuntivo su Github o da qualche parte? La discussione è già lunga e faccio e si fa un po' fatica ad orientarsi. Potremmo farlo qui https://github.com/spaghetti-open-data/ se serve faccio io, poi magari sistemate/correggete

[Andrea Nelson Mauro]

intanto ecco i primi dati sulle raffinerie 

https://docs.google.com/spreadsheets/d/1f37e6RtlsLmvq07jNkf5U7WguKFa89YLGNK-AbF_Who/edit?usp=sharing

[sabas88]

Il giorno 01 agosto 2014 10:08, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

Allora, ho cominciato a dare un'occhiata ai dati in tsv, ma mentre ci smanetto mi veniva in mente: avete già fatto un repo riassuntivo su Github o da qualche parte? La discussione è già lunga e faccio e si fa un po' fatica ad orientarsi. Potremmo farlo qui https://github.com/spaghetti-open-data/ se serve faccio io, poi magari sistemate/correggete

Per me va bene, non sono membro dell'organizzazione però :-)

 

Stefano

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.

[Andrea Nelson Mauro]

@stefano: riesci a mettere qui il tuo account github? provo ad aggiungerti io, o tutt'al più chiediamo a @paolo mainard

[sabas88]

https://github.com/sabas :-)

Il giorno 01 agosto 2014 19:44, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

@stefano: riesci a mettere qui il tuo account github? provo ad aggiungerti io, o tutt'al più chiediamo a @paolo mainard

--

[Andrea Nelson Mauro]

@Sabas: ti ho aggiunto a gruppo sod github, se e quando hai tempo potresti fare il new repo :-)

[sabas88]

Non ho i permessi per farlo,

potresti chiamarlo osservatorio-carburanti per mantenere lo stile degli altri...

Ieri ho dato una occhiata al tuo foglio excel e ho controllato se erano tutte presenti su OSM, ho fatto una estrazione degli oggetti convertendoli nei centroidi e ho fatto questo gist https://gist.github.com/sabas/56844f3023120e43f2cb

Il giorno 02 agosto 2014 17:40, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

@Sabas: ti ho aggiunto a gruppo sod github, se e quando hai tempo potresti fare il new repo :-)

--

[Alessio 'Blaster' Biancalana]

Uh ma non posso nemmeno io!

@sabas a 'sto punto fai una cosa, intanto crealo sul tuo account poi si forka e si continua lo sviluppo lì, ovviamente se gli altri sono d'accordo a fare quello che dice lo scemo del vilaggio che finora non è mai intervenuto :)))

E comunque bravi che pushate il MISE. Vi seguo dall'inizio del thread, bravi bravi bravi.

Ale

[Andrea Nelson Mauro]

@sabas: lo nacque https://github.com/spaghetti-open-data/osservatorio-carburanti :)

[Matteo Fortini]

Ciao a tutti,
con l'ultimo spatialite mi sono divertito a smanettare un po' di
interpolazioni spaziali. Ecco qui il risultato per i prezzi benzina
self più recenti registrati:
http://mfortini.github.io/osservatorio-carburanti/interp/prezziBenzinaSelf_2014-08-06.png
o in pdf:
http://mfortini.github.io/osservatorio-carburanti/interp/prezziBenzinaSelf_2014-08-06.png

Sembra che quelli che stanno meglio siano in media i veneti/friulani.

Ciao!
Matteo

Il 03 agosto 2014 16:15, Andrea Nelson Mauro
<andrea.ne...@gmail.com> ha scritto:

> @sabas: lo nacque
> https://github.com/spaghetti-open-data/osservatorio-carburanti :)
>
>

[Francesco Piero Paolicelli]

Quanto sei bravo .. Ammazza
Complimenti

Inviato da iPhone

[Matteo Fortini]

Grazie @piersoft ... parla quello che ha fatto una mappa dei terremoti
spaziale ;)

Il 06 agosto 2014 16:07, Francesco Piero Paolicelli
<pier...@gmail.com> ha scritto:

[Francesco Piero Paolicelli]

ma va... Non ci sono proprio paragoni. Ho fatto solo un copia-incolla delle cose che ogni tanto rubo qua e la.
Tu piuttosto sei avanti proprio!

Inviato da iPhone

[sabas88]

Mitico!

Chissà a cosa è correlato...

Dopo aver messo su lo scraper ad esecuzione quotidiana (da venerdi scorso), non sono ancora riuscito a fare altro personalmente.

Nel repository è apparsa la Z di Zedda che ha messo su il package per R ( https://github.com/sabas/carburantiMiSE/tree/master/cMISE_data ).

Ciao,

Stefano

[sabas88]

Ciao,

vi segnalo un piccolo aggiornamento.

Io ho cambiato il plugin di localizzazione su mappa, ora dovrebbe funzionare anche il tracking del gps (compare una macchinina che si sposta secondo la posizione), ed aggiornato il menu.

Matteo Fortini invece ha pubblicato il suo lavoro sull'interpolazione https://github.com/spaghetti-open-data/osservatorio-carburanti/pull/1

Ciao,

Stefano

[Lorenzo Perone]

Ciao,

secondo me sarebbe interessante analizzare i dati dei prezzi del carburante in relazione ai flussi di traffico, più significativi dei residenti.

Si potrebbe partire con la regione Emilia-Romagna che li pubblica qui:

http://servizissiir.regione.emilia-romagna.it/FlussiMTS/

C'è il solito problema del formato di dati, magari qualcuno può chiedere "ufficialmente" alla regione la pubblicazione in un formato più fruibile, magari comprensivo delle coordinate geografiche dei punti di monitoraggio?

Ciao.

lorenzo

[Matteo Fortini]

Grazie Lorenzo,
effettivamente sono dati interessantissimi, anche da soli. Peccato il pdfwall che è veramente una cosa impossibile con un rapporto di 295 pagine :(

Up per la richiesta in RER

Matteo

[Lorenzo Perone]

Ciao, 

ho contattato io la regione e sono disponibili a fornirci i dati. Per il momento faranno un'estrazione ma tra breve (?) saranno disponibili regolarmente in modo open (?) sul loro portale open data.

Vi allego il testo dell'email.

Buongiorno Marco,

faccio riferimento alla nostra telefonata per chiedervi la possibilità di accedere ai dati (spaziali) sui flussi di traffico aggregati giornalmente.

Nell'ambito dei diversi progetti di civil hacking che nascono dalla comunità Spaghetti Opendata vorrei utilizzarli per un'analisi in relazione ai prezzi di carburante estratti dal progetto Osservatorio carburanti.

Vi ringrazio per l'interesse e la disponibilità.

Ciao.

l.

Spero di non avere "scavalcato" nessuno muovendomi direttamente.

Hasta lo json 

lorenzo

[andy]

2014-09-15 11:32 GMT+02:00 Lorenzo Perone <lorenzo...@gmail.com>:

Hasta lo json 

Mitico Lorenzo :)

--

Andrea Borruso
website: http://blog.spaziogis.it
GEO+ geomatica in Italia http://bit.ly/GEOplus 

38° 7' 48" N, 13° 21' 9" E, EPSG:4326
--

"cercare e saper riconoscere chi e cosa,

 in mezzo all’inferno, non è inferno, 

e farlo durare, e dargli spazio"

Italo Calvino

[Lorenzo Perone]

Ciao,

la Regione mi ha mandato i riferimenti geografici dei punti di monitoraggio del traffico.

Mi chiedono a quali punti di misura siamo interessati e a che scansione temporale.

Come punti di misura io direi tutti, riguardo ai dati giornalieri di traffico farei riferimento al periodo per il quale abbiamo dati "storici" sul prezzo del carburante.

Chi mi illumina?

Ciao.

l.

[Lorenzo Perone]

Ciao,

se mi date accesso ad un repository github (il mio username è lorenzoperone) carico i dati della regione.

Ciao.

l.

[Matteo Fortini]

Per il periodo temporale, i dati che abbiamo sono più o meno da Agosto
2014, ma io chiederei almeno tutto il 2014 per avere una statistica
sull'andamento dei flussi in un periodo ampio.

Per caricarli faccio il pignolo... ti hanno dato una licenza?

(io non sono amministratore del progetto non ti posso autorizzare,
bisogna aspettare Stefano)

Grazie ciao,
Matteo

Il 19 settembre 2014 09:19, Lorenzo Perone <lorenzo...@gmail.com>
ha scritto:

[sabas88]

Il giorno 19 settembre 2014 09:24, Matteo Fortini <matteo....@gmail.com> ha scritto:

Per il periodo temporale, i dati che abbiamo sono più o meno da Agosto
2014, ma io chiederei almeno tutto il 2014 per avere una statistica
sull'andamento dei flussi in un periodo ampio.

Lo scraping dovrebbe essere iniziato in via ufficiale il 7 Agosto, all'interno ci sono prezzi anche del 2012 (??).

Siamo a 202 mega di sqlite, direi che va storicizzato ogni tanto, facciamo il 30 Settembre?

 

Per caricarli faccio il pignolo... ti hanno dato una licenza?

O anche una autorizzazione pro tempore, visto che poi pensano di pubblicarli sul portale open data http://dati.emilia-romagna.it/

 

(io non sono amministratore del progetto non ti posso autorizzare,
bisogna aspettare Stefano)

Sul repo di SOD non ho diritti, ma potresti forkare, fare una cartella con i tuoi dati (aggiornando il readme) e mandare una pull request come ha fatto Matteo

https://github.com/spaghetti-open-data/osservatorio-carburanti

(direi che le analisi stanno meglio sul repo SOD)

[Lorenzo Perone]

Il giorno 19 settembre 2014 09:47, sabas88 <sab...@gmail.com> ha scritto:

Il giorno 19 settembre 2014 09:24, Matteo Fortini <matteo....@gmail.com> ha scritto:

Per il periodo temporale, i dati che abbiamo sono più o meno da Agosto
2014, ma io chiederei almeno tutto il 2014 per avere una statistica
sull'andamento dei flussi in un periodo ampio.

Lo scraping dovrebbe essere iniziato in via ufficiale il 7 Agosto, all'interno ci sono prezzi anche del 2012 (??).

Quindi suggerisci di chiederli dal 2012?

Ciao.

l.

 

Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/m8mnxFqmTQ4/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.

[Lorenzo]

Ciao,

qui trovate il geojson che ho certo dal foglio di calcolo:

https://github.com/lorenzoperone/osservatorio-carburanti/blob/master/Dati_traffico_regione_Emilia-Romagna/ubicazioni_punti_misura.geojson

come potete osservare due punti sono in kazakistan :)

Appena mi confermate il periodo di dati da richiedere scrivo alla regione.

Ciao.

l.

Lorenzo Perone

photoblog: http://lorenzoperone.wordpress.com

[Lorenzo Perone]

Ciao,

in attesa dei dati della regione ho cominciato a lavorare un po con i dati esistenti che, su suggerimento di ANM (Andrea Nelson Mauro), ho trovato qui:

http://toolserver.openstreetmap.it/carburantiMiSE/index.html

ho scaricato il file SQLITE completo sul quale speravo di trovare i dati dal 2012, in realtà per la maggior parte dei distributori i dati vanno da 2014-07-31 a 2014-09-30 considerato che ho scaricato i dati il 2014-10-02 c'è qualcosa che non torna.

Ciao.

l.

Il giorno venerdì 19 settembre 2014 16:14:52 UTC+2, Lorenzo Perone ha scritto:

Ciao,

[Andrea Nelson Mauro]

smascherato! sono lo scassa-cabbasisi più temuto del west ;)

[sabas88]

Il giorno 07 ottobre 2014 17:07, Lorenzo Perone <lorenzo...@gmail.com> ha scritto:

Ciao,

in attesa dei dati della regione ho cominciato a lavorare un po con i dati esistenti che, su suggerimento di ANM (Andrea Nelson Mauro), ho trovato qui:

http://toolserver.openstreetmap.it/carburantiMiSE/index.html

ho scaricato il file SQLITE completo sul quale speravo di trovare i dati dal 2012, in realtà per la maggior parte dei distributori i dati vanno da 2014-07-31 a 2014-09-30 considerato che ho scaricato i dati il 2014-10-02 c'è qualcosa che non torna.

Nel senso che dovrebbero esserci quelli del 01/10?

 

Ciao.

l.

Il giorno venerdì 19 settembre 2014 16:14:52 UTC+2, Lorenzo Perone ha scritto:

Ciao,

qui trovate il geojson che ho certo dal foglio di calcolo:

https://github.com/lorenzoperone/osservatorio-carburanti/blob/master/Dati_traffico_regione_Emilia-Romagna/ubicazioni_punti_misura.geojson

come potete osservare due punti sono in kazakistan :)

Appena mi confermate il periodo di dati da richiedere scrivo alla regione.

Ciao.

l.

Lorenzo Perone

photoblog: http://lorenzoperone.wordpress.com

website: http://blog.spaziogis.it

GEO+ geomatica in Italia http://bit.ly/GEOplus

[Lorenzo Perone]

Ciao Stefano,

avevo capito che

Lo scraping dovrebbe essere iniziato in via ufficiale il 7 Agosto, all'interno ci sono prezzi anche del 2012 (??).

Siamo a 202 mega di sqlite, direi che va storicizzato ogni tanto, facciamo il 30 Settembre?

 

quindi mi aspettavo di trovare del DB SQLITE una serie temporale di dati anteriore alla fine di luglio 2014. Riguardo l'aggiornamento dei dati con che cadenza fate lo scraping?

Il file SQLITE scaricato il 2 ottobre non dovrebbe contenere dati più recenti del 30 settembre?

Grazie.

l. 

[sabas88]

Il giorno 07 ottobre 2014 22:23, Lorenzo Perone <lorenzo...@gmail.com> ha scritto:

Ciao Stefano,

avevo capito che

Lo scraping dovrebbe essere iniziato in via ufficiale il 7 Agosto, all'interno ci sono prezzi anche del 2012 (??).
Siamo a 202 mega di sqlite, direi che va storicizzato ogni tanto, facciamo il 30 Settembre?

 

quindi mi aspettavo di trovare del DB SQLITE una serie temporale di dati anteriore alla fine di luglio 2014. Riguardo l'aggiornamento dei dati con che cadenza fate lo scraping?

Il file SQLITE scaricato il 2 ottobre non dovrebbe contenere dati più recenti del 30 settembre?

Si,

se qualche distributore ha aggiornato i prezzi :-) (se sono gli stessi in teoria non dovrebbero finire nel DB)

A quanto ho visto ora con un ls -lh sul server lo scraping dovrebbe funzionare ( 248M Oct  7 06:05 prezzi_20140807-20141007.tsv )

Ne ho approfittato per fare due cose:

- ho tagliato il tsv e lo sqlite dei prezzi, da domani dovrebbe finire su un file nuovo, quelli vecchi sono ancora accessibili

- ho sistemato due cose su cheap e distributori.html [0]

 

Grazie.

l. 

Ciao,

Stefano 

[0] Dal pullman di OSMit, zona Altamura, domenica:

Guidatore (SC :-) ): sabas, quale è il distributore più conveniente?

sabas: controllo...

 [check, la pagina si aggiorna e non riesco a vedere i distributori] 

sabas: chi è il cane che ha programmato sto sito? 

[Lorenzo Perone]

Ciao Stefano,

ora mi è chiara la faccenda dei dati recenti.

Per l'inizio delle serie storiche dei dati mi confermi che non c'è niente di più vecchio di quello quello che ho trovato (fine luglio 2014)?

Ciao.

l.

[sabas88]

Il giorno 08 ottobre 2014 09:13, Lorenzo Perone <lorenzo...@gmail.com> ha scritto:

Ciao Stefano,

ora mi è chiara la faccenda dei dati recenti.

Per l'inizio delle serie storiche dei dati mi confermi che non c'è niente di più vecchio di quello quello che ho trovato (fine luglio 2014)?

Il dump che avevo scaricato su questo pc (19 Settembre) riporta queste quantità di misurazioni divise per mese ed anno

SELECT DISTINCT strftime('%m', dIns) m, strftime('%Y', dIns) y, COUNT(*) AS c FROM PREZZI GROUP BY y,m ORDER BY dIns ASC;

 

[Lorenzo]

Ciao,

ho verificato che dei dati omogenei, con un numero di distributori stabile, sono disponibili per il mese di agosto 2014. Negli altri mesi precedenti i dati sono molto disomogenei con una densità “areale” via via decrescente.

Vorrei concentrare quindi l’analisi sul mese di agosto 2014, in particolare sui pressi di ‘Benzina’ e ‘Gasolio’.

Chiedo un suggerimento “tecnico”. Vorrei popolare un tabellone dei prezzi compilandolo con il prezzo del carburante in ogni specifica giornata, andando a popolare i dati relativi ai giorni senza informazioni con l’ultimo prezzo comunicato dal distributore per quel carburante.

Se la tabella contenesse i dati di un solo id_d (distributore) saprei come fare, ma contenendo la tabella molti id_d (distributori) mi sono un po’ arenato.

Avete qualche spunto?

Grazie.

l.

Lorenzo Perone

photoblog: http://lorenzoperone.wordpress.com

website: http://blog.spaziogis.it

GEO+ geomatica in Italia http://bit.ly/GEOplus

Il giorno 08/ott/2014, alle ore 09:33, sabas88 <sab...@gmail.com> ha scritto:

Il giorno 08 ottobre 2014 09:13, Lorenzo Perone <lorenzo...@gmail.com> ha scritto:

Ciao Stefano,

ora mi è chiara la faccenda dei dati recenti.

Per l'inizio delle serie storiche dei dati mi confermi che non c'è niente di più vecchio di quello quello che ho trovato (fine luglio 2014)?

Il dump che avevo scaricato su questo pc (19 Settembre) riporta queste quantità di misurazioni divise per mese ed anno

SELECT DISTINCT strftime('%m', dIns) m, strftime('%Y', dIns) y, COUNT(*) AS c FROM PREZZI GROUP BY y,m ORDER BY dIns ASC;

<image.png>

Per annullare l'iscrizione a questo argomento, visitahttps://groups.google.com/d/topic/spaghettiopendata/m8mnxFqmTQ4/unsubscribe.

Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email aspaghettiopend...@googlegroups.com.

[Lorenzo]

Ciao,

scrivendo l’email ho rimesso in ordine le idee ed ho fatto un passo avanti, ho creato il tabellone con un “calendario” di date per ogni distributore, ora passo a popolarlo.

Ciao.

[mario ferrara]

Complimenti per il lavoro. Ho provato a scaricare i due database, quello sui prezzi e quello anagrafico dei distributori, per calcolare alcune banali statistiche descrittive. Ho un quesito: qualcuno è riuscito ad estrarre anche le informazioni, disponibili sul sito dell'Osservatorio, relative al tipo di servizi offerti da ciascun distributore? Mi interesserebbe averli, per verificare se la variabile "non-oil" ha un impatto statisticamente significativo, sui prezzi.

Grazie e saluti

Mario


Il giorno venerdì 18 luglio 2014 18:12:18 UTC+2, Stefano s ha scritto:

Ciao,

abbiamo fatto un po' di analisi dell'applicazione dell'Osservatorio Carburanti[0], cosa che è riuscita abbastanza facilmente (c'è una API REST dietro, anche se non è pubblica).

Purtroppo sono rimasto abbastanza deluso dalla qualità dei dati tra nomi e coordinate: abbiamo notato duplicati, omissioni (ma queste sono motivate dalla non presenza degli operatori credo, anche se non è giustificata a norma di legge), cose vecchie / inesistenti, e posizionamenti errati (c'è un distributore offshore al largo di Gela? poi gli ambientalisti si arrabbiano...).

Codice e note sono rilasciati su GitHub[1], mentre la prima demo è live su

http://toolserver.openstreetmap.it/carburantiMiSE/distributori.html

Qui abbiamo sfruttato l'endpoint position per trovare i distributori nell'intorno di un singolo punto (funziona da mobile, altro che app proprietaria[2]).

Fatemi sapere se avete altre idee, due miglioramenti quasi immediati sono:

- icone per marca del distributore;

- trova il prezzo migliore dato il tipo di carburante nel mio intorno.

Ciao,

Stefano

PS Google Maps schifo :D

[0] https://carburanti.mise.gov.it/OssPrezziSearch/

[1] https://github.com/sabas/carburantiMiSE

[2] https://play.google.com/store/apps/details?id=it.gov.mise.ossprezziapp&hl=it

[sabas88]

Il giorno 31 ottobre 2014 11:45, mario ferrara <ferrm...@gmail.com> ha scritto:

Complimenti per il lavoro. Ho provato a scaricare i due database, quello sui prezzi e quello anagrafico dei distributori, per calcolare alcune banali statistiche descrittive. Ho un quesito: qualcuno è riuscito ad estrarre anche le informazioni, disponibili sul sito dell'Osservatorio, relative al tipo di servizi offerti da ciascun distributore? Mi interesserebbe averli, per verificare se la variabile "non-oil" ha un impatto statisticamente significativo, sui prezzi.

Ciao Mario,

puoi indicami una pagina dove vedi questo tipo di informazioni o farmi un esempio?

Fin'ora lo scraper ha monitorato semplicemente i prezzi per tipologia di carburante, ma per i distributori salvavo solo i dati che uscivano fuori dalla query dei prezzi stessa...

Probabilmente sono ottenibili da un'altra parte del sito?

Grazie e saluti

Mario

Ciao e grazie,

Stefano

 

Il giorno venerdì 18 luglio 2014 18:12:18 UTC+2, Stefano s ha scritto:

Ciao,

abbiamo fatto un po' di analisi dell'applicazione dell'Osservatorio Carburanti[0], cosa che è riuscita abbastanza facilmente (c'è una API REST dietro, anche se non è pubblica).

Purtroppo sono rimasto abbastanza deluso dalla qualità dei dati tra nomi e coordinate: abbiamo notato duplicati, omissioni (ma queste sono motivate dalla non presenza degli operatori credo, anche se non è giustificata a norma di legge), cose vecchie / inesistenti, e posizionamenti errati (c'è un distributore offshore al largo di Gela? poi gli ambientalisti si arrabbiano...).

Codice e note sono rilasciati su GitHub[1], mentre la prima demo è live su

http://toolserver.openstreetmap.it/carburantiMiSE/distributori.html

Qui abbiamo sfruttato l'endpoint position per trovare i distributori nell'intorno di un singolo punto (funziona da mobile, altro che app proprietaria[2]).

Fatemi sapere se avete altre idee, due miglioramenti quasi immediati sono:

- icone per marca del distributore;

- trova il prezzo migliore dato il tipo di carburante nel mio intorno.

Ciao,

Stefano

PS Google Maps schifo :D

[0] https://carburanti.mise.gov.it/OssPrezziSearch/

[1] https://github.com/sabas/carburantiMiSE

[2] https://play.google.com/store/apps/details?id=it.gov.mise.ossprezziapp&hl=it

--

[Andrea Nelson Mauro]

ciao gente, 

finalmente sono riuscito a usare i dati, grazie al lavoro di Lorenzo Perone che ha preso quello del db scrapato e li ha ristrutturati facendo un po' di conti, rendendo la mia parte facilissima

Ecco quindi il prezzo medio del gasolio diviso per provincia, con domanda: perché in Sicilia c'è il gasolio più caro d'Italia nonostante ci siano quattro raffinerie?

http://opendatasicilia.it/2014/11/03/perche-in-sicilia-gasolio-caro-ditalia/

@Sabas: con Lorenzo e Massimo Santi abbiamo vari sogni di gloria per questi dati, ma ci servirebbe un po' il tuo supporto per fare in modo che l'output dello scraper sia più usabile.

Grazie intanto!

[sabas88]

Il giorno 03 novembre 2014 09:00, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

ciao gente, 

finalmente sono riuscito a usare i dati, grazie al lavoro di Lorenzo Perone che ha preso quello del db scrapato e li ha ristrutturati facendo un po' di conti, rendendo la mia parte facilissima

Ecco quindi il prezzo medio del gasolio diviso per provincia, con domanda: perché in Sicilia c'è il gasolio più caro d'Italia nonostante ci siano quattro raffinerie?

http://opendatasicilia.it/2014/11/03/perche-in-sicilia-gasolio-caro-ditalia/

Siete fantastici!

 

@Sabas: con Lorenzo e Massimo Santi abbiamo vari sogni di gloria per questi dati, ma ci servirebbe un po' il tuo supporto per fare in modo che l'output dello scraper sia più usabile.

A disposizione! 

Grazie intanto!

Ciao,

Stefano 

[Lorenzo Perone]

Ciao Stefano,

grazie della disponibilità.

Ci piacerebbe far girare lo scraping in modo da caricare i dati su un DB Posgresql/Postgis.

Ho messo su un server di sviluppo allo scopo, ti giro le credenziali di accesso?

Grazie.

l.

[Maurizio Napolitano]

2014-11-03 12:50 GMT+01:00 Lorenzo Perone <lorenzo...@gmail.com>:
> Ciao Stefano,
> grazie della disponibilità.
> Ci piacerebbe far girare lo scraping in modo da caricare i dati su un DB
> Posgresql/Postgis.

@lorenzo
sabas ha prodotto un file spatialite,fai prima a fare il dump in
formato pgsql (con il tool spatialite-gui)
oppure ad usare ogr2ogr o qgis per importarlo in postgis




--
Maurizio "Napo" Napolitano
http://de.straba.us

[Lorenzo]

Ciao Maurizio,

il DB è già su Postgis :) il problema è l’aggiornamento dello scraping.

Grazie.

l.

Lorenzo Perone

photoblog: http://lorenzoperone.wordpress.com

website: http://blog.spaziogis.it

GEO+ geomatica in Italia http://bit.ly/GEOplus

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.

Per annullare l'iscrizione a questo argomento, visita https://groups.google.com/d/topic/spaghettiopendata/m8mnxFqmTQ4/unsubscribe.
Per annullare l'iscrizione a questo gruppo e a tutti i suoi argomenti, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.