Piattaforma per la federazione di Open Data

[Martino Maggio]

Ciao a tutti,
sono Martino Maggio ricercatore del laboratorio di Palermo di Engineering Ingegneria Informatica. Seguo da mesi le interessanti discussioni di questa community. Oggi volevo condividere con voi un lavoro che abbiamo portato avanti, nel nostro laboratorio, all'interno del progetto di ricerca europeo FESTIVAL (http://www.festival-project.eu/).
Si tratta di una piattaforma per la federazione di portali open data basati su tecnologie eterogenee che ha l'obiettivo di superare i problemi frammentazione e interoperabilità tecnologica di cui spesso soffrono i dati aperti.
La piattaforma si occupa di importare e gestire i metadati (i dati rimangono nei portali di origine), uniformandoli allo standard DCAT-AP, aggiornandoli periodicamente, garantendo che le informazioni siano quelle più attuali.

Le principali funzionalità sono le seguenti:

• Possibilità di federare ed accedere in maniera univoca a dataset esposti su portali basati su differenti tecnologie (es. CKAN, Socrata)
• Possibilità di effettuare ricerche su linked open data attraverso un editor SPARQL
• Supporto per gli standard DCAT-AP and DCAT- AP_IT. Tutti i metadati federati posso essere acceduti in tale formato.
• Tecnologia basata su web scraping per poter federare generici portali open data che non forniscono API
• Possibilità di integrare applicazioni terze: al momento è stato integrato un componente per la creazione di grafici a partire dagli open data (fornito dal progetto RouteToPA - http://routetopa.eu)
• Accesso alle funzionalità tramite portale web e API rest

Guida utente: http://opendatafederation.readthedocs.io

Documentazione delle API: https://opendatafederation.docs.apiary.io/

Demo online con numerosi cataloghi federati: https://opendatafederation.eng.it

La piattaforma è ancora in versione beta e suo il codice sorgente, nella versione community, verrà rilasciato pubblicamente nelle prossime settimane.

Alcuni membri di questo gruppo (primo fra tutti Davide Taibi) ci hanno già dato preziosi feedback, ma ci farebbe piacere sentire anche l'opinione e i consigli di tutti gli esperti e appassionati di open data presenti in questa comunità.

Grazie!

Martino Maggio

--

 

Martino Maggio
Senior Researcher, PMP®

Engineering Ingegneria Informatica spa
Research & Development Laboratory
Viale Regione Siciliana, 7275 - 90146 Palermo, ITALY

Email: martino...@eng.it
Direct phone +39 091 7511732 
Mobile phone +39 347 8756771 
Operator      +39 091 7511711 
www.eng.it | linkedin

[andy]

Ciao Martino

e benvenuto qui in mailing list.

Ho fatto soltanto un giro rapido e ho avuto una buona prime impressione.

I dati dal Comune di Palermo sono presi dall'harvesting dell'endpoint DCAT-AP_it?

Una cosa che mi piacerebbe, specie in portale come questo basato su migliaia di URI, è che tutte le pagine avessero un proprio URL.

Non ti posso inviare ad esempio l'URL della pagina dei dataset del Comune di Palermo. So che l'obiettivo di questo progetto di questo tipo probabilmente non è di front-end, ma secondo me non sarebbe male.

Le single page - sempre come front-end - non sono "caratterizzate" dal loro contenuto, perché generate immagino tramite javascript. E quindi a livello SEO ad esempio la pagina del dataset "Qualità dell'aria anno 2012", non contiene informazioni su quel dataset. Se ho scritto una fesseria, mi scuso :)

Quando apro la pagina dei cataloghi e poi faccio click sul simbolo per avere la lista tabellare, si apre senza che sia necessario una nuova pagina.

Nella pagina dei cataloghi anche gli URI degli endpoint.

Per oggi mi fermo qui; spero di potere dedicare presto un po' di tempo, specie all'accesso via API.

Saluti,

Andrea

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Gruppo Telegram: https://t.me/opendatasicilia
Slack: http://opendatasicilia.it/slack/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/9f006438-fe40-36d6-1ffc-22b2bdd4e258%40eng.it.
Per altre opzioni visita https://groups.google.com/d/optout.

--

___________________

Andrea Borruso
website: https://medium.com/tantotanto
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
___________________

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

[Martino Maggio]

Andrea grazie per i commenti, in linea le mie risposte

Il 19/04/18 19:51, andy ha scritto:

Ciao Martino

e benvenuto qui in mailing list.

Ho fatto soltanto un giro rapido e ho avuto una buona prime impressione.

I dati dal Comune di Palermo sono presi dall'harvesting dell'endpoint DCAT-AP_it?

No, al momento i dataset sono ottenuti facendo webscraping delle pagine del sito. Tramite un plugin per chrome (basato su http://webscraper.io/) è possibile definire in maniera semplice un mapping tra gli elementi di una pagina web e gli attributi del modello DCAT-AP. Il risultato di questo mapping (un file XML) viene poi importato dalla piattaforma (lato amministratore) che attraverso un motore di web scraping estrae le informazioni ottenendo tutti i metadati in DCAT-AP.

La piattaforma permette anche una federazione tramite un dump DCAT-AP, quindi possiamo anche provare ad usare il link che ci hai fornito.

Una cosa che mi piacerebbe, specie in portale come questo basato su migliaia di URI, è che tutte le pagine avessero un proprio URL.

Non ti posso inviare ad esempio l'URL della pagina dei dataset del Comune di Palermo. So che l'obiettivo di questo progetto di questo tipo probabilmente non è di front-end, ma secondo me non sarebbe male.

Le single page - sempre come front-end - non sono "caratterizzate" dal loro contenuto, perché generate immagino tramite javascript. E quindi a livello SEO ad esempio la pagina del dataset "Qualità dell'aria anno 2012", non contiene informazioni su quel dataset. Se ho scritto una fesseria, mi scuso :)

Concordo pienamente con te. Come dici tu il focus in questi mesi è stato più sui componenti di backend e i relativi servizi, che sul frontend. Le questioni che sollevi sono già state discusse internamente e ci stiamo lavorando.

Quando apro la pagina dei cataloghi e poi faccio click sul simbolo per avere la lista tabellare, si apre senza che sia necessario una nuova pagina.

Grazie per la notifica, era un bug che si evidenziava solo con alcuni browser, dovrebbe essere gia stato risolto

Nella pagina dei cataloghi anche gli URI degli endpoint.

Intendi rendere esplicitamente visibile l'url dei cataloghi nella pagina?

Per oggi mi fermo qui; spero di potere dedicare presto un po' di tempo, specie all'accesso via API.

Grazie molte

Ciao

Martino

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendat...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZPi2OR%2Bjg5umqW6j5RP2U4jh0MycP70NkrHwnPpJxAwTw%40mail.gmail.com.

[andy]

Ciao Martino,

2018-04-20 11:13 GMT+02:00 Martino Maggio <martino...@eng.it>:

Nella pagina dei cataloghi anche gli URI degli endpoint.

Intendi rendere esplicitamente visibile l'url dei cataloghi nella pagina?

mi spiego con un esempio. Per il comune di Palermo siete andati di scraping, quindi l'URL nella pagina dei cataloghi è coerente che sia la home (vecchia) del portale opendata.

Se però ad esempio per la Toscana il vostro punto di ingresso fossero le API di CKAN, nella pagina dei cataloghi federati inserirei oltre alla home del portale toscano, anche il punto di ingresso via API (ad esempio http://dati.toscana.it/api/3/action/package_list), usato per fare l'harvesting.

Spero di essermi spiegato

[Martino Maggio]

Ciao Andrea,
si effettivamente potrebbe essere utile mostrarli li. Tutte le informazioni più tecniche attualmente sono visualizzate nella console di amministrazione.

Martino

Il 20/04/18 16:54, andy ha scritto: