database immagini scrittori

51 views
Skip to first unread message

Giuseppe Naponiello

unread,
Jan 15, 2018, 2:16:32 PM1/15/18
to spaghett...@googlegroups.com
Salve a tutti,
non so se qualcuno di voi può darmi qualche dritta, sto aiutando dei miei amici a mettere su un piccolo blog di letteratura, si tratta di recensioni di saggi.
MI piacerebbe associare ad ogni scrittore presente nel db una sua immagine pescandola dalla rete.
L'idea mi è venuta partendo da un'app che ho sul mio cellulare, si chiama book catalogue, che utilizza delle API messe a disposizione dal sito library thing [0] per recuperare info sui libri, comprese le immagini delle copertine...ma non degli autori.

Ho pensato di dare un'occhiata a wikimedia; ho provato a fare delle richieste ma a seconda della nazione i risultati cambiano (es. alcune immagini di autori sono pubblicate in Italia e non in america e viceversa).

Avete qualche idea?
Grazie e buona serata

-beppe-

[0] http://www.librarything.it/services/rest/documentation/1.1/

--
Giuseppe Naponiello

Arc-Team srl
piazza Navarrino, 13 - 38023Cles (TN) 
C.F. e P. IVA IT-01941600221 
cell. +393476846599
mail: bepp...@arc-team.com
pec: arc-...@pec.it
101 | www.arc-team.com
110 | http://arc-team-open-research.blogspot.it/

andy

unread,
Jan 15, 2018, 2:57:00 PM1/15/18
to Spaghetti Open Data
Ciao Giuseppe,
quella di wikimedia mi sembra un'ottima idea. Forse risolveresti il problema della "nazione" in questo modo:
- a partire dal nome dello scrittore estrai via wikidata la sua nazione di nascita (comoda la rinconcilazione con OpenRefine);
- dalla nazione, la lingua parlata (e quindi il codice "it", "en", ecc.);
- e poi fai la query via API nella lingua della nazione di nascita.

My 0.5 cents


--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/CANfeXTRQ7h94c%2BSLOwB%2BO6h3KE%3DEXUydXcSZ-X0-OtRaSV4sqw%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.



--
___________________

Andrea Borruso
website: https://medium.com/tantotanto
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
___________________

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

andy

unread,
Jan 15, 2018, 3:11:44 PM1/15/18
to Spaghetti Open Data
Immagino che i saggi non ci siano su librarything. Perché altrimenti potresti:
- usi le api di librarything a partire dal saggio, ed avere l'`authorcode`;
- usare questo per chiamare la pagina dell'autore, da quale estrarre la foto via XPATH o CSS selector.

Non ho idea però di quali siano i termini della licenza e immagino che i saggi non ci siano :(

2018-01-15 20:16 GMT+01:00 Giuseppe Naponiello <bepp...@gmail.com>:

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/CANfeXTRQ7h94c%2BSLOwB%2BO6h3KE%3DEXUydXcSZ-X0-OtRaSV4sqw%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.

Alessio Melandri

unread,
Jan 15, 2018, 5:50:15 PM1/15/18
to spaghett...@googlegroups.com
Ciao,

noi per https://dati.cobis.to.it/ abbiamo preso le immagini degli autori (e.g. https://dati.cobis.to.it/agent/OATO4642) da Wikidata, proprio come dice Andrea. Ma con meno salti: una volta che ti ritrovi l'item giusto attraverso il nome basta prendere la proprietà dell'immagine P18 (la seconda dichiarazione in https://www.wikidata.org/wiki/Q307).

Ormai su Wikidata ci sono quasi tutte le foto che erano sparse nelle varie edizioni linguistiche. Ma soprattutto se adotti questo metodo man mano che la comunità le aggiunge te le ritrovi nella tua applicazione. Dubito troverai altrove un DB così ricco con licenza aperta.

Alessio

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/CAHEdGZMzRZ4oLRgJHpTvOwdkTAUH3DjYaGrxuRX80-3R7xbmXQ%40mail.gmail.com.

Alberto

unread,
Jan 15, 2018, 5:55:39 PM1/15/18
to Spaghetti Open Data
Wikidata tutta la vita. Si conferma dataset infrastrutturale (grazie Alessio, grazie Andrea). 

andy

unread,
Jan 16, 2018, 1:29:51 AM1/16/18
to spaghett...@googlegroups.com

Ieri ero fuso, facevo due cose contemporaneamente, pure in stanchezza :(

Il bello di wikidata è ovviamente che ogni item è  come un record di un db e non ce n'è uno per ogni lingua.
Quindi autore e poi P18. Sorry :)


Il lun 15 gen 2018, 23:55 Alberto <alberto...@gmail.com> ha scritto:
Wikidata tutta la vita. Si conferma dataset infrastrutturale (grazie Alessio, grazie Andrea). 

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/e8dca49e-d222-408a-b829-5da7d7e59552%40googlegroups.com.

Per altre opzioni visita https://groups.google.com/d/optout.
--

______
Scusami per la brevità, ti sto scrivendo dal cellulare.

website: https://medium.com/tantotanto
38° 7' 48" N, 13° 21' 9" E EPSG:4326

Giuseppe Naponiello

unread,
Jan 16, 2018, 4:46:13 PM1/16/18
to Spaghetti Open Data
Ciao,
intanto ringrazio tutti per l'aiuto...siete una certezza!!!
Prima di leggere i vostri suggerimenti ho giocato un po' con le api di wikipedia e, alla fine, il risultato è più che soddisfacente!
Devo dire che l'argomento mi interessa parecchio e vorrei approfondire.
Ho dato un'occhiata a dati.cobis.to.it ed è un progetto davvero interessante, ovviamente il blog che sto mettendo su è una cosa molto casereccia ma punto a realizzare una cosa almeno dignitosa ;)
Per ora, come ho scritto, sto provando le api di wikipedia [0] con i parametri classici [1], per tirare fuori la proprietà P18 immagino io debba utilizzare altre API/parametri, giusto?
Ho letto la pagina di documentazione delle API [2] ma non capisco come recuperare il codice identificativo (entity data), il Q307 di Galileo.
Scusatemi se le domande vi risulteranno banali :)

[1] action:'query', format:'json', formatversion:2, prop:'pageimages|pageterms', piprop:'thumbnail' ....
[2] https://www.mediawiki.org/wiki/API:Main_page
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
--
___________________

Andrea Borruso
website: https://medium.com/tantotanto
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
___________________

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.

andy

unread,
Jan 16, 2018, 5:21:57 PM1/16/18
to Spaghetti Open Data

Ciao Giuseppe,

2018-01-16 22:46 GMT+01:00 Giuseppe Naponiello <bepp...@gmail.com>:


Ho letto la pagina di documentazione delle API [2] ma non capisco come recuperare il codice identificativo (entity data), il Q307 di Galileo.
Scusatemi se le domande vi risulteranno banali :)

come ti accennavo ieri, uno strumento visuale molto comodo per farlo è l’ultimo openrefine. A partire da una colonna che contiene i nomi degli autori, ti consente di fare la rinconciliazione, di trovare l’”item che matcha” nel db wikidata. Una volta fatto, potrai derivare a cascata diverse informazioni.

Ho aggiunto l'endpoint italiano che è https://tools.wmflabs.org/openrefine-wikidata/it/api.

Un esempio in questo video: http://youtu.be/NZZX4Tjql0k?hd=1

Sotto il codice della history.

Notte

[
  {
    "op": "core/recon",
    "description": "Reconcile cells in column nome to type Q5",
    "columnName": "nome",
    "config": {
      "mode": "standard-service",
      "service": "https://tools.wmflabs.org/openrefine-wikidata/it/api",
      "identifierSpace": "http://www.wikidata.org/entity/",
      "schemaSpace": "http://www.wikidata.org/prop/direct/",
      "type": {
        "id": "Q5",
        "name": "umano"
      },
      "autoMatch": true,
      "columnDetails": [],
      "limit": 0
    },
    "engineConfig": {
      "mode": "row-based",
      "facets": []
    }
  },
  {
    "op": "core/extend-reconciled-data",
    "description": "Extend data at index 1 based on column nome",
    "engineConfig": {
      "mode": "row-based",
      "facets": []
    },
    "columnInsertIndex": 1,
    "baseColumnName": "nome",
    "endpoint": "https://tools.wmflabs.org/openrefine-wikidata/it/api",
    "identifierSpace": "http://www.wikidata.org/entity/",
    "schemaSpace": "http://www.wikidata.org/prop/direct/",
    "extension": {
      "properties": [
        {
          "name": "image",
          "id": "P18"
        }
      ]
    }
  },
  {
    "op": "core/column-addition-by-fetching-urls",
    "description": "Create column infoFoto at index 2 by fetching URLs based on column immagine using expression grel:\"https://it.wikipedia.org/w/api.php?action=query&continue=&format=json&iiprop=url&prop=imageinfo&titles=File%3A\"+replace(value,\" \",\"%20\")",
    "engineConfig": {
      "mode": "row-based",
      "facets": []
    },
    "newColumnName": "infoFoto",
    "columnInsertIndex": 2,
    "baseColumnName": "immagine",
    "urlExpression": "grel:\"https://it.wikipedia.org/w/api.php?action=query&continue=&format=json&iiprop=url&prop=imageinfo&titles=File%3A\"+replace(value,\" \",\"%20\")",
    "onError": "set-to-blank",
    "delay": 5000,
    "cacheResponses": true
  },
  {
    "op": "core/column-addition",
    "description": "Create column URLimage at index 3 based on column infoFoto using expression grel:value.parseJson().query.pages[\"-1\"].imageinfo[0].url",
    "engineConfig": {
      "mode": "row-based",
      "facets": []
    },
    "newColumnName": "URLimage",
    "columnInsertIndex": 3,
    "baseColumnName": "infoFoto",
    "expression": "grel:value.parseJson().query.pages[\"-1\"].imageinfo[0].url",
    "onError": "set-to-blank"
  }
]
​

Giuseppe Naponiello

unread,
Jan 17, 2018, 10:19:27 AM1/17/18
to Spaghetti Open Data
Openrefine lo conosco (poco) e in qualche caso mi è stato davvero molto utile.
In effetti integrare con openrefine i dati già presenti nel mio db (circa un centinaio di autori) è stato molto veloce, grazie anche all'ottimo video! L'idea, però, è quello di farlo fare direttamente alla web app: un utente scrive una recensione, l'autore non è presente e lo aggiunge...compila il form (nome e cognome dell'autore) prima di salvare il record, il sistema recupera altri dati (se presenti) da wiki e li salva nel db [0]; pensavo di farlo con javascript (la classica funzione getJson o ajax di jQuery) ma se pensate ci sia una procedura migliore sono aperto ad ogni consiglio ;)

[0] avendo i dati disponibili in rete salvarli nel db non è molto "furbo" ma volevo dare all'utente la possibilità di integrare i dati prendendoli da altre risorse (a condizione che la licenza sia open!), quindi mi salvo i dati ma tengo comunque traccia della fonte.

Alessio Melandri

unread,
Jan 18, 2018, 6:06:49 AM1/18/18
to spaghett...@googlegroups.com
E una volta beccato il Q giusto (Q307 nell'esempio) ricavarsi l'immagine tramite:

https://query.wikidata.org/sparql?query=SELECT ?img WHERE { wd:Q307 wdt:P18 ?img }&format=json

Alessio

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/814bd652-9000-4426-a9e3-1f38f568522a%40googlegroups.com.

Erika Marconato

unread,
Feb 5, 2018, 9:53:02 AM2/5/18
to Spaghetti Open Data
Hai curiosato anche tra le API di Flickr? https://www.flickr.com/services/api/
Spesso, se si tratta di autori viventi, ci sono foto degli eventi o cose del genere. Dal sito ti permette di cercare anche per tipo di licenza, quindi immagino possa fare qualcosa di simile anche via API.

Andrea Zanni

unread,
Feb 24, 2018, 9:29:58 AM2/24/18
to spaghett...@googlegroups.com
Se va tutto bene in futuro anche Commons (repository di immagini wikimedia) avrà un suto "wikidata", quindi si spera che trovare le immagini sarà più semplice.

2018-01-16 7:29 GMT+01:00 andy <abor...@gmail.com>:

Ieri ero fuso, facevo due cose contemporaneamente, pure in stanchezza :(

Il bello di wikidata è ovviamente che ogni item è  come un record di un db e non ce n'è uno per ogni lingua.
Quindi autore e poi P18. Sorry :)

Il lun 15 gen 2018, 23:55 Alberto <alberto...@gmail.com> ha scritto:
Wikidata tutta la vita. Si conferma dataset infrastrutturale (grazie Alessio, grazie Andrea). 

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.
--

______
Scusami per la brevità, ti sto scrivendo dal cellulare.

website: https://medium.com/tantotanto
38° 7' 48" N, 13° 21' 9" E EPSG:4326

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/spaghettiopendata.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/spaghettiopendata/CAHEdGZOy7opxrkqaNCB-g4KOqeo%3Dd3Lc7AuarQB-X%2Ba_%3DTJLYw%40mail.gmail.com.
Reply all
Reply to author
Forward
0 new messages