domanda sul tema big data

[Riccardo Grosso]

Ciao a Tutti.

Riporto la domanda che mi e' stata fatta da un amico.

Non essendo io un esperto di big data, la ribalto cosi' come e', nella speranza di vostre risposte o indirizzamenti verso altri esperti:

Ciao Riccardo, vorrei chiederti un consiglio di tipo lavorativo, se posso. Dato che so che hai lavorato molto con i big data, in azienda stiamo cercando di sviluppare delle interfacce per una AI, di modo da offrire una serie di servizi ai clienti. Le maggiori problematiche che stiamo incontrando non è tanto la AI (ne utilizziamo una sviluppata nell'università di Oxford il cui nome ora non ricordo), ma riuscire a sviluppare appunto delle interfacce fruibili nei vari progetti per comunicare con la stessa. So che detto così è un po' generico (se necessiti di dettagli, dimmelo), ma sapresti per caso indirizzarmi verso qualche libro/risorsa che possa instradare i nostri sforzi? Il problema è che questo è un campo vastissimo in grande evoluzione e rischiamo di concentrarci sulle risorse sbagliate. Grazie mille

--

http://nelfuturo.com/autore/Riccardo-Grosso

Questo è un account di posta personale di Riccardo Maria Grosso: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

Riservatezza: In ottemperanza al D.Lgs. n. 196 del 30/6/2003 in materia di protezione dei dati personali, le informazioni contenute in questo messaggio sono strettamente riservate ed esclusivamente indirizzate al destinatario indicato (oppure alla persona responsabile di rimetterlo al destinatario). Vogliate tener presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio è vietato. Nel caso in cui aveste ricevuto questo messaggio per errore, vogliate cortesemente avvertire il mittente e distruggere il presente messaggio.
Rispetto per l'ambiente - non stampare questa e.mail se davvero non ne hai bisogno

---

Confidentiality: According to Italian law D.Lgs. 196/2003 concerning privacy, if you are not the addressee (or responsible for delivery of the message to such person) you are hereby notified that any disclosure, reproduction, distribution or other dissemination or use of this communication is strictly prohibited. If you have received this message in error, please destroy it and notify us by email. 
Consider the environment - do not print this email if you really do not need to do so

[Andrea Nelson Mauro | Dataninja.it]

Riccardo, in effetti è un domandone da 1 milione di dollari!!!! :))))

Dunque, per AI immagino che si intenda Artificial Intelligence, e quindi machine learning.

Se non mi sto facendo un film, vuol dire che loro prendono Bigdata o cmq genericamente dati, li danno in pasto a un sofware di machine learning che li classifica per bene e poi ne ottengono degli output.

Se è così, parliamo di interfacce di vari tipi:

• Interfacce di interrogazione: classiche API RESTful e/o webhook
• Interfacce più 'umane': motori e strumenti di ricerca, chatbot, voice recognition...
• Interfacce più visive complesse di data discovery, tipo Kibana

C'è un dibattito frenetico per ora sul tema, guarda ad esempio quando post ci sono su medium

https://medium.com/search?q=Artificial%20intelligence%20interface

Spero di essere stato utile!

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.

--

Andrea Nelson Mauro - Datajournalist
dataninja.it
http://twitter.com/nelsonmau

[Alfredo Serafini]

Dunque, per AI immagino che si intenda Artificial Intelligence, e quindi machine learning.

si e no: il machine learning è un pezzo consitente di ciò che si intende intelligenza artificiale, però nella pratica si combina agli altri ambiti, tra cui tutta la parte "semantica" (da web semantico a linked data) e soprattutto l'information retrieval, che è poi spesso la vera "trincea" dove gli algoritmi si scontrano con la realtà :-)

 

Se non mi sto facendo un film, vuol dire che loro prendono Bigdata o cmq genericamente dati, li danno in pasto a un sofware di machine learning che li classifica per bene e poi ne ottengono degli output.

dipende da ciò che intendiamo per classificazione: in genere come tipologia di task fa parte dell'information retrieval, e di solito sono almeno tre gli elementi essenziali da valutare:

• individuazione delle feature caratteristiche sul dominio dei dati: in pratica un sottoinsieme delle informazioni tali da caratterizzare la rilevanza di un dato documento, la sua pertinenza ad un gruppo di documenti, o la semantica implicita che descrive.
• pertinenza: in particolar modo se parliamo di sistemi di ricerca e navigazione
• usabilità, comprensibilità delle interfacce, trovabilità dell'informazione.

In pratica: se avete già un buon motore di machine learning e vi va di costruire interfacce fruibili, vi serve allora introdurre strumenti di information retrieval come Elasticsearch o Solr, e  progettare una buona UX sulla base delle capacità offerte dai sistemi, magari perfezionando la pertinenza dei dati rispetto a ricerche e classificazioni con il supporto degli algoritmi di ML e di un po' di linked data e vocabolari standard.
Il "motore" così immaginato può a quel punto essere declinato nei modi suggeriti da Andrea sopra:

• servizi per machine-machine (API RESTful, etc)
• servizi per human-machine e HCI in generale (qui dipende da quale sia il contesto di nuovo: dai sensori allo speech2text, a semplici SMS, qualsiasi cosa praticamente)
• interfacce di business intelligence: Kibana o anche KIBI, entrambe basate su Elastichesearch e quindi Lucene, o le corrispettive per Solr, o ancora Pentaho (che utilizza come motore di ML l'ottimo Weka che è anche estensibile, quindi potreste "pluggarci" dentro i vostri algoritmi, magari ;-)), o tante altre ancora

Per orientarsi un po', io suggerirei di partire dal sempre classico libro sull'Information Retrieval di Stanford: http://nlp.stanford.edu/IR-book/pdf/01bool.pdf

e poi qualcosina su HCI: https://www.interaction-design.org/literature/book/the-glossary-of-human-computer-interaction (la parte sull'affordance è sempre IMHO un ottimo punto di partenza anche nel progetto di API non destinate ad esseri umani)

saluti,

Alfredo

 

Il giorno 5 dicembre 2016 14:30, Riccardo Grosso <riccardo.m...@gmail.com> ha scritto:

Ciao a Tutti.

Riporto la domanda che mi e' stata fatta da un amico.

Non essendo io un esperto di big data, la ribalto cosi' come e', nella speranza di vostre risposte o indirizzamenti verso altri esperti:

Ciao Riccardo, vorrei chiederti un consiglio di tipo lavorativo, se posso. Dato che so che hai lavorato molto con i big data, in azienda stiamo cercando di sviluppare delle interfacce per una AI, di modo da offrire una serie di servizi ai clienti. Le maggiori problematiche che stiamo incontrando non è tanto la AI (ne utilizziamo una sviluppata nell'università di Oxford il cui nome ora non ricordo), ma riuscire a sviluppare appunto delle interfacce fruibili nei vari progetti per comunicare con la stessa. So che detto così è un po' generico (se necessiti di dettagli, dimmelo), ma sapresti per caso indirizzarmi verso qualche libro/risorsa che possa instradare i nostri sforzi? Il problema è che questo è un campo vastissimo in grande evoluzione e rischiamo di concentrarci sulle risorse sbagliate. Grazie mille

--

http://nelfuturo.com/autore/Riccardo-Grosso

Questo è un account di posta personale di Riccardo Maria Grosso: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

Riservatezza: In ottemperanza al D.Lgs. n. 196 del 30/6/2003 in materia di protezione dei dati personali, le informazioni contenute in questo messaggio sono strettamente riservate ed esclusivamente indirizzate al destinatario indicato (oppure alla persona responsabile di rimetterlo al destinatario). Vogliate tener presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio è vietato. Nel caso in cui aveste ricevuto questo messaggio per errore, vogliate cortesemente avvertire il mittente e distruggere il presente messaggio.
Rispetto per l'ambiente - non stampare questa e.mail se davvero non ne hai bisogno

---

Confidentiality: According to Italian law D.Lgs. 196/2003 concerning privacy, if you are not the addressee (or responsible for delivery of the message to such person) you are hereby notified that any disclosure, reproduction, distribution or other dissemination or use of this communication is strictly prohibited. If you have received this message in error, please destroy it and notify us by email. 
Consider the environment - do not print this email if you really do not need to do so

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendat...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.

[Alfredo Serafini]

(qui il libro completo di Stanford: http://nlp.stanford.edu/IR-book/html/htmledition/irbook.html per errore avevo linkato solo il primo capitolo, pardon :-))

[Dario Bottazzi]

credo che abbiano semplicemente bisogno di un consulente. Non è un tema che si esaurisce in poche righe. Per darti un'idea ho 300 colleghi che lavorano esclusivamente su progetti di questo tipo..

ciao

  dario 

[Alfredo Serafini]

aggiungo un altro riferimento sintetico ma a mio avviso efficace, tanto per distinguere tra cosa si intende comunemente per AI e ML:

https://relinklabs.com/what-is-the-difference-between-artificial-intelligence-and-machine-learning-1

Il giorno lunedì 5 dicembre 2016 14:30:20 UTC+1, Riccardo Grosso ha scritto: