Nuovo pre-print del WG ITRN su AI generativa e replicabilità nella ricerca sperimentale

[Michele Scandola]

Care colleghe e cari colleghi,

sono felice di condividere con voi un nuovo pre-print realizzato da tutti i membri del Working Group sull’Intelligenza Artificiale dell’Italian Reproducibility Network, disponibile al seguente link: https://osf.io/preprints/osf/69ua4_v1

Titolo: AI in the Experimental Loop: Implications for Replicability in Social Robotics and Social Sciences

Autori: Antonio Aquino, Fabio Aurelio D’Asaro, Rocco Gaudenzi, Marco Lezcano, Vittorio Iacovella, Michela Vezzoli, Michele Scandola - tutti i membri dell'ITRN WG AI

Abstract:

Integrating generative Artificial Intelligence (AI), in particular Large Language Models, into social robotics research and experimental social sciences presents both powerful opportunities and significant methodological challenges. One major issue is the stochastic nature of the output of those models, which complicates replicability—a foundational principle of scientific research. This paper explores the transition from the traditional Experiment-Subjects Dyad (ESD) experimental design to what we call an Experiment-AI-Subjects Triad (EAIST) experimental design, where AI is used to generate experimental trials. In the EAIST experimental design, AI can provide adaptive stimuli and generative systems which may undermine experimental control and threaten the reliability of Human-Robot Interaction studies. We review specific examples, such as emotionally expressive chatbots and GAN-generated facial expressions, and identify the two sources of variability they introduce. We then propose a framework to enhance replicability in AI-driven research, drawing on principles from the Open Science movement. Key strategies include modular testing, parameter fixation, structured prompt engineering, and robust experimental design. Our recommendations aim to maintain the ecological advantages of AI while reinforcing methodological transparency and scientific rigor.

Il lavoro è stato pensato in particolare per gli esperimenti empirici in social robotics, ma il framework proposto è estendibile a tutta la ricerca nelle scienze sociali e a qualsiasi studio che utilizzi l’AI per generare stimoli o condizioni sperimentali.

Speriamo che possa essere uno spunto utile per la comunità e accogliamo con piacere commenti, suggerimenti o critiche.

Per chi volesse, possiamo far partire un thread di discussione a partire da questa e-mail.

Un caro saluto,
Michele Scandola
per il Working Group AI – Italian Reproducibility Network

--

Associate Professor @ Department of Human Sciences - University of Verona

Iscrizione all'albo A dell'Ordine degli Psicologi del Veneto n.7733

office tel.

1- 0039 045 802 8407

2- 0039 045 802 8401

https://www.facebook.com/NPSYLab.VR/

http://profs.formazione.univr.it/npsy-labvr/michele-scandola/

http://scholar.google.it/citations?user=mRc0hxsAAAAJ

https://www.researchgate.net/profile/Michele_Scandola

https://orcid.org/0000-0003-0853-8975



Le informazioni, i dati e le notizie contenute nella presente comunicazione e i relativi allegati sono di natura privata e come tali possono essere riservate e sono, comunque, destinate esclusivamente ai destinatari indicati in epigrafe. La diffusione, distribuzione e/o la copiatura del documento  trasmesso da parte di qualsiasi soggetto diverso dal destinatario è proibita, sia ai sensi dell’art. 616 c.p., sia ai sensi del D.Lgs. n. 196/2003. Se avete ricevuto questo messaggio per errore, vi  preghiamo di distruggerlo e di darcene immediata comunicazione anche inviando un messaggio di ritorno all’indirizzo e-mail del mittente.

This e-mail (including attachments) is intended only for the recipient(s) named above. It may contain confidential or privileged information and should not be read, copied or otherwise used by any other person. If you are not the named recipient, please contact npsyl...@gmail.com and delete the e-mail from your system. Rif. D.L. 196/2003.

[Michele Scandola]

Carissimi,

ci siamo resi conto che per il momento il pre-print su OSF non è disponibile.

Per chi volesse leggerlo, abbiamo caricato il pre-print anche su ResearchGate:

https://www.researchgate.net/publication/394131075_AI_in_the_Experimental_Loop_Implications_for_Replicability_in_Social_Robotics_and_Social_Sciences?utm_source=twitter&rgutm_meta1=eHNsLVkrMmpLWldnRTNtM0g4WlE4THRkcmxzZ3NzbTZpOThoODR1OTVOWVNsVk1EUDhNU0NteDRMNHRobHNCcm1jL29SWnFCU01aMkVScE5YNTJuYmg4TE5BPT0%3D 

A presto,

Michele

--

Assistant Professor @ NPSY-Lab.VR - University of Verona

Iscrizione all'albo A dell'Ordine degli Psicologi del Veneto n.7733

office tel.