Microsoft 研究 發現 AI 解釋確實相對於只看答案提高了學習效果

[HK EdTech AI Application and Teaching]

This is a short video from Microsoft research on teaching Math. 

Just using simple MC questions and AI output, the improvement is significant. 

https://www.youtube.com/watch?v=bqxbhIeIbTc

(math demo starts from 3min 11s) 

"從這個實驗中，我們看到LLM解釋確實相對於只看答案提高了學習效果，如右邊的這兩點所示，但在自己嘗試之後使用AI 導師比在嘗試問題之前諮詢導師有顯著的優勢。我們也看到了一些跡象，表明定制的預設提示比標準解釋提供了小幅提升。"

在我們的第二個研究中，我們研究了更多像教練的場景，即LLM基於導師如何影響學習。我們將人們隨機分配到不同時期看到不同類型的幫助，當他們在練習標準化數學問題時，就像你在這裡看到的這樣，然後我們看他們在一個沒有任何幫助的單獨測試中的表現，以評估他們自己學到了多少。在一個條件中，僅僅給出答案的條件中，人們嘗試了一個問題，然後他們只被告知是對還是錯，如果錯了，會顯示正確答案。相比之下，在一個標準LLM條件中，人們獲得了GPT-4提供的解釋，在這種情況下，GPT-4給出了一個正確但相當深奧的公式，讓人試圖學習和記住以解決問題。而在第三個最終條件中，我們有一個定制的LLM，它被給予一個預設提示來模仿人類導師，並建議更符合認知的策略，這種情況下涉及選擇問題中未指定數字的值，使其更容易解決。從這個實驗中，我們看到LLM解釋確實相對於只看答案提高了學習效果，如右邊的這兩點所示，但在自己嘗試之後使用導師比在嘗試問題之前諮詢導師有顯著的優勢。我們也看到了一些跡象，表明定制的預設提示比標準解釋提供了小幅提升。