LLM導入が研究生産性を押し上げる一方で、従来の「文章の巧さ=質」という評価慣行を無効化し、制度設計の前提そのものを変える実証結果を示している。
研究の面白さ・すごさ
arXiv・bioRxiv・SSRN計約210万件のプレプリントを分析し、LLM使用は生産性を36–60%押し上げる一方、文章複雑性(Flesch指標)が査読通過率の正のシグナルでなくなり、LLM使用論文では逆転することを示した。さらに、Bing Chat導入後の行動差分から、LLM検索が若く・被引用の少ない文献や書籍への到達を広げることも確認した。
注意点・前提条件
LLM検出は抄録ベースで誤判定の可能性があり、採用時点の内生性や自己選択バイアスを完全には排除できない。結果は初期世代LLMに基づくスナップショットで、将来世代では効果が変わりうる。
印象的なフレーズ(原文/訳)
“Writing characteristics are fast becoming uninformative signals.”
「文章的特徴は、急速に有益な評価シグナルではなくなりつつある。」