
研究者らは、言語モデルが自らの信頼感の信号を用いて回答を選ぶか回避を選ぶかを検証するための四段階の方法を開発した。第一段階では、回避の選択肢なしにモデルの信頼感を測定した。
本研究はNature Machine Intelligenceに「Causal evidence that language models use confidence to drive behaviour」という見出しで公開された。記述の中でメタ認知は、自身の認知機能の質の評価として扱われ、さまざまな種における適応的行動と結びつけられている。
公開されている説明には、残りの段階の結果、調査されたモデルの名称、定量的指標が含まれておらず、現在のところ因果関係のテストの設定は確認できるものの、その結論は未確定である。
編集部コメント
なぜ重要か
完全な結果が因果関係を裏付ける場合、次に観察される信号は、信頼感の信号へ介入した後の回答と回避の選択の間の安定した変化となることだ。しかし、結果、サンプル、モデルの説明のみが提供されており、重大な不確実性が残る。