Apple Machine Learning Researchは、言語モデルが新たな証拠の出現後に確率的信念をどれだけ一貫して更新するかを、ベイズ更新からの逸脱という観点で評価する研究を発表した。著者らはこの問題を情報処理のルールとして言語モデルを捉えるアプローチで説明している。

本研究は、ベイズ更新とモデルの更新との差を用いて、言語モデルの内部的な確率的信念の逐次性を測定する方法を提案している。説明には、医療、科学、法といった領域で、観察可能なデータだけでは正解が一意でないことがしばしばあると記されている。

このアプローチの実用的な意味は、不確実性のあるタスクにおけるモデルの振る舞いを検証することに関連している。しかし、提供されたパッケージは出版社向けの要約のみを含み、検証されたモデル、実験、数値的な結果、あるいはシステム間の比較に関するデータは含まれていない。