MIT Technology Review AI は、頭の体操やゲームに関する七つのテストについての材料を公開しました。説明から、これらはモデルが自分たちの知的能力にギャップを明らかにする課題をどれだけうまくこなせるかを検証することを意図しているとされます。

実務的価値は、読者自身がこれらの課題を試し、人間の解答とAIの結果を比較できる点にあります。しかし、提供元はメタデータページのみで、個々のモデル、回答、手法の詳細を含んでいません。

したがって、どのシステムがどの程度誤っていたか、どの程度の頻度で起こったか、また人間がこれらのテストでモデルを上回ったかどうかを結論づけることはできません。