Anthropic впервые раскрыла метрики того, как Claude участвует в создании будущих моделей ИИ. По данным, приведённым The Decoder, Claude теперь «ведёт» 26% такой работы против менее 1% в феврале.
しかし、この表現には注意が必要である。情報源は、作業全体の規模は不明であり、評価は Claude 自身によって行われていると指摘している。さらに、「主導する」という言葉は、この指標から示唆されるほど広範な意味を持たない。
この発表は、Anthropic が自社の研究における AI の関与を測定しようとする試みとして重要だが、提示されたデータだけでは26% を完全に遂行された作業の割合と比較したり、モデルの自律性について結論を下したりするには不十分である。
編集部コメント
なぜ重要か
考えられる結果として、AI システムの開発における AI の関与指標への関心が高まることになる。次の観測可能な兆候は、Anthropic による該当事業の正確な定義と独立した検証を伴う発表となるだろう。情報源の要約のみが利用可能であり、評価が Claude 自身に帰属されている点において、実質的な不確実性が残っている。