Andon Labs, компания по безопасности ИИ из Сан-Франциско, поручает ИИ-агентам управление реальными операциями и наблюдает за последствиями. Среди описанных экспериментов — торговый автомат с необычным ассортиментом, магазин с ИИ-менеджером и радиоведущий на базе ИИ, повторявший одну фразу 229 раз в день.
IEEE Spectrum AI によると、これらのプロジェクトは Andon Labs の商業活動、すなわち先進的な AI システムを開発する主要研究所との共同による評価基準および研究の開発のための試験場としても機能している。
これらの実験の意義は、エラーが商品、従業員、聴衆に影響を与える通常の業務シナリオにおいて AI の挙動を検証する点にある。ただし、提供された情報源は、評価手法、プロジェクトの期間、あるいは人々の反応については明らかにしていない。
編集部コメント
なぜ重要か
想定される帰結は、人間や物理的対象に対して誤りが顕著になる実際の業務シナリオにおける AI 評価への関心の高まりである。次に観測される兆候は、公表される評価手法、試験結果、あるいは Andon Labs による新たなプロジェクトとなるだろう。記事の全文と一次データの欠如により、 substantial な不確実性が残っている。