Google Cloud AI Research は、Washington University in St. Louis および UNC Chapel Hill と共同で、ソフトウェアシステムの学習プロセスに合わせて静的なベンチマークを適応させるレイヤー「EnvHarness」を発表した。これは標準的な操作 reset() および step() を通じて凍結された環境に接続し、タスク自体や人間が作成した検証手順を変更することはない。このレイヤーは Apache-2.0 ライセンスで提供される。
По данным MarkTechPost, компонент EnvRigger автоматически создаёт такие оболочки на основе недостатков, выявленных в результатах запусков системы. В пяти бенчмарках полученные навыки дали прирост до 9,0 процентного пункта на отложенных заданиях и потребовали на 9,8% меньше шагов выполнения.
この開発の重要性は、元のタスクや検証を書き換えることなく学習環境を適応可能にしようとする点にある。しかしながら、利用可能なのは MarkTechPost による要約のみであり、一次論文や研究の全文ではないため、報告された結果は独立して確認されたものとみなすことはできない。
編集部コメント
なぜ重要か
Вероятное последствие — рост интереса к бенчмаркам, которые меняются по результатам обучения, а не остаются статичными. Следующим наблюдаемым сигналом станет публикация полного исследования, кода или независимой проверки показателей на пяти бенчмарках. Существенная неопределённость связана с отсутствием первичного источника и подробностей эксперимента.