MLCommonsはMLPerf Training v6.1のリリースを公表し、初のポストトレーニング大規模言語モデルの検証を導入しました。これには強化学習によるエージェント学習のタスクが含まれており、システムは397億パラメータの言語モデルを実際のソースコードの修正を学習させることを求められます。
このテストはこのようなタスクをどれだけ速く習得できるかを測定します。これによりMLPerfは、通常のモデル学習の枠を超え、コードの作業に適用するための微調整までの性能評価を拡張します。
この取り組みの実用的な意味合いは、課題の具体的な設定、修正基準、結果の比較方法がどのように組織されるかに依存します。公開資料にはこれらの詳細が含まれておらず、現時点ではベンチマーク自体が説明されており、参加者の結果は示されていません。
編集部コメント
なぜ重要か
テストの妥当な意味は、大規模モデルを実務のソフトウェア開発へと再訓練するシステムを比較できる一般的な方法の出現である、という点です。最も近い観測サインは、公開された方法論と参加者の結果です。大きな不確実性は、ソースの概要のみが入手可能で、テストの詳細が欠如していることにあります。