
MIT Technology Review AIは、AIシステムを用いた開発タスクの実行には、計画、コード作成、テスト実行、修正の繰り返しが含まれると伝えた。
シノプシスによれば、そうしたタスクは通常のチャット照会より10–50倍多くのトークンを消費する。
これは、処理量の評価がトークン数だけでなく、最終的な成果物とその完成までの反復回数にも依存する方向へシフトすることを示唆する。公開資料にはコード品質、コスト、具体的なツールについてのデータは含まれていない。
編集部コメント
なぜ重要か
予想される結果は、AIシステムの評価が徐々にトークンの数から完成結果と反復の回数の測定へ移行することだろう。最も近い観測信号は、完成コード、テスト、費やしたリソースに関する比較の出現である。不確定性はなお大きく、出典は計算方法、タスクのセット、品質指標を開示していない。