Artificial AnalysisはOptimaを立ち上げました――ユーザーが自分のデータとワークフローをもとにAIモデルの独自テストを作成できるプラットフォームです。
Optimaは、品質だけでなく、タスクの実行コストと実行時間でもモデルを比較できます。説明には、アクションエージェントをベースとするアプリケーションでは、トークン価格よりもコストと実行時間が有用である可能性があると記されています。
出典はユーザー数や具体的なテスト結果、個別モデルの比較に関するデータを提供していません。情報はThe Decoderの概要に基づくもので、元情報の全文には基づいていません。
編集部コメント
なぜ重要か
予想される結果として、ユーザーは総合的な特定のタスクの効率性に基づいてモデルを選ぶことが多くなるだろう。普遍的な評価やトークン価格よりも、特定のタスクの総合的なパフォーマンスが重要になる。次に観測されるサインは実際のユーザーデータで公開された比較になるだろう。重大な不確実性として、出典にはOptimaの手法、展開規模、試験結果についての情報がない。