Apple Machine Learning Researchは、複数の選択肢を伴う質問の回答を通じて動画キャプションの品質を評価する方法を説明しています。出典は「Putting Captions to the Test: Evaluating Video Caption Quality through Multiple-Choice Question Answering」という論文です。
シノプシスの記述によると、既存のメトリクスは生成されたテキストを標準的な記述と照合することに主眼が置かれており、同じ動画に対して複数の正しい記述があり得るケースを十分に考慮していないこと、そして通常は一元的な品質評価しか提供していないことが指摘されている。
編集部コメント
なぜ重要か
おそらく今後も、文章の一致だけでなく内容の検証を通じた動画キャプションの評価へ関心が移るだろう。次の観察可能な指標は、方法論の詳細、実験、既存指標との比較の公表となる。重大な不確実性は残る：概要のみが提供され、結果と完全なアプローチの記述はない。