Une équipe de chercheurs dirigée par Google a créé StreamVibe — un agent vidéo qui observe une personne en train de cuisiner ou de monter des meubles, et s'adresse à elle uniquement si nécessaire.
Dans le test décrit par The Decoder, aucune des modèles évalués n'a réussi à choisir de manière fiable le bon moment pour apporter de l'aide dans de longues vidéos. À mesure que la durée de la vidéo augmentait, les erreurs s'accumulaient et la qualité des réponses chutait fortement.
Cela limite la valeur pratique des assistants vidéo, qui doivent non seulement voir ce qui se passe, mais comprendre quand l'intervention est vraiment appropriée. Les documents disponibles présentent des métadonnées et un résumé de la publication, les détails du test et la composition des modèles ne sont donc pas précisés.
commentaire éditorial
Pourquoi c’est important
Conséquence probable: les développeurs d'assistants vidéo devront améliorer l'évaluation du contexte et du moment d'intervention, et non seulement la reconnaissance des actions. Le prochain signal observé sera la publication de résultats détaillés du banc d'essai ou une démonstration du fonctionnement du système sur des scénarios domestiques de longue durée. L'incertitude importante est liée à l'absence du texte complet de l'étude et d'informations sur la méthodologie des tests.