MIT Technology Review AI a signalé que l'exécution d'une tâche de développement avec un système d'IA comprend la planification, la génération de code, l'exécution de tests et des corrections répétées.
Selon le synopsis de la publication, une telle tâche consomme dans 10–50 fois plus de tokens que la requête normale en chat.
Cela déplace l'accent d'évaluation: l'important n'est pas seulement le volume de traitement, mais aussi le résultat final obtenu avec l'aide du système. Dans le matériel disponible, il n'y a pas de données sur la qualité du code, le coût ou les outils spécifiques.
commentaire éditorial
Pourquoi c’est important
Conséquence probable — l'évaluation des systèmes d'IA s'élargira progressivement du décompte des tokens à la mesure des résultats achevés et du nombre d'itérations. Le signal le plus proche observé est l'apparition de comparaisons basées sur du code prêt, des tests et les ressources utilisées. Une incertitude substantielle demeure: la source ne révèle pas la méthodologie de calcul, l'ensemble de tâches et les indicateurs de qualité.