MIT Technology Review AI informó que completar una tarea de desarrollo con un sistema de IA implica planificación, generación de código, ejecución de pruebas y correcciones repetidas.
Según el synopsis de la publicación, una tarea de este tipo consume en 10–50 veces más tokens que una solicitud normal en chat.
Esto desplaza el enfoque de la evaluación: no solo importa la cantidad de procesamiento, sino el resultado terminado que el sistema ayuda a obtener. En el material disponible no hay datos sobre la calidad del código, el costo o herramientas específicas.
comentario editorial
Por qué importa
La consecuencia probable es que la evaluación de los sistemas de IA se desplazará gradualmente de contar tokens a medir resultados completados y número de iteraciones. La señal más cercana observada es la aparición de comparaciones en código listo, pruebas y recursos gastados. Una incertidumbre significativa permanece: la fuente no revela el método de cálculo, el conjunto de tareas y los indicadores de calidad.