MIT Technology Review AI berichtete, dass die Durchführung einer Entwicklungsaufgabe mithilfe eines KI-Systems Planung, Code-Generierung, das Ausführen von Tests und wiederholte Fehlerkorrekturen umfasst.
Laut der Synopsis der Veröffentlichung verbraucht eine solche Aufgabe 10–50 Mal mehr Tokens als eine normale Chat-Anfrage.
Dies verschiebt den Bewertungsfokus: Es kommt nicht nur auf das Volumen der Verarbeitung an, sondern darauf, welches fertige Ergebnis das System zu liefern hilft. Im verfügbaren Material gibt es keine Daten zur Code-Qualität, Kosten oder konkreten Tools.
redaktioneller Kommentar
Warum es wichtig ist
Voraussichtliche Folge ist, dass Bewertungen von KI-Systemen sich allmählich von der Token-Zählung hin zur Messung abgeschlossener Ergebnisse und der Anzahl von Iterationen verschieben werden. Das am nächsten liegende beobachtete Signal ist das Auftreten von Vergleichen hinsichtlich fertigem Code, Tests und aufgewandten Ressourcen. Eine wesentliche Unsicherheit bleibt bestehen: Die Quelle offenbart nicht die Berechnungsmethodik, den Task-Set und Qualitätskennzahlen.