In dem LangChain-Experiment für Terminal-Bench führte die Veränderung nur der Hülle des Arbeitszyklus bei demselben Modell dazu, dass das System beim Codieren von Platz ungefähr 30 in die oberen fünf Plätze kletterte, berichtet MarkTechPost. Das Modell selbst blieb unverändert.
Auf dieser Grundlage regt die Veröffentlichung an, nicht nur das Modell, sondern auch die Art und Weise zu betrachten, wie der Aufgabenzyklus aufgebaut ist. Das ist besonders wichtig für Teams, die Anbieter allein anhand der Qualität des Basismodells vergleichen.
Die verfügbaren Materialien offenbaren nicht, wie die veränderte Hülle des Arbeitszyklus aufgebaut ist, weder die Zahl der Tests noch die Vergleichskriterien. Daher ist das Ergebnis als Beispiel eines einzelnen, unabhängigen Quellen zu verstehen und nicht als Beleg für einen universellen Vorteil dieses Ansatzes.
redaktioneller Kommentar
Warum es wichtig ist
Wahrscheinliche Folge ist, dass Teams künftig nicht nur Modelle, sondern auch die Art und Weise, wie ihr Arbeitszyklus organisiert ist, stärker vergleichen werden. Als nächstes beobachtbares Signal wird das Auftreten reproduzierbarer Vergleiche zu anderen Aufgaben und mit detaillierter Methodikbeschreibung erwartet. Große Unsicherheit besteht darin, dass derzeit nur eine Synopse einer Quelle verfügbar ist.