Artificial Analysis hat Optima gestartet – eine Plattform, auf der Nutzer eigene Tests von KI-Modellen basierend auf ihren Daten und Arbeitsabläufen erstellen können.
Optima ermöglicht es, Modelle nicht nur nach Qualität, sondern auch nach Kosten und Ausführungszeit der Aufgabe zu vergleichen. In der Beschreibung der Plattform wird außerdem gesondert darauf hingewiesen, dass für Anwendungen auf Agentenbasis solche Kennzahlen informativer sein können als der Preis einzelner Tokens.
Die Quelle führt keine Zahlen zur Anzahl der Nutzer, zu konkreten Testergebnissen oder zum Vergleich einzelner Modelle an. Die Informationen basieren auf der Zusammenfassung von The Decoder und nicht auf dem vollständigen Originaltext.
redaktioneller Kommentar
Warum es wichtig ist
Voraussichtliche Folge – Nutzer werden Modelle eher nach der Gesamteffizienz einer konkreten Aufgabe auswählen als nach einem universellen Ranking oder dem Token-Preis. Als nächstes beobachtbares Signal werden veröffentlichte Vergleiche mit echten Benutzerdaten sein. Eine wesentliche Unklarheit besteht darin, dass in der Quelle keine Angaben zur Methodik von Optima, zum Umfang der Einführung und zu Testergebnissen gemacht werden.