Google Cloud AI Research hat gemeinsam mit der Washington University in St. Louis und der UNC Chapel Hill EnvHarness vorgestellt — eine Layer mit Apache-2.0, der einen statischen Benchmark an den Lernprozess einer Software-Systeme anpasst. Er wird über standardmäßige Operationen reset() und step() an die gefrorene Umgebung angeschlossen, ohne die Aufgaben selbst oder von Menschen erstellte Prüfprozeduren zu verändern.
Nach Angaben von MarkTechPost erstellt die Komponente EnvRigger automatisch solche Hüllen basierend auf Defiziten, die in den Ergebnissen der Systemläufe identifiziert wurden. In fünf Benchmarks führten die erlernten Fähigkeiten zu einem Anstieg um 9,0 Prozentpunkte bei verzögerten Aufgaben, und es wurden 9,8% weniger Schritte benötigt.
Die Bedeutung der Entwicklung liegt darin, eine Lernumgebung adaptiv zu gestalten, ohne die ursprünglichen Aufgaben und Prüfungen neu schreiben zu müssen. Zugänglich ist jedoch nur eine Synopsis von MarkTechPost; der primäre Text der Studie oder eine unabhängige Bestätigung fehlen, daher lassen sich die angegebenen Ergebnisse nicht unabhängig verifizieren.
redaktioneller Kommentar
Warum es wichtig ist
Voraussichtliche Folge ist ein zunehmendes Interesse an Benchmarks, die sich basierend auf den Lernergebnissen ändern, statt statisch zu bleiben. Das nächste beobachtbare Signal wird die Veröffentlichung einer vollständigen Studie, eines Codes oder einer unabhängigen Verifizierung der Kennzahlen auf fünf Benchmarks sein. Eine wesentliche Ungewissheit resultiert aus dem Fehlen einer primären Quelle und detaillierter Experimente.