Keenable AI hat den NEEDLE-Quellcode freigegeben — einen Benchmark zur Bewertung der Websuche, berichtet MarkTechPost. Laut Beschreibung des Blatts wird der Abfragesatz darin jede Stunde neu aufgebaut.
Das Problem, auf das der Beitrag hinweist, hängt mit dem Zugriff der Suchmaschine auf das Datenbeschaffungswerkzeug zusammen. Wenn Referenzantworten in einem öffentlichen Datensatz vorhanden sind, kann das zu prüfende System diese während der Bewertung laden und die eigentliche Suche umgehen.
Die Relevanz des Ansatzes hängt davon ab, inwieweit die regelmäßig aktualisierten Aufgaben tatsächlich ein solches Szenario verhindern. Im verfügbaren Paket finden sich keine Informationen zu NEEDLE-Ergebnissen, Zusammenstellung des Abfragesatzes oder Vergleichen mit anderen Benchmarks.
redaktioneller Kommentar
Warum es wichtig ist
Wahrscheinliche Folge ist ein größeres Interesse an Tests, die schwerer zu bestehen sind, da vordefinierte Referenzdaten im Voraus verfügbar genutzt werden. Als nächstes beobachtet man Veröffentlichungen der Methodik, Ergebnisse und Vergleiche von NEEDLE mit anderen Bewertungen. Es besteht erhebliche Ungewissheit: Der aktuelle Paketinhalt enthält nicht den vollständigen Text der Veröffentlichung und technische Details des Projekts.