Keenable AI открыла исходный код NEEDLE — бенчмарка для оценки веб-поиска, сообщает MarkTechPost. По описанию издания, набор запросов в нём перестраивается каждый час.
Проблема, на которую указывает публикация, связана с доступом поисковой системы к инструменту получения данных. Если эталонные ответы находятся в публичном наборе, проверяемая система способна загрузить их во время оценки и обойти собственно поиск.
Значимость подхода зависит от того, насколько обновляемые задания действительно препятствуют такому сценарию. В доступном пакете нет сведений о результатах NEEDLE, составе его набора запросов или сравнении с другими бенчмарками.
комментарий редакции
Что это значит
Вероятное последствие — больший интерес к тестам, которые сложнее проходить за счёт заранее доступных эталонных данных. Следующим наблюдаемым сигналом станут опубликованные методика, результаты и сравнения NEEDLE с другими оценками. Существенная неопределённость сохраняется: текущий пакет не содержит полного текста публикации и технических деталей проекта.