UC Berkeley представила LEANN — открытый векторный индекс для RAG-систем. По данным MarkTechPost, он хранит сокращённый граф, а эмбеддинги пересчитывает во время обработки запроса.
В описанном сценарии индекс для 60 млн фрагментов уменьшает объём с 201 до 6 ГБ. При этом заявлено соответствие точности HNSW на уровне 90% полноты поиска при использовании 4 вместо 188 ГБ, но поиск занимает секунды.
Значение подхода — в компромиссе между объёмом хранения и скоростью ответа. Доступные материалы представлены одним независимым источником и имеют статус метаданных, поэтому полные условия тестирования и воспроизводимость результатов требуют проверки.
комментарий редакции
Что это значит
Вероятное следствие — интерес к индексам, которые экономят место ценой задержки ответа, особенно в сценариях с невысокими требованиями к скорости. Следующим проверяемым сигналом станет публикация кода, методики тестирования и независимых сравнений. Существенная неопределённость связана с тем, насколько заявленные результаты сохраняются на других наборах данных и нагрузках.