Linkup Research выпустила SPARSEUP — открыто распространяемую модель разреженных эмбеддингов на базе ModernBERT с 149 млн параметров. По данным, приведённым MarkTechPost, модель получила 56,4 nDCG@10 на BEIR-13; Linkup Research называет это лучшим известным результатом для публичного разреженного энкодера с числом параметров менее 150 млн.
Для разреженности модель использует сдвиг логитов, расширение до 12 элементов на токен и приведение регистра. В связке с индексом Seismic она, согласно тому же пересказу, достигает более 97% полноты примерно за 380 микросекунд на запрос. Распространение заявлено по лицензии Apache 2.0.
Практический интерес здесь связан с поиском: сочетание компактного размера, разреженных представлений и заявленной задержки может упростить внедрение таких моделей в прикладные системы. При этом источник представлен как независимый пересказ метаданных, а не как первичная публикация или подтверждение отдельными источниками.
комментарий редакции
Что это значит
Вероятное следствие — повышенный интерес к компактным разреженным моделям для прикладного поиска, если заявленные показатели воспроизводимы. Следующим наблюдаемым сигналом станет публикация первичных результатов, кода или независимых сравнений. Существенная неопределённость связана с тем, что сейчас доступен только один пересказ метаданных.