Linkup Research a publié SPARSEUP — un modèle ouvert d’embeddings creux basé sur ModernBERT avec 149 millions de paramètres. Selon les informations fournies par MarkTechPost, le modèle a obtenu 56,4 nDCG@10 sur BEIR-13; Linkup Research qualifie cela de meilleur résultat connu pour un encodeur creux public avec moins de 150 millions de paramètres.
Pour le degré de sparsité, le modèle utilise un décalage des logits, un élargissement à 12 éléments par token et une normalisation. Mis en liaison avec l’indice Seismic, il atteint selon le même résumé une complétude supérieure à 97% et une latence d’environ 380 par requête. La distribution est faite sous licence Apache 2.0.
L’intérêt pratique réside dans la recherche: la combinaison d’une taille compacte, de représentations creuses et d’une latence annoncée pourrait faciliter l’intégration de tels modèles dans des systèmes appliqués.
commentaire éditorial
Pourquoi c’est important
Conséquence probable — un intérêt accru pour les modèles creux compacts dans la recherche appliquée, si les performances déclarées sont reproductibles. Un prochain signal observé serait la publication des résultats primaires, du code ou de comparaisons indépendantes. L’incertitude substantielle provient du fait qu’actuellement seule une relecture indépendante des métadonnées est disponible.