UC Berkeley stellte LEANN — einen offenen Vektorindex für RAG-Systeme — vor. Laut MarkTechPost speichert er einen verkürzten Graphen und berechnet Embeddings während der Abfrage neu.
In dem beschriebenen Szenario verringert der Index für 60 Mio. Fragmente das Volumen von 201 auf 6. Gleichzeitig wird eine Übereinstimmung von HNSW in Bezug auf die Suchgenauigkeit auf 90% Vollständigkeit bei Verwendung von 4 statt 188 angegeben, die Suche dauert jedoch Sekunden.
Der Wert des Ansatzes liegt im Kompromiss zwischen Speicherbedarf und Ansprechzeit. Die verfügbaren Materialien stammen von einer unabhängigen Quelle und bestehen nur aus Metadaten und einer kurzen Zusammenfassung; eine vollständige Validierung im Paket liegt nicht vor.
redaktioneller Kommentar
Warum es wichtig ist
Wahrscheinliche Folge ist ein gesteigertes Interesse an Indizes, die Speicherplatz sparen, dafür jedoch eine Verzögerung der Antwort in Kauf nehmen, insbesondere in Szenarien mit geringen Geschwindigkeitsanforderungen. Als nächster prüfbarer Indikator gilt die Veröffentlichung von Code, Testmethoden und unabhängigen Vergleichen. Gravierende Unklarheit besteht darin, inwieweit die angegebenen Ergebnisse auf anderen Datensätzen und Lasten erhalten bleiben.