Le AWS Machine Learning Blog décrit pour Amazon Bedrock un schéma de compression du contexte prenant en compte la requête de l'utilisateur. Après extraction des fragments, un modèle plus petit sélectionne parmi eux les parties pertinentes, puis le modèle principal élabore la réponse.
Selon AWS, cet ordre réduit le nombre de jetons d'entrée et les coûts du RAG tout en maintenant la qualité de la réponse. Le matériel décrit l'application de cette approche dans des systèmes RAG fonctionnant à grande échelle.
Les données disponibles se présentent comme des métadonnées et une description succincte de la publication, et non comme le texte complet de l'article. Par conséquent, il n'est pas possible d'établir les modèles spécifiques, l'ampleur des économies, les mesures de qualité ou les conditions de l'expérience à partir de celles-ci.
commentaire éditorial
Pourquoi c’est important
Conséquence probable — les développeurs de systèmes RAG disposeront d'un moyen supplémentaire pour contrôler les dépenses grâce à un filtrage préalable du contexte. Le prochain signal observable sera les résultats publiés par AWS sur l'économie de jetons et la qualité des réponses. Une incertitude importante résulte de l'absence dans les données disponibles de métriques spécifiques et du texte complet du matériel.