Le blog AWS Machine Learning a publié des approches de mise en cache des prompts pour les modèles OpenAI dans Amazon Bedrock. Selon la description, le système lit à nouveau le contexte complet à chaque étape, y compris les outils, les instructions et l'historique.
Selon la publication, la mise en cache devrait permettre de ne pas envoyer le même contexte à chaque appel et ainsi réduire les coûts d'entrée et la latence. Le texte complet et les confirmations indépendantes ne sont pas disponibles dans le pack accessible.
commentaire éditorial
Pourquoi c’est important
Si l'approche décrite est confirmée en pratique, le prochain signal observable sera la publication de détails techniques et de mesures des coûts et des retards dans des scénarios réels. Une incertitude substantielle subsiste: il n'existe qu'un extrait méta-description sans texte complet et sans vérification indépendante.