Der AWS Machine Learning Blog berichtete über Ansätze zum Caching von Prompts für OpenAI-Modelle in Amazon Bedrock. In der Beschreibung heißt es, dass das System bei jedem Schritt den vollständigen Kontext erneut liest, einschließlich Tools, Anweisungen und Verlauf.
Laut der Veröffentlichung soll das Caching verhindern, dass derselbe Kontext bei jeder Anfrage erneut gesendet wird, und dadurch die Kosten für Eingabedaten und Verzögerungen verringern. Der vollständige Text des Materials und unabhängige Bestätigungen im verfügbaren Paket fehlen.
redaktioneller Kommentar
Warum es wichtig ist
Wenn der beschriebene Ansatz sich in der Praxis bestätigt, wird das nächste beobachtbare Signal die veröffentlichten technischen Details und Messungen von Kosten und Verzögerungen in realen Szenarien sein. Eine erhebliche Unsicherheit bleibt bestehen: Es liegt nur eine meta-deskriptive Zusammenfassung vor, ohne vollständigen Text und unabhängige Prüfung.