AWS Machine Learning Blogは、Amazon Bedrock における OpenAI モデルのプロンプトをキャッシュするアプローチを報告しました。説明には、各ステップでシステムが再び完全なコンテキストを読み込むと記載されています。

資料の説明によれば、キャッシュは同じコンテキストを各リクエストで再送信せずに済ませることで、入力データコストと遅延を削減することを目指しています。ただし、完全な本文と独立した検証は公開されていません。