O AWS Machine Learning Blog relatou abordagens para cache de prompts para modelos OpenAI no Amazon Bedrock.
Segundo a publicação, o cache deve permitir não enviar o mesmo contexto a cada solicitação e, assim, reduzir custos de dados de entrada e atraso. O texto completo do material e confirmações independentes não estão disponíveis no pacote acessível.
comentário editorial
Por que importa
Se a abordagem descrita for comprovada na prática, o próximo sinal observado será a publicação de detalhes técnicos e medições de custo e atraso em cenários reais. Uma incerteza substancial permanece: resta apenas uma síntese descritiva meta-textual, sem o texto completo e sem verificação independente.