Código e agentesOpenAI

Cache de prompts: meça o valor do contexto repetido

A OpenAI anunciou novos controles e diagnósticos de cache para GPT-6 em 22 de setembro. Contexto repetido merece uma avaliação própria.

Um carrossel de cobre reutiliza placas de contexto lavanda entre um arquivo verde e um pequeno terminal roxo.
Ilustração conceitual.

O que mudou

A OpenAI anunciou novos controles e diagnósticos de cache para GPT-6 em 22 de setembro. Contexto repetido merece uma avaliação própria.

Por que importa

Agentes repetem instruções, definições de ferramentas e contexto do repositório. O cache pode reduzir esse custo, mas uma taxa alta de acertos não prova que a informação continua relevante. Separe instruções estáveis do estado variável da tarefa.

O que verificar agora

Meça prefixo reutilizável, acertos observados, latência e custo por tarefa concluída antes de mudar o prompt. Altere uma variável por vez e inclua uma execução sem cache. Verifique a economia no seu ambiente.

A data do evento corresponde ao anúncio original. A data de publicação indica quando o artigo apareceu na Codorc.

Continue lendo

Todas as histórias