Prompt caching, lido da sua fatura
Como auditar o que o prompt caching economiza: as duas colunas de cache em cada requisição, uma taxa de acerto que você mesmo calcula e os três padrões que matam sua economia em silêncio.
Prompt caching é vendido como desconto. Sua fatura é onde esse desconto é provado ou silenciosamente perdido. A maioria das explicações para no mecanismo; este post ensina a ler os seus próprios números — porque uma economia que você não consegue verificar é apenas um número menor em que continua confiando.
Transparência desde o início: eu opero o Teapot Router, um gateway de API cujo workspace mostra custo por requisição, tokens e colunas de cache, com exportação. O método de auditoria abaixo funciona em qualquer endpoint que exponha os mesmos números.
Duas colunas decidem seu desconto
O caching cobra em duas contagens especiais de tokens. Tokens de criação de cache: a primeira escrita de um prefixo estável de prompt, cobrada com um prêmio modesto sobre o preço normal de entrada. Tokens de leitura de cache: os reusos posteriores desse mesmo prefixo, cobrados com desconto profundo — comumente uma ordem de grandeza abaixo da entrada fria. Os múltiplos exatos variam por provedor e modelo; se não estão na lista de preços publicada, isso já é um achado.
O mecanismo é reuso de prefixo: o que fica estável no começo do seu prompt — system prompt, contexto do projeto, a conversa anterior — é processado uma vez e depois relido barato a cada turno seguinte. O desconto não é cupom. É a consequência aritmética de o começo do seu prompt não mudar.
O número que vale computar: a taxa de acerto
Puxe uma semana de requisições reais e calcule uma razão: tokens de leitura de cache sobre tokens totais de entrada. O valor absoluto depende da sua carga — um usuário de chats sempre novos e um agente de sessão longa pousam em lugares diferentes — então o sinal é a tendência, não uma meta universal. Uma taxa que desliza para baixo ao longo da semana geralmente significa que algo a montante do preço mudou: seus prompts, o formato das suas sessões ou o seu endpoint.
Três padrões que matam seu cache em silêncio
Quando a tendência desliza, procure um destes três antes de culpar o provedor:
- Prefixo instável. Um timestamp, uma instrução rotativa ou um system prompt recém-editado bem na frente invalida o prefixo cacheado a cada turno — você repaga o prêmio de escrita e nunca recebe uma leitura. A frente do prompt precisa ser entediante.
- Churn de contexto no meio. Agentes que colam saídas de ferramenta gigantes e sempre mudando entre turnos mantêm o prefixo em movimento; dependendo de onde o churn se senta, o reuso desmorona. Limpar saída velha de ferramenta é uma decisão de cache tanto quanto de arrumação.
- Sessões mais curtas que o cache. Caches duram pouco — minutos, não dias. Intervalos longos entre turnos zeram o relógio, e uma sessão picotada em várias pequenas talvez nunca releia o bastante para amortizar o prêmio de escrita. Sessões menos numerosas, mais longas e mais estáveis cacheiam melhor.
A pergunta da auditabilidade
Seja qual for o endpoint, três perguntas decidem se o desconto de cache é real para você: o livro-razão por requisição separa criação de cache, leitura de cache e tokens frios? Os preços de cache estão na lista legível por máquina, não só num post de blog? Dá para exportar histórico suficiente para ver a tendência da taxa de acerto? Se qualquer resposta for não, a economia é uma alegação de marketing que você não pode verificar — e descontos não verificados têm um jeito de evaporar.
O livro-razão do workspace e o endpoint público de preços são como respondemos essas perguntas no nosso próprio serviço: colunas de cache de cada requisição, exportáveis, precificadas do mesmo JSON que a calculadora lê: https://teapotrouter.com/en/claude-code-cost-calculator
Prompt caching não é um recurso que você ativa; é um comportamento que você mede. Leia as duas colunas, calcule a taxa de acerto, vigie a tendência e conserte o prefixo antes de sair caçando tarifa melhor. Um provedor que mostra as colunas deixa você conferir o trabalho dele — um que não mostra está pedindo que você dê nota ao seu próprio desconto de olhos fechados.
Perguntas frequentes
Prompt caching sempre economiza dinheiro?
Não. Escritas de cache carregam um prêmio sobre o preço normal de entrada, então um prefixo usado uma única vez custa um pouco mais. A economia vem de prefixos estáveis relidos muitas vezes — sessões longas, system prompts grandes e estáticos, documentos reutilizados.
Como computo minha taxa de acerto de cache?
A partir do livro-razão por requisição: tokens de leitura de cache divididos por tokens totais de entrada numa semana de trabalho real. Julgue a tendência, não uma requisição — uma taxa em queda aponta para mudanças de prompt ou sessão antes de apontar para o preço.
Por que minha economia com caching sumiu?
Geralmente um de três: o prefixo parou de ser estável (edições ou conteúdo volátil na frente), os intervalos ociosos ficaram maiores que a vida útil do cache, ou o endpoint mudou a contabilização — o que só dá para ver se o livro-razão separa as colunas.