프롬프트 캐싱, 청구서에서 읽는 법

두 개의 열이 할인을 결정한다

캐싱은 두 가지 특수한 토큰 수로 과금됩니다. 캐시 생성 토큰: 안정적인 프롬프트 접두사의 첫 기록으로, 일반 입력가보다 약간 높은 프리미엄으로 과금됩니다. 캐시 읽기 토큰: 같은 접두사의 이후 재사용으로, 깊은 할인가로 과금됩니다——보통 차가운 입력보다 한 자릿수 낮습니다. 정확한 배수는 사업자와 모델마다 다릅니다. 공개 가격표에 없다면, 그 자체가 하나의 발견입니다.

작동 원리는 접두사 재사용입니다: 프롬프트 앞부분에 안정적으로 자리 잡은 것——시스템 프롬프트, 프로젝트 컨텍스트, 이전 대화——은 한 번만 처리되고, 이후 매 턴 값싸게 다시 읽힙니다. 할인은 쿠폰이 아닙니다. 프롬프트 앞부분이 변하지 않는다는 사실의 산술적 결과입니다.

계산할 가치가 있는 숫자: 적중률

일주일 치 실제 요청을 뽑아 한 비율을 계산하세요: 캐시 읽기 토큰 ÷ 총 입력 토큰. 절대값은 부하에 따라 다릅니다——새 대화가 잦은 사용자와 긴 세션 에이전트는 다른 자리에 놓입니다——그래서 신호는 보편 목표치가 아니라 추세입니다. 적중률이 일주일 넘게 하락한다면 보통 가격보다 상류의 무언가가 변했다는 뜻입니다: 프롬프트, 세션 형태, 또는 엔드포인트.

캐시를 조용히 죽이는 세 가지 패턴

추세가 미끄러지면, 사업자 탓하기 전에 먼저 이 셋을 찾으세요:

1. 불안정한 접두사. 프롬프트 맨 앞의 타임스탬프, 순환 지시문, 방금 편집된 시스템 프롬프트는 매 턴 캐시된 접두사를 무효화합니다——기록 프리미엄은 반복해서 내고 읽기 할인은 한 번도 못 받습니다. 프롬프트의 앞부분은 지루해야 합니다.
2. 중간의 컨텍스트 교반. 턴 사이에 거대하고 계속 변하는 도구 출력을 붙여 넣는 에이전트는 접두사를 계속 움직입니다. 교반이 어디에 있느냐에 따라 재사용은 무너집니다. 낡은 도구 출력을 정리하는 일은 정리일 뿐 아니라 캐시 결정이기도 합니다.
3. 캐시보다 짧은 세션. 캐시 수명은 짧습니다——일 단위가 아니라 분 단위입니다. 턴 사이의 긴 공백은 시계를 리셋하고, 잘게 쪼개진 세션은 기록 프리미엄을 상각할 만큼의 재읽기에 도달하지 못할 수 있습니다. 적고·길고·안정적인 세션이 캐시에 유리합니다.

감사 가능성의 질문

어떤 엔드포인트를 쓰든 세 가지 질문이 캐시 할인의 진위를 가립니다: 요청별 명세가 캐시 생성·읽기·차가운 토큰을 구분하나? 캐시 가격이 블로그 게시물이 아니라 기계 판독 가능 가격표에 있나? 적중률 추세를 볼 만한 이력을 내보낼 수 있나? 하나라도 아니오라면 그 절약은 검증 불가능한 마케팅 주장입니다——검증 안 된 할인은 어김없이 증발하는 법입니다.

워크스페이스 명세와 공개 가격 엔드포인트가 저희 서비스에서 같은 질문에 답하는 방식입니다: 모든 요청의 캐시 열, 내보내기 가능, 계산기가 읽는 것과 같은 JSON에서 나온 가격: https://teapotrouter.com/en/claude-code-cost-calculator