입력, 출력, 캐시 수명: AI 토큰 청구서의 이름.

결과를 시작합시다:이 용어의 두 단어는 정말 더 많은 비용: "Cacheft" 과 "output" 토큰.나머지는 그들의 노트입니다.

나는 2 개월에 3 번 청구되었으며 같은 일입니다. 나는 돈을 절약하고, 나는 동일한 접두사에 대한 전체 가격을 지불하고 있다고 생각합니다. 이것은 당신이 적어도 하나의 질문에 대답 할 수있는 곳입니다 ...왜 나는 단지 하나의 단어라고 말할 때 청구서에 8,000 토큰이 있습니까?

I. 토큰. 왜 중국이 더 비싼가요?

Token은 모델 텍스트 처리를위한 가장 작은 단위입니다. 그것은 단어가 아닙니다. 그것은 단어가 아닙니다.그것은 semantic에 의해 절단 조각입니다.나는 모른다. 같은 문장에서, 블록 컷의 수는 모델과 다릅니다.

나는 그것을 가지고. o200k_base 코드는 실제로 여러 그룹을 측정하고 차이점은 예상보다 크다 :

이름 *	문자 수	토큰 번호	문자/토큰
빠른 갈색 상자는 게으른 개를 뛰어 넘습니다.	44	10	4.4
빠른 갈색 여우는 게으른 개를 뛰어 넘었습니다.	15	16	0.94
안녕하세요, 세계.	5	4	1.25
모델 번호: CVE-2026-109618	15	8	1.88

자주 묻는 질문같은 문장에서, 10 영어의 토큰과 16 중국어.한국어 4자한 단어, 하나의 토큰나는 모른다.

이것은 중국어 사용자에게 매우 친숙합니다. "1 토큰 ≈4 캐릭터"는 영어 경험입니다.당신은 중국어에 그것의 절반 이상 기초를 두어.

구속력이 있다:CVE-2026-109618 이 수, 15 문자는 8 토큰을 태울. 번호와 hyphens는 아주 나쁘게 삭감됩니다.그래서 그것은보다 훨씬 비싸다.

2개의 1개의 요구, 4개의 단락.

처음에는 청구서에서 보면 비싸지 않았습니다.하나의 단어이지만 8,000 토큰입니다.나는 모른다. 그런 다음 너희보다 더 분명해졌다.

요청의 입력은 일반적으로 4 개에서 이루어집니다.

관련 기사	한국어 이름	그것은 무엇입니까?	변경할 수 있습니까?
시스템 힌트	시스템 / 포함	누가, 규칙, 출력 형식?	기본적으로 동일합니다.
공구 정의	나는 생각하지 않는다.	기능 JSON Schema 및 설명	아주 드물게.
대화의 역사	메시지 / 역사	당신 앞에 질문과 대답의 각 둥근은, 그들 모두를 가지고 갑니다.	더 보기
이 라운드에 대한 질문	미안 해요, 사이.	그냥 호출.	모든 시간.

처음으로 나는 무서웠다.도구는 1,200 토큰의 금액을 정의나는 모른다. 매개 변수 설명 기능, JSON Schema 특별한 장소를 취할 확장. 당신은 20 도구를 썼습니다. 정의로 2,000을 먹을 수 있습니다.그리고 당신은이 부분에 단어를 입력하지 않았다, 하지만 그것은 항상 충전.

뒤에 중요한 점이 있습니다:첫 번째 세 단락은 "추가 및 비 수정"과 네 번째 단락은 각각 변경됩니다.그것은 유죄가 아닙니다. 캐시가 히트 할 수 있는지 결정합니다.

3: 입력, 산출 및 산출에서 그 것.

이 세 가지 관계의 공식 구경은 다음과 같습니다.

토큰을 입력 (입력 / 정책 토큰): 위의 4개의 단락이 들어있는 모든 것.
제품정보: 모델링. 주의사항당신이 본 텍스트는 아닙니다.
토큰 (resoning 토큰): 이유 모델은 대답을주는 전에 생각하는 것입니다. 볼 수 없지만 ...산출 가격에서나는 모른다.

세 번째는 많은 사람들이 청구서를 두 배로하는 실제 이유입니다. 나는 이론 모델과 작업의 종류를 실행하고, 나는 대답에서 20 단어를보고, 법안은 900 이상이다.즉 880 보이지 않는 토큰은 모두 있습니다.

그래서 그것은 금전을 가지고 정상:더 짧은 대답, 더 싼.

산출 가격은 보통 대략 5배 입력 가격입니다 (각 가구를 위해 아래 테이블을 보십시오). 이것은 무결성의 원리를 설명합니다:그것은 입력으로 해결될 수 있습니다. 하지 마세요.응답 템플릿을 넣어, 형식 예제, 시스템 힌트 (lower)에서, 그래서 그것은 비싼 그런 방법으로 자체를 구성하지 않습니다.

Cacheline 및 unattractive: 이것은 기억되어야 하는 전체적인 원본의 단면도입니다

그들은 무엇입니까?

모델은 읽을 때 중간으로 계산됩니다. 이 부분은 가장 비싸다.

Prompt 캐시는 접두사 상태입니다.다음 시간 우리는 동일한 접두사를 만나고, 우리는 그것을 직접 사용하고 더 이상 recalculate 사용하지 않을 것입니다.

그래서 두 단어가 있었다:

캐시 히트: 이 접두사는 캐시에서 발견되었습니다. 이 부분은 입력되고 눌러졌습니다.할인.수수료.
캐시미어: 찾을 수 없습니다. 그냥 가격을 계산합니다.

히트의 용어는 당신이 생각보다 단단합니다.

키는 "prefix"라는 단어입니다.같은 질문을 묻지 않습니다.

나는 실험을했다 : 나는 151 토큰 시스템 힌트를했다, 다른 위치에 변경, 그리고 얼마나 많이 재사용 될 수.

기타	재사용 가능한 접두사	관련 제품
끝에서 문장을 추가	150 / 151	99%
중간에 단어를 변경합니다.	50 / 151	33%
처음에는 더 많은 공간	0 / 151	0%
단어로 시작.	0 / 151	0%

"시작에 더 많은 공간을 참조하십시오"?한 공간, 캐시, 스크랩, 원래 가격에 151 토큰을 재 계산.

그것은 버그가 아닙니다, 그것은 원칙이다: 캐시는 시작에서 축적의 상태, 첫 번째 토큰 변경, 그리고 뒷면은 모두 죽은.

그래서 즉시 적용 할 수있는 규칙이 있습니다 :일정한 내용은 앞에 있고 마지막에 있는 변수 내용입니다.

플립의 가장 일반적인 방법은 현재 시간을 삽입하는 것입니다, 요청된 ID, 무작위로 시스템 힌트의 시작 부분에 필드를 정렬. 그것은 새로운 캐시를 매번 좋아합니다.이 필드는 끝으로 이동하거나 단순히 넣어.

easy-to-neglect 임계 값이 있습니다.

최소 길이가 있습니다.너무 짧은 접두사는 전혀 캐시를 제공하지 않습니다. OpenAI는 GPT-5.6 이상 1,024 토큰입니다. Anthropic은 512 / 1,024 / 2,048 / 4,096에서 모두 모델로 분리됩니다. 그것은 충분히 길지 않다면, 그것은 잘못되지 않습니다.소음.quantum 필드를 돌려서만 볼 수 있습니다.
생존 시간OpenAI 기본 30 분 (12 시간까지); Anthropic 기본 5 분, 최대 1 시간. 그리고이 시간 ...자주 묻는 질문대답의 끝에서 계산하지 않는 -- 대답은 4 분에서 실행되는 경우에, 5 분 구멍은 1 분 창만 있습니다.
우리는 서로를 기다리고 있습니다.Cache Entry는 첫 번째 요청을 기다립니다.반환하기그런 다음 사용할 수 있습니다. 10개의 요청은 동일한 두 번째로 보내졌고, 모든 10은 놓쳤다.
변경된 모델, 변경된 도구, 변경된 이유 슬롯.접두사 변화와 명중율은 0입니다.

히트 비율은 무엇입니까?

생각하지 마세요. 두 가족 모두 볼륨 필드를 준:

OpenAI  : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens

Anthropic, 특별한 직관적 인:두 반환 0, 그들은 캐시에 도달하지 않았다.- 일반적으로 접두사는 최소한이 아닙니다.

V. 가격 구조: 더 적은을 읽는 더 많은 돈을 쓰기

캐시는 무료입니다, 그리고 많은 그것을 놓았다.캐시에 쓰는 첫 번째 시간, 당신은 가격을 인상해야; 다음 할인을 만들기 전에 그것을 읽으십시오.

- 연혁	오시는 길	인기 카테고리
일반 입력	1x (기초)	1x (기초)
캐시 쓰기. 연락처	1.25 x (30 분)	1.25 x (5 분)
Cache 쓰기 장기	2.5 x (12시간)	2x (1 시간)
캐시 읽기 (Category)	0.1 엑스(GPT-6.1는 0.05 x입니다)	0.1 엑스(부분 모델 0.025 - 0.05 x)
제품정보	5x에 관하여	5x에 관하여

정상적인 0.1 x 읽기를 가지고, 1.25 x는 두 책을 씁니다:

한 번 쓰기 + 한 번 재사용캐시 1.25 + 0.1 = 1.35 엑스; 캐시는 1 + 1 = 2 x입니다.지방 32 퍼센트.
한 번 쓰기 + 9 번 반복: 캐시 1.25 + 0.9 = 2.15 엑스; 시렁은 10x입니다.지방 78 퍼센트.

이 수단:한 경우, 캐시는 크게 또는 약간 잃었다; 그것은 단지 10 배 이상 반복했을 때 저축이 사실이었다."1회 임시 대화"는 문제입니다.

방법 :Cache 작성은 토큰 세그먼트를 기반으로합니다.breakpoint 자체는 무료이며, 돈은 실제로 얼마나 오랫동안 의존합니다.

VI. PUNISHMENTS, 시스템 PUNISHMENTS, 분

두 가지 용어는 종종 intermingled를 사용하지만, 그들은 비용 및 권위의 관점에서 다릅니다.

이름 *	한국어	누가 그것을 썼습니까?	회사연혁	수수료 면제
시스템 힌트	Stymprompt / 기관	Platformr 또는 Application 개발자	가장 핫한	토큰 구매
개발자 메시지	나는 그것을 할 수있을거야.	앱 다운로드	더 낮은 (사용자 이상)	토큰 구매
사용자 hint	우리의 사업입니다.	종료 사용자	위의 두 미만	토큰 구매
보조 메시지	왜 이런 이유가 없습니다.	모델 자체 생성	나는 모른다.	산출 토큰

2개의 쉬운 점:

단어 "광고"는 큰 단어입니다.그것은 당신이 모델에 보낼 모든 텍스트 지침에 일반적으로 의미, 그리고 "시스템 힌트" 가장 앞으로 가장 높은 우선 순위입니다. "광고가 너무 길다"에 관해서, 실제 문제는 종종 시스템이 너무 길다.
역할도 비쌉니다.각 메시지는 1개의 층입니다 {"role":...,"content":...}그리고 층 자체는 토큰으로 계산합니다. 많은 메시지가있을 때 수천 가지가 있습니다.

그래서 정리 대화는 작동 -- genius, 예.역사의 일부를 잘라.나는 모른다. 그러나 차례로, 그것은 명확하게 한 후, 이전에 열린 대화의 역사적인 접두사는 필요하지 않습니다.

7 개 또는 7 개의 pits 나는 단계로, 결론을 복사합니다.

중국 예산을 추정하기 위해 "character"라는 단어를 사용합니다.잘못된. 중국어는 한 단어에 가까운, 당신은 짧은 두 번 될 것입니다. 그것은 준비되어 있습니다. tiktoken 정의, 또는 사용에서 다시 찾고.
나는 내가 비슷한 질문을했다면 히트를 얻었다.할 수 없습니다. 첫 번째 토큰에서 완전히 일관성 있어야합니다.
시스템 힌트의 시작 부분에 타임 스탬프를 삽입합니다.이것은 가장 일반적인 캐시 살인자입니다. 끝으로 이동합니다.
짧은 답변을 볼 수 있습니다.모델의 사고 과정은 출력 가격, 대답 20 단어, 충전 900 토큰은 정상입니다.
한 번의 대화를 위한 캐시.재사용 만 32 %를 저장했지만 복잡성과 디버깅 비용을 추가했습니다. 적어도 세 번 가치가 있습니다.
측정 필드를 찾고없이 히트 비율을 추측 할 수 있습니다.두. cached_tokens / cache_read_input_tokens 그들은 모두 깨끗한 코드에 반환.
그는 또한 캐시를 사용하여 속도를 높일 수 있습니다.캐시는 첫번째 응답이 시작될 때까지 유효하지 않으며, 동일한 두번째를 위한 요구는 크게 놓습니다.

사이트맵 수행 된 것의 목록

오늘 변경할 수 있습니다.

시스템 힌트 및 도구 정의모든 것의 변화.메시지의 끝으로 이동합니다.
툴 프레스고정 주문한국어 주문은 접두사, 접두사 변경을 변경합니다.
첫번째 조사: 체계 + 공구 정의에 있는 토큰의 수를 타자를 치십시오. 2,000명 이상의 선택이 가능합니다.

하루 반 가치가 있습니다.

긴 시스템 힌트를 "consistent + 변수 세그먼트"로 분해, 일정한 세그먼트의 끝에 캐시 틈.
실제 트래픽으로 라운드를 실행합니다. 이름 * cached_tokens 총 입력의 백분율. 30% 미만은 접두사 디자인 문제를 나타냅니다.
출력 측면을 눌러 : "출력 만"은 설명 할 수 없습니다, 출력 가격은 입력 5 배입니다.

하지 마세요.

캐시에 대한 9 번째 팁을 작성하지 마십시오.캐시는 돈, 명확하지 않습니다.
One-off 스크립트에 추가하지 마십시오. 캐시의 논리, 이는 저축보다 더 복잡하다.
그것은 캐시가 다른 모델에 따라 사용될 수 있음을 가정하지 않습니다.전환 모델은 캐시를 변경하고, 0 개의 조회.

마지막으로.

이 말은 끝으로 찍고, 그들은 단지 하나의 일을 말한다 :모델은 "어떻게 그것을 읽습니다"및 "어떻게 쓰고,"그리고 캐시는 "읽을 수있는 유일한 메커니즘입니다."

그래서 그것은 정확히 얼마나 아름다운 힌트는, 그것은?모든 시간을 변경하지 않는 것들의 더미를 넣어. 오시는 길나는 모른다.

당신이 저장할 수없는 돈의 대부분은 너무 비싸지 않습니다. 당신의 접두사는 매번 변화합니다.

나는 가장 실용적인 행동으로 당신을 떠날 것이다 : 다음 시간 나는 이상한 청구서를보고, 모델의 가격 증가를 의심하지 않습니다. cached_tokens 그 열.0이 아닙니다. 수학 또는 두 배로 지불하는지 결정합니다.