Введите, выводите, кэшируйте жизнь: имя на счете токенов AI.

Начнем с результатов:В этих терминах есть только два слова, которые действительно стоят вам больше: «Cacheft» и «output».Остальное – их записи.

Мне выставили счет три раза за два месяца, и это одно и то же: я думаю, что экономлю деньги, и я плачу полную цену за один и тот же префикс. Здесь вы можете ответить хотя бы на один вопрос...Зачем мне 8000 токенов на счету, если я сказал только одно слово?

Токен. Почему китайцы дороже?

Токен является наименьшим блоком для обработки текста модели. Это не слово. Это не слово.Это кусок, вырезанный семантикой.Я не знаю. В одном предложении количество разрезанных блоков может отличаться от модели к коду.

Я возьму его. o200k_base Код фактически измерял несколько групп, и разница была больше, чем ожидалось:

Текст	Количество персонажей	Номер токена	Персонаж/токен
Быстрый коричневый ящик перепрыгивает через ленивую собаку.	44	10	4.4
Быстрая коричневая лиса перепрыгнула через ленивую собаку.	15	16	0.94
Привет, мир.	5	4	1.25
CVE-2026-109618	15	8	1.88

Посмотри на проблему.В том же предложении 10 токенов на английском и 16 на китайском.4 символа на английском языкеОдно слово, один знакЯ не знаю.

Это очень недружелюбно для китайских пользователей: символ «1 токен ≈4» — это англоязычный опыт.Вы недооцените более половины этого показателя на китайском языке.

Есть противоречие:CVE-2026-109618 Это число, 15 символов сжигают 8 токенов. Числа и дефисы сокращаются очень сильно.Так что это намного дороже, чем кажется.

Два, один запрос, четыре абзаца.

Когда я впервые посмотрел на счет, он не был дорогим.Это всего одно слово, но 8000 токенов.Я не знаю. Тогда стало ясно, что больше, чем ты.

Ввод запроса обычно производится в четырех частях:

Пункт	Английское имя	Что это?	Это изменится?
Системный Hint	Система/включение	Кто вы, правила, формат вывода?	Это в основном то же самое.
Определение инструмента	Я так не думаю.	Функция JSON Схема и описание	Очень редко.
История диалога	Сообщения / История	Каждый раунд вопросов и ответов перед вами, возьмите их все.	Добавить только
Вопросы к этому раунду	Простите, сэр.	То, что ты только что назвал.	Каждый раз.

В первый раз я испугался, это было.Инструмент определяет количество 1200 токеновЯ не знаю. Функция с описанием параметров, JSON Schema расширяется, чтобы занять особое место. Ты написал 20 инструментов, ты мог съесть 2000 по определению.И вы не ввели ни слова в этой части, но это всегда заряжено.

За этим стоит ключевой момент:Первые три пункта являются "дополнительными и неизмененными", а четвертый пункт каждый раз изменяется.Это не совпадение. Он определяет, можно ли поразить кэш.

Три: вход, выход и тот, что в выходе.

Официальный калибр этих трех отношений выглядит следующим образом:

• Введите токен (токены ввода / политики)Все, что вы отправляете, содержит четыре абзаца выше.
• выходСмоделировано. Внимание...Не только текст, который вы видели.
• Токен (Resoning Tokens)Модель рассуждения — это то, что она думает, прежде чем дать ответ. Вы не можете видеть, но это...В ценах на продукциюЯ не знаю.

Третья причина, по которой многие люди удваивают свои счета. Я работаю с теоретической моделью и вижу в ответе 20 слов, а счет более 900.Этот невидимый токен 880, он там.

Поэтому нормально иметь противоречие:Чем короче ответ, тем дешевле меньше.

Цена выпуска обычно примерно в пять раз превышает входную цену (см. таблицу ниже для каждого домохозяйства). Это объясняет принцип целостности:Его можно решить с помощью ввода. Не отпускай это.Поместите шаблон ответа, пример формата, в системную подсказку (нижнюю), чтобы она не организовывалась таким образом, чтобы она стоила дорого.

Кашелин и непривлекательный: это раздел всего текста, который нужно запомнить

Что это такое?

Модели считаются промежуточными при чтении. Эта часть самая дорогая.

Быстрый кэш является префиксированным состоянием.В следующий раз, когда мы встретим тот же префикс, мы будем использовать его напрямую и больше не пересчитывать.

Итак, было два слова:

• Удар кэшаЭтот префикс был найден в кэше. Эта часть была введена и прессована.Скидка.Тарифы.
• Кэш МиссЯ не могу найти его. Просто пересчитайте цену.

Условия удара жестче, чем вы думаете.

Ключом является слово «префикс».Дело не в том, чтобы задавать один и тот же вопрос.

Я провел эксперимент: я взял подсказку системы токенов 151, изменил ее на разные места и посмотрел, насколько она может быть повторно использована.

Изменения	Многоразовый префикс	Доля
Добавить предложение в конце	150 / 151	99%
Измените слово в середине.	50 / 151	33%
Еще одно пространство в начале	0 / 151	0%
Начните со слова.	0 / 151	0%

Видишь это "еще одно пространство в начале"?Одно место, тайники, слом, пересчитанный 151 токен по первоначальным ценам.

Это не ошибка, это принцип: кэш - это состояние накопления с самого начала, первый токен меняется, а спина - все мертво.

Существует правило, которое можно применять сразу:Постоянный контент находится в передней части, а переменный — в последней.

Наиболее распространенным способом перевернуть является вставка текущего времени, запрошенного идентификатора, случайно отсортированных полей в начале подсказки системы. Это как новый тайник каждый раз.Эти поля либо перемещаются до конца, либо просто не вводятся.

Есть несколько простых для пренебрежения порогов.

• Минимальная длина.Слишком короткий префикс вообще не дает кэша. OpenAI представляет собой GPT-5.6 и более поздний токен 1,024; Anthropic разделен по модели, как в 512 / 1,024 / 2,048 / 4,096. Если это недостаточно долго, это не неправильно.Тишина.Вы можете видеть только возвращая квантовое поле.
• Есть время для выживания.OpenAI по умолчанию 30 минут (до 12 часов); Anthropic по умолчанию 5 минут, до 1 часа. И на этот раз...Начать по запросу, не считая от конца ответа - если ответ работает в течение четырех минут, 5-минутный интервал имеет только одно минутное окно.
• Мы будем ждать друг друга.Cache Entry ждет первого запросаНачать возвращатьсяТогда оно доступно. В ту же секунду было отправлено десять запросов, и все 10 были пропущены.
• Изменились модели, изменились инструменты, изменились слоты рассуждений.Префикс меняется, а скорость попадания равна нулю.

Какой процент ударов?

Не угадывай. Обе семьи дали им объемное поле:

OpenAI  : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens

Антропный, особый интуитивный:Оба вернулись 0, что означает, что они даже не добрались до тайника.- Обычно потому, что префиксы не минимальны.

Структура цен: писать больше денег, чтобы читать меньше

Кэш не бесплатный, и многие его пропустили.В первый раз, когда вы пишете в кэше, вы должны поднять цену; затем прочитайте его, прежде чем сделать скидку.

Операция	OpenAI	антропный
Нормальный вход	1x (базовая линия)	1x (базовая линия)
Кэш пишет. Короткий слот	1.25 x (30 минут)	1.25 x (5 минут)
Кэш, пишущий долгосрочно	2.5 x (12 часов)	2x (1 час)
Cache Read (категория)	0,1 х(GPT-6.1 составляет 0,05 x)	0,1 х(Частная модель 0.025 - 0.05 x)
выход	Около 5x	Около 5x

Возьмите нормальный 0,1 х читать, 1,25 х написать две книги:

• Написать один раз + повторно использовать один разКэш 1.25 + 0,1 = 1.35 x x;без кэша 1 + 1 = 2 x.Провинция 32%.
• Пишите один раз + повторяйте девять раз: Кэш 1.25 + 0.9 = 2.15 x;без кэша - 10x.Провинция 78%.

Это означает:В одном случае тайник был едва или даже немного потерян; только когда он повторялся более десяти раз, экономия была реальной.Эти "разовые временные разговоры" - просто проблема.

Кстати:Написание кэша основано на сегменте токенов, а не на номере.Сама точка останова бесплатна, и потраченные деньги зависят от того, сколько у вас на самом деле времени.

VI. Наказания, системные наказания, мин.

Эти два термина часто используются в сочетании, но они отличаются с точки зрения стоимости и полномочий.

Имя	английский	Кто это написал?	Приоритет	Плата за атрибуцию
Системный Hint	Стимпромп / институты	Платформа или разработчик приложений	самый высокий	Введите маркер
Разработчик Message	Я не уверен, что смогу это сделать.	Apply Разработчик	Более низкие (по сравнению с пользователями)	Введите маркер
Подсказка пользователя	Это наше дело.	Конечный пользователь	Меньше, чем два вышеперечисленных	Введите маркер
Помощник сообщения	Нет причин, почему ты здесь.	Модели генерируют сами себя	Я не знаю.	Output Token

Два простых момента:

• Слово «реклама» — это большое слово.В общем, это относится ко всем текстовым инструкциям, которые вы отправляете модели, и «системный подсказка» является наиболее передовой и приоритетной. Когда дело доходит до «рекламы слишком долго», реальная проблема заключается в том, что система слишком длинная, чтобы их определить.
• Роль тоже дорогая.Каждое сообщение — это один слой {"role":...,"content":...}И сам слой считается токеном. Когда будет много сообщений, это будут тысячи вещей.

Так что диалог по очистке работает - не гениально, да.Отрежьте эту часть истории.Я не знаю. Но в свою очередь важно отметить, что после прояснения исторических приставок ранее проведенного диалога не потребуется.

Семь или семь ям, на которые я наступил, скопируйте выводы.

1. Используйте слово «характер» для оценки китайского бюджета.Неправильно. Китайский язык близок к одному слову, и вы будете вдвое короче. Он готов. tiktoken Определить или оглянуться назад на использование.
2. Я думал, что меня ударят, если я задам аналогичный вопрос.Не могу. Он должен быть полностью последовательным с первого токена.
3. Вставляет временную отметку в начале подсказки системы.Это самый распространенный кэш-убийца. Двигайся до конца.
4. Дешево видеть короткие ответы.Процесс мышления модели рассуждения обходится по выходной цене, ответ 20 слов, заряд 900 токенов - это нормально.
5. Кэш для одноразового диалога.Повторное использование сэкономило только 32%, но добавило уровень сложности и затрат на отладку. Это стоит как минимум три раза.
6. Вы можете угадать скорость удара, не глядя на поле измерения.Два. cached_tokens / cache_read_input_tokens Все они вернулись с четким кодом.
7. Он также попросил использовать кэш для повышения скорости.Кэш не будет доступен до тех пор, пока не начнется первый ответ, а запросы на тот же второй в значительной степени пропущены.

VIII. Список того, что было сделано

Сегодня мы можем измениться.

• Определение системных подсказок и инструментовВсе, что меняется.Перейдите к концу сообщения.
• Инструмент ПрессФиксированный заказУстройся. Порядок изменяет префикс, префикс изменяется.
• Первый подсчет: выберите количество токенов в системе + определение инструмента. Более 2 тысяч стоит оптимизировать.

Это стоит полдня.

• Разобрать подсказку длинной системы в «последовательный + переменный сегмент», с разрывом кэша в конце постоянного сегмента.
• Беги с реальным трафиком. Запись. cached_tokens Процент от общего объема вводимых ресурсов. Менее 30% указывают на проблемы с дизайном приставок.
• Нажмите также на сторону вывода: не разрешается объяснять «только выход», цена вывода в пять раз превышает вход.

Не делай этого.

• Не пишите девять-тридцать чаевых за кэш.Кэш — это деньги, а не ясность.
• Не добавляйте к одноразовым сценариям логику тайников, которые сложнее экономии.
• Не предполагается, что кэши могут использоваться в разных моделях.Переключение моделей меняет кэши, с нулевыми попаданиями.

Наконец-то.

Эти слова доведены до конца, и они говорят только одно:Модель заряжает «сколько он читает» и «сколько он пишет», а кэш — единственный механизм, который может сбрасывать со счетов «чтение».

Так что это не совсем то, насколько прекрасен намек, не так ли?Положи кучу вещей, которые не меняются каждый раз. Пошли.Я не знаю.

Большая часть денег, которые вы не можете сэкономить, не слишком дороги. Префикс меняется каждый раз.

Я оставлю вам самое практичное действие: в следующий раз, когда я увижу ненормальный счет, не сомневайтесь в повышении цены модели. cached_tokens Эта колонка.Это не ноль, решает, платите ли вы за математику или двойную.