Introduc, iesire, cache life: numele de pe proiectul de lege AI.

Să începem cu rezultatele:Există doar două cuvinte în acești termeni care te costă mai mult: "Cacheft" și "ieșire" token.Restul sunt notiţele lor.

Am fost facturat de trei ori în două luni şi e acelaşi lucru: cred că economisesc bani şi plătesc preţul întreg pentru acelaşi prefix. Acesta este cel în care puteți răspunde la cel puțin o întrebare...De ce am 8.000 de jetoane pe factură când am spus doar un cuvânt?

I. Token. De ce este chinez mai scump?

Token este cea mai mică unitate pentru procesarea modelelor de text. Nu e un cuvânt. Nu e un cuvânt.E o bucată tăiată de semantic.Nu ştiu. În aceeași frază, numărul de blocuri tăiate poate diferi de la model la cod.

O iau eu. o200k_base Codul a măsurat de fapt mai multe grupuri și diferența a fost mai mare decât se aștepta:

Text	Numărul de caractere	Număr jeton	Caracter/Token
Cutia maro rapidă sare peste câinele leneş.	44	10	4.4
Vulpea maro rapidă a sărit peste câinele ăla leneş.	15	16	0.94
Bună, lume.	5	4	1.25
CVE-2026-109618	15	8	1.88

Vezi problema.În aceeași propoziție, 10 jetoane în engleză și 16 în chineză.Despre 4 caractere în limba englezăUn cuvânt, un semnNu ştiu.

Acest lucru este foarte neprietenos pentru utilizatorii chinezi: "1 tokenVei subestima mai mult de jumătate în chineză.

Există un contraintuitiv:CVE-2026-109618 Acest număr, 15 caractere arde 8 jetoane. Numerele şi cratimă sunt tăiate foarte rău.Deci e mult mai scump decât pare.

Două, o cerere, patru paragrafe.

Prima dată când m-am uitat la factură, nu a fost scump.E doar un cuvânt, dar 8.000 de jetoane.Nu ştiu. Apoi a devenit clar că mai mult decât ai făcut-o.

Introducerea unei cereri este de obicei făcută în patru bucăți:

Puncte	Denumire engleză	Ce este?	Se va schimba?
Sugestie de sistem	Sistem/incluziune	Cine eşti tu, regulile, formatul de ieşire?	Practic e la fel.
Definiție instrument	Nu cred.	Funcția JSON Schema și descrierea	Foarte rar.
Istoria dialogului	Mesaje / istorie	Fiecare rundă de întrebări și răspunsuri în fața ta, ia-le pe toate.	Adaugă numai
Întrebări pentru această rundă	Îmi pare rău, domnule.	Chestia pe care tocmai ai sunat-o.	De fiecare dată.

Prima dată când am fost speriat, a fost.Instrumentul definește cantitatea de 1200 jetoaneNu ştiu. O funcție cu descrierea parametrilor, JSON Schema se extinde pentru a avea loc special. Ai scris 20 de instrumente, ai putea mânca 2.000 prin definiție.Și nu ai scris un cuvânt în această parte, dar este întotdeauna încărcat.

Există un punct cheie în spatele ei:Primele trei paragrafe sunt: "A" și "A," iar al patrulea paragraf se modifică de fiecare dată.Nu e o coincidenţă. Determină dacă cache-ul poate fi lovit.

Trei: intrare, ieșire, și că unul în ieșire.

Calibru oficial al acestor trei relații este după cum urmează:

• Introduceți jetonul (input / jetoane de politică): Tot ce trimiteți prin conține cele patru paragrafe de mai sus.
• RezultatModelat. Atenţie...Nu doar textul pe care l-ai văzut.
• Token: Modelul de raționament este ceea ce crede înainte de a da răspunsul. Nu poţi vedea, dar...La prețurile de ieșireNu ştiu.

Al treilea este adevăratul motiv pentru care mulţi oameni îşi dublează facturile. Am un fel de loc de muncă cu un model teorie, și văd 20 de cuvinte în răspuns, și factura este mai mult de 900.Acel semn 880 invizibil, totul e acolo.

Deci e normal să ai o contradicţie:Cu cât răspunsul e mai scurt, cu atât e mai ieftin.

Prețul de ieșire este de obicei de aproximativ cinci ori prețul de intrare (a se vedea tabelul de mai jos pentru fiecare gospodărie). Aceasta explică un principiu de integritate:Se poate rezolva cu intrare. Nu-l lăsa să iasă.Pune șablonul de răspuns, exemplul format, în indiciu de sistem (mai jos), astfel încât să nu se organizeze în așa fel încât să fie scump.

Cachelină și neatractiv: aceasta este secțiunea întregului text care trebuie amintit

Ce sunt?

Modelele sunt considerate intermediare atunci când sunt citite. Partea asta e cea mai scumpă.

Cache-ul prompt este o stare prestabilită.Data viitoare când vom întâlni acelaşi prefix, îl vom folosi direct şi nu mai recalculăm.

Au fost două cuvinte:

• Cache hitPrefixul a fost găsit în cache. Această parte a fost introdusă şi presată.Reducere.Taxe.
• Cache missNu-l găsesc. Doar recalculează preţul.

Termenii loviturii sunt mai duri decât crezi.

Cheia este cuvântul "prefix."Nu este vorba despre a pune aceeași întrebare.

Am făcut un experiment: am luat un indiciu de sistem de 151 de jetoane, l-am schimbat în locaţii diferite, şi m-am uitat la cât de mult ar putea fi reutilizat.

Modificări	Prefix reutilizabil	Procentaj
Adaugă o frază la final	150 / 151	99%
Schimbă cuvântul din mijloc.	50 / 151	33%
Încă un loc la început.	0 / 151	0%
Începe cu un cuvânt.	0 / 151	0%

Vezi acel "încă un loc la început"?Un spaţiu, cache, casate, recalculate 151 jetoane la preţurile originale.

Nu este un bug, este principiul: Cache este starea de acumulare de la început, primul token se schimbă, și spatele este tot mort.

Deci există o regulă care poate fi aplicată imediat:Conținutul constant este în față și conținutul variabil în ultimul.

Cel mai frecvent mod de a răsturna este de a introduce timpul curent, ID-ul solicitat, sortate aleatoriu câmpuri la începutul indiciu de sistem. E ca un nou depozit de fiecare dată.Aceste câmpuri fie sunt mutate până la capăt, fie pur şi simplu nu sunt puse.

Există câteva praguri uşor de neglijat.

• Există o lungime minimă.Prea scurt un prefix nu dă cache deloc. OpenAI este GPT-5.6 și mai târziu 1,024 token; Antropic este separat de model, atât în 512 / 1,024 / 2.048 / 4.096. Dacă nu e suficient de mult, nu e greşit.Linişte., puteți vedea doar prin returnarea câmpului cuantic.
• E timp pentru supravieţuire.OpenAI implicit 30 minute (până la 12 ore); Antropic implicit 5 minute, până la 1 oră. Şi de data asta...Începe la cerere, fără a număra de la sfârșitul răspunsului -- dacă răspunsul rulează în patru minute, fanta de 5 minute are doar o fereastră de un minut.
• Ne vom aştepta unul pe altul.Cache Intrare așteaptă prima cerereÎncepe să te întorciAtunci e disponibil. Zece cereri au fost trimise în aceeași secundă, și toate 10 au fost omise.
• Modele schimbate, instrumente schimbate, sloturi de raționament modificate.Prefixul se schimbă şi rata de succes e zero.

Care este rata de succes?

Nu ghici. Ambele familii le-au dat un câmp de volum:

OpenAI  : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens

Antropic, intuitiv special:Amândoi au returnat 0, ceea ce înseamnă că nici măcar nu au ajuns la depozit.- De obicei, deoarece prefixele nu sunt minime.

V. Structura preţurilor: scrierea mai multor bani pentru a citi mai puţin

Cache nu este gratuit, și mulți au ratat.Prima dată când scrieți în cache, trebuie să ridicați prețul; apoi citiți-l înainte de a face o reducere.

Funcționare	OpenAI	Antropică
Intrare normală	1x (de referință)	1x (de referință)
Scris cache. Slot scurt	1,25 x (30 minute)	1, 25 x (5 minute)
Cache scriind pe termen lung	2, 5 x (12 ore)	2x (1 oră)
Cache Read (Categoria)	0, 1 x(GPT-6.1 este 0,05 x)	0, 1 x(model parţial 0.025 x)
Rezultat	Despre 5x	Despre 5x

Ia normal 0.1 x citește, 1,25 x scrie două cărți:

• Scrie o dată + refolosire o datăCache 1,25 + 0,1 = 1, 35 x;no cache is 1 + 1 = 2 x.Provincia 32 la sută.
• Scrie o dată + repetă de nouă ori: Cache 1,25 + 0,9 = 2, 15 x;not cache is 10x.Provincia 78%.

Aceasta înseamnă:Într-un caz, cache-ul a fost abia sau chiar ușor pierdut; a fost doar atunci când a fost repetat mai mult de zece ori că economiile au fost reale.Aceste "conversații temporare o singură dată" sunt doar o problemă.

Apropo:Cache scriere se bazează pe segmentul jeton, nu după număr.Punctul culminant în sine este gratuit, iar banii cheltuiți depind de cât timp ai de fapt.

VI. Pedeapse, pedepse în sistem, min.

Cei doi termeni sunt adesea utilizaţi în combinaţie, dar sunt diferiţi în ceea ce priveşte costurile şi autoritatea.

Nume	Engleză	Cine l-a scris?	Prioritate	Atribuirea taxei
Sugestie de sistem	Stymprompt / instituţii	Platformer sau dezvoltator de aplicații	Cel mai înalt	Introduceți jetonul
Mesajul dezvoltatorului	Nu sunt sigur că voi putea face asta.	Aplică dezvoltator	Mai mici (peste utilizatori)	Introduceți jetonul
Indiciu utilizator	E treaba noastră.	Utilizator final	Mai puţin decât cele două de mai sus	Introduceți jetonul
Mesaj asistent	Nu e niciun motiv pentru care eşti aici.	Modelele se generează singure	Nu ştiu.	Token de ieșire

Două puncte simple:

• Cuvântul "publicitate" este un cuvânt mare.Se referă în general la toate instrucțiunile de text pe care le trimite la model, iar "aluzie sistemică" este cel care este cel mai înainte și cea mai mare prioritate. Când vine vorba de "publicităţi sunt prea lungi," problema reală este adesea că sistemul este prea lung pentru a le defini.
• Rolul este, de asemenea, scump.Fiecare mesaj este un strat {"role":...,"content":...}Iar stratul în sine contează ca simbol. Când vor fi multe mesaje, vor fi mii de lucruri.

Deci dialogul de curăţenie funcţionează, nu genial, da.Taie acea parte a istoriei.Nu ştiu. Dar, la rândul său, este important să se observe că, după ce se clarifică, nu vor mai fi necesare prefixele istorice ale dialogului anterior.

Şapte sau şapte gropi pe care am călcat, copiaţi concluziile.

1. Utilizați cuvântul "personaj" pentru a estima bugetul chinez.Greşit. Chinezii sunt aproape de un cuvânt, iar tu vei fi de două ori mai scund. E gata. tiktoken Definirea, sau uita la utilizarea înapoi.
2. M-am gândit să fiu lovit dacă pun o întrebare similară.Nu pot. Trebuie să fie complet consistent de la primul jeton.
3. Introduce un timbru temporal la începutul sistemului.Acesta este cel mai comun ucigaș cache. Treceţi la capăt.
4. E ieftin să vezi răspunsuri scurte.Procesul de gândire al modelului raţional este costat la preţul de ieşire, răspunde 20 de cuvinte, taxa 900 token este normal.
5. Cache pentru dialog o singură dată.Refolosirea a salvat doar 32%, dar a adăugat un strat de complexitate și costuri de depanare. Merită cel puţin de trei ori.
6. Puteți ghici rata de lovire fără a se uita la un câmp de măsurare.Doi. cached_tokens / cache_read_input_tokens Toţi s-au întors cu un cod clar.
7. De asemenea, el a cerut să folosească cache pentru a stimula viteza.Cache-ul nu va fi disponibil până la începerea primului răspuns, iar cererile pentru aceeași secundă sunt în mare măsură omise.

VIII. O listă cu ce s-a făcut

Ne putem schimba azi.

• Definește indiciile și instrumentele sistemuluiTot ce se schimbă.Treceţi la sfârşitul mesajului.
• Tool PressOrdine fixăAranjează. Ordinul schimbă prefixul, prefixul se schimbă.
• Prima numărătoare: Tastați numărul de jetoane din sistem + definiția uneltelor. Mai mult de 2.000 merită optimizat.

Valorează o jumătate de zi.

• Demontaţi un indiciu de sistem lung într-un "segment consistent + variabil" , cu o pauză cache la sfârşitul segmentului constant.
• Alerga rotund cu trafic real. Înregistrează. cached_tokens Procentajul total de intrări. Mai puțin de 30% indică probleme de proiectare prefix.
• Apăsați și partea de ieșire: "numai ieșire" nu este permis să explice, prețul de ieșire este de cinci ori mai mare decât intrarea.

N-o face.

• Nu scrie un pont de 9:30 pentru cache.Cache sunt bani, nu claritate.
• Nu adăugați la scripturi one-off logica caches, care sunt mai complicate decât economiile.
• Nu se presupune că caches pot fi utilizate la diferite modele.Schimbarea modelelor schimbă caches, cu zero hit-uri.

În sfârşit.

Aceste cuvinte sunt luate până la sfârşit şi spun un singur lucru:Modelul taxează "cât de mult citește în" și "cât de mult scrie," iar cache-ul este singurul mecanism care poate reduce "citi."

Deci, nu este exact cât de frumos indiciu este, nu?Pune grămada aia de lucruri care nu se schimbă de fiecare dată. Să mergem.Nu ştiu.

Majoritatea banilor pe care nu-i poţi economisi nu sunt prea scumpi. Prefixul tău se schimbă de fiecare dată.

Vă las cu cea mai practică acţiune: data viitoare când văd o factură anormală, nu vă îndoiţi de creşterea preţului modelului. cached_tokens Coloana aia.Nu e zero, decide dacă plăteşti pentru matematică sau dublu.