Syötä, lähde, välimuistin elämä: nimi tekoälyssä.

Aloitetaan tuloksista:On vain kaksi sanaa, jotka todella maksavat sinulle enemmän: "Cacheft" ja "tuotos" token.Loput ovat heidän muistiinpanojaan.

Minua on laskutettu kolmesti kahdessa kuukaudessa, ja se on sama asia. Tässä voit vastata ainakin yhteen kysymykseen.Miksi laskussa on 8000 kuponkia, kun olen sanonut vain yhden sanan?

Minä... Token. Miksi kiinalaiset ovat kalliimpia?

Token on pienin mallitekstinkäsittelyyksikkö. Se ei ole sana. Se ei ole sana.Semanttinen pala.En tiedä. Samassa lauseessa lohkojen lukumäärä voi vaihdella mallista koodiin.

Minä otan sen. o200k_base Koodi mittasi useita ryhmiä ja ero oli odotettua suurempi:

Teksti	Merkkien lukumäärä	Token-numero	Merkki
Nopea ruskea laatikko hyppää laiska koira.	44	10	4.4
Nopea ruskea kettu hyppäsi sen laiskan koiran yli.	15	16	0.94
Hei, maailma.	5	4	1.25
CVE-2026-109618	15	8	1.88

Näetkö ongelman?Samassa lauseessa 10 kuponkia englanniksi ja 16 kiinaksi.Noin 4 merkkiä englanniksiYksi sana, yksi merkkiEn tiedä.

Tämä on erittäin epäystävällinen kiinalaisille käyttäjille: "1 tokenAliarvioit yli puolet siitä kiinaksi.

Siinä on vastakohta:CVE-2026-109618 Tämä numero, 15 merkkiä polttaa 8 kuponkia. Numerot ja väliviivat on leikattu pahasti.Se on paljon kalliimpaa kuin miltä näyttää.

Kaksi, yksi pyyntö, neljä kohtaa.

Kun katsoin laskua ensimmäisen kerran, se ei ollut kallis.Se on vain yksi sana, mutta 8 000.En tiedä. Sitten kävi selväksi, että enemmän kuin sinä.

Pyynnön sisältö tehdään yleensä neljänä kappaleena:

Kohdat	Englanninkielinen nimi	Mitä nyt?	Muuttuuko se?
Järjestelmävihje	Järjestelmä / sisällyttäminen	Kuka sinä olet, säännöt, tulostusmuoto?	Se on periaatteessa sama asia.
Työkalun määritelmä	Enpä usko.	Funktio JSON Schema ja kuvaus	Hyvin harvoin.
Vuoropuhelun historia	Viestit / historia	Jokainen kierros kysymyksiä ja vastauksia ennen sinua, ota ne kaikki.	Lisää vain
Tämän kierroksen kysymykset	Olen pahoillani.	Se, mitä juuri soitit.	Joka kerta.

Ensimmäisellä kerralla minua pelotti.Työkalu määrittää määrän 1,200 rahakkeitaEn tiedä. Toiminto parametri kuvaus, JSON Schema laajenee ottaa erityinen paikka. Kirjoitit 20 työkalua, joten voit syödä 2000.Et kirjoittanut sanaakaan tässä osassa, mutta se on aina ladattu.

Sen takana on avainkohta:Ensimmäiset kolme kohtaa ovat täydentäviä ja muuttamattomia.Se ei ole sattumaa. Se päättää, voiko välimuistiin osua.

Kolme: syöte, tuloste ja tuo.

Näiden kolmen suhteen virallinen jakauma on seuraava:

• Syötä polete (syöte / vakuutuksen tunnisteet): Kaikki lähetät läpi sisältää neljä kappaletta edellä.
• Tulos- Mallinnettu. Huomio.Et vain näkemääsi viestiä.
• Token (korvaavat kuponkia): Perustelumalli on mitä se ajattelee ennen kuin se antaa vastauksen. Et näe, mutta se...TuotantohintaanEn tiedä.

Kolmas on todellinen syy, miksi monet ihmiset kaksinkertaistavat laskunsa. Minulla on teoriamalli ja näen 20 sanaa ja lasku on yli 900.Se 880 näkymätön merkki on siinä.

Joten on normaalia olla ristiriitainen:Mitä lyhyempi vastaus, sitä halvempi.

Tuotantohinta on yleensä noin viisinkertainen panoshintaan verrattuna (ks. alla oleva taulukko kunkin kotitalouden osalta). Tämä selittää rehellisyyden periaatteen:Se voidaan ratkaista syöttämällä. Älä päästä sitä ulos.Laita vastaus malli, muoto esimerkki, järjestelmän vihje (alempi), niin että se ei järjestä itseään niin, että se on kallista.

Välimuisti ja epämiellyttävä: tämä on koko tekstin osa, joka on muistettava

Mitä ne ovat?

Mallit lasketaan väliaineiksi, kun niitä luetaan. Tämä osa on kallein.

Välimuisti on ennalta määrätty tila.Ensi kerralla kun tapaamme saman etuliitteen, käytämme sitä suoraan emmekä enää laske uudelleen.

Oli siis kaksi sanaa:

• Välimuistin osumaTämä etuliite löytyi kätköstä. Tämä osa syötettiin ja painettiin.Alennuksen.Maksut.
• Välimuisti ohiEn löydä sitä. Laske hinta uudelleen.

Iskun ehdot ovat kovemmat kuin luulet.

Avain on sana "etuliite."Kyse ei ole samasta kysymyksestä.

Tein kokeen: otin 151 token järjestelmän vihjeen, muutin sen eri paikkoihin, ja katsoin kuinka paljon se voitaisiin käyttää uudelleen.

Muutokset	Uudelleen käytettävä etuliite	Prosenttiosuus
Lisätään loppuun virke.	150 / 151	99%
Vaihda sanaa keskellä.	50 / 151	33%
Vielä yksi tila alussa	0 / 151	0%
Aloita sanalla.	0 / 151	0%

Näetkö tuon "yhden tilan alussa"?Yksi tila, välimuistit, romutettu, uudelleen laskettu 151 rahakkeita alkuperäiseen hintaan.

Se ei ole bugi, se on periaate: Cache on tilan kertyminen alusta alkaen, ensimmäinen symboli muuttuu, ja selkä on kaikki kuollut.

On siis olemassa sääntö, jota voidaan soveltaa välittömästi:Vakiosisältö on edessä ja muuttuva sisältö viimeisessä.

Yleisin tapa kääntää on lisätä nykyinen aika, pyydetty ID, satunnaisesti lajitellut kentät alussa järjestelmän vihje. Se on kuin uusi kätkö joka kerta.Nämä kentät joko siirretään loppuun tai yksinkertaisesti jätetään pois.

On olemassa pari helppoa kynnystä.

• Siinä on minimipituus.Liian lyhyt etuliite ei anna kätköä lainkaan. OpenAI on GPT-5.6 ja myöhemmin 1 024 token; Anthropic on erotettu mallin mukaan, sekä 512 / 1 024 / 2 048 / 4 096. Jos se ei ole tarpeeksi pitkä, se ei ole väärin.Hiljaa.Näet vain palauttamalla kvanttikentän.
• On aikaa selviytyä.OpenAI oletus 30 minuuttia (enintään 12 tuntia); Anthropic oletus 5 minuuttia, enintään 1 tunti. Ja tällä kertaa...Aloita pyynnöstä, ei lasketa lopussa vastaus -- jos vastaus toimii neljä minuuttia, 5 minuutin lähtö on vain minuutin ikkuna.
• Odotamme toisiamme.Cache Entry Odotukset ensimmäistä pyyntöä vartenAloita palaaminenSitten se on vapaana. Kymmenen pyyntöä lähetettiin samassa sekunnissa, ja kaikki kymmenen jäivät.
• Muuttunut malleja, muutettu työkaluja, muuttunut päättely lähtö.Etuliite muuttuu ja osumanopeus on nolla.

Mikä on hittien määrä?

Älä arvaa. Molemmat perheet antoivat heille tilavuus kentän:

OpenAI  : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens

Anthropic, erityinen intuitiivinen:He eivät päässeet edes kätkölle.- Yleensä koska etuliitteet eivät ole minimaalisia.

V Hintarakenne: kirjoittaa enemmän rahaa lukea vähemmän

Cache ei ole vapaa, ja monet ovat missanneet sen.Ensimmäisen kerran kirjoitat kätkössä, sinun täytyy nostaa hintaa; sitten lukea se ennen alennusta.

Toiminta	OpenAI	Antropic
Normaali syöttö	1x (perustaso)	1x (perustaso)
Välimuistin kirjoittaminen. Lyhyt aikaväli	1,25 x (30 minuuttia)	1, 25 x (5 minuuttia)
Välimuistin kirjoittaminen pitkällä aikavälillä	2, 5 x (12 h)	2x (1 tunti)
Välimuistin luku (luokka)	0, 1 x(GPT-6.1 on 0,05 x)	0, 1 x(Osa malli 0.025 .05 x)
Tulos	Noin 5x	Noin 5x

Ota normaali 0.1 x lukea, 1.25 x kirjoittaa kaksi kirjaa:

• Kirjoita kerran + uudelleenkäyttö kerranVälimuisti 1,25 + 0,1 = 1, 35 x; ei välimuistia 1 + 1 = 2 x.Maakunta 32 prosenttia.
• Kirjoita kerran + toista yhdeksän kertaa: Välimuisti 1,25 + 0,9 = 2.15 x- Ei välimuistia.Maakunta 78 prosenttia.

Tämä tarkoittaa:Yhdessä tapauksessa välimuisti oli hädin tuskin tai jopa hieman hukassa; säästöt olivat todellisia vasta silloin, kun säästöt toistettiin yli kymmenen kertaa.Ne väliaikaiset keskustelut ovat vain ongelma.

Muuten:Välimuistin kirjoittaminen perustuu token segmenttiin, ei numeroon.Murtopiste on vapaa, ja käytetyt rahat riippuvat siitä, kuinka kauan sinulla on.

VI. MAKSUT, JÄRJESTELMÄPUNISMAKSUT, min

Näitä kahta termiä käytetään usein eri tavoin, mutta ne ovat erilaisia kustannusten ja auktoriteetin osalta.

Nimi	englanti	Kuka sen kirjoitti?	Painopiste	Maksun myöntäminen
Järjestelmävihje	Stympt / laitokset	Alusta tai sovelluksen kehittäjä	Korkein	Anna merkki
Kehittäjän viesti	En tiedä, pystynkö siihen.	Käytä kehittäjää	Alempi (yli käyttäjien)	Anna merkki
Käyttäjän vihje	Se on meidän asiamme.	Loppukäyttäjä	Alle kaksi edellä mainittua	Anna merkki
Apuviesti	Miksi olet täällä?	Mallit tuottavat itse	En tiedä.	Tuloste

Kaksi helppoa asiaa:

• Sana "mainos" on iso sana.Se viittaa yleisesti kaikkiin malliin lähettämiisi tekstiohjeisiin, ja "järjestelmällinen vihje" on se, joka on kaikkein eturivin ja kaikkein tärkein. Kun kyseessä on "mainokset ovat liian pitkiä," todellinen ongelma on usein se, että järjestelmä on liian pitkä niiden määrittelemiseksi.
• Rooli on myös kallis.Jokainen viesti on yksi kerros {"role":...,"content":...}Ja kerros itsessään lasketaan symboliksi. Kun viestejä on paljon, niitä on tuhansia.

Siivousdialogi toimii.Katkaise se osa historiasta.En tiedä. Toisaalta on kuitenkin tärkeää huomata, että aiemmin käydyn vuoropuhelun historiallisia etuliitteitä ei tarvita selvityksen jälkeen.

Seitsemän tai seitsemän kuoppaa, joille astuin.

1. Käytä sanaa "merkki" arvioida Kiinan budjetti.Väärin. Kiina on lähellä yhtä sanaa, ja olet kaksi kertaa lyhyempi. Se on valmis. tiktoken Määrittelen tai katselen käyttöä.
2. Luulin, että minuun osuisi, jos kysyisin samanlaisen kysymyksen.En voi. Sen täytyy olla täysin yhdenmukainen ensimmäisestä merkistä.
3. Lisää aikaleiman järjestelmän alussa.Tämä on yleisin kätkömurhaaja. Siirry loppuun.
4. On halpaa nähdä lyhyitä vastauksia.Päättelymallin ajatteluprosessi on hinnoiteltu tuotoksen hintaan, vastaus 20 sanaa, maksu 900 token on normaali.
5. Kertapuhelun välimuisti.Uudelleenkäyttö säästi vain 32 prosenttia, mutta lisäsi monimutkaisuutta ja vianetsintäkustannuksia. Se on sen arvoista ainakin kolme kertaa.
6. Voit arvata osumanopeuden ilman mittauskenttää.Kaksi. cached_tokens / cache_read_input_tokens He palasivat kirkkaalla koodilla.
7. Hän pyysi myös käyttämään kätköä lisätäkseen nopeutta.Välimuistia ei ole saatavilla ennen kuin ensimmäinen vastaus alkaa, ja samaa sekuntia koskevat pyynnöt jäävät suurelta osin huomiotta.

VIII Luettelo tehdyistä toimista

Voimme muuttua tänään.

• Määrittele järjestelmän vinkit ja työkalutKaikki mikä muuttuu.Siirry viestin loppuun.
• Työkalu PainaKiinteä tilausJärjestä. Tilaus muuttaa etuliitettä, etuliite muuttuu.
• Ensimmäinen luku: Kirjoita rahakkeiden määrä järjestelmässä + työkalun määritelmä. Yli 2000 kannattaa optimoida.

Se on puolen päivän arvoinen.

• Pura pitkän järjestelmän vihje " consistent + muuttuva segmentti " , välimuisti tauko lopussa vakio segmentin.
• Juokse oikean liikenteen kanssa. Ennätys. cached_tokens Prosenttiosuus kokonaispanoksista. Alle 30% viittaa etuliitteeseen.
• Paina myös tulostuspuolta: "vain tulostus" ei saa selittää, tuotoksen hinta on viisinkertainen panos.

Älä tee sitä.

• Älä kirjoita 9:30 vinkkiä.Välimuisti on rahaa, ei selkeyttä.
• Älä lisää kertaluonteisiin skripteihin kätköjen logiikkaa, jotka ovat monimutkaisempia kuin säästöt.
• Ei oleteta, että välimuistia voidaan käyttää eri malleissa.Mallien vaihto vaihtaa välimuistia ilman osumia.

Vihdoinkin.

Nämä sanat viedään loppuun asti, ja ne sanovat vain yhden asian:Malli veloittaa "kuinka paljon se lukee" ja "kuinka paljon se kirjoittaa," ja välimuisti on ainoa mekanismi, joka voi vähentää "lukea."

Vihje ei ole kovin kaunis.Laita tuo kasa asioita, jotka eivät muutu joka kerta. Mennään.En tiedä.

Suurin osa rahoista, joita ei voi säästää, ei ole liian kallista. Etuliitteesi muuttuu joka kerta.

Seuraavan kerran kun näen epänormaalin laskun, älä epäile mallin hinnannousua. cached_tokens Tuo palsta.Se ei ole nolla, päättää, maksatko matikasta vai tuplasti.