Gir, çıkış, önbellek yaşam: AI token faturasındaki isim.
Sonuçlarla başlayalım:Bu terimlerde size gerçekten maliyeti olan sadece iki kelime var: "Cacheft" ve " to" token.Geri kalanlar notlarıdır.
İki ay içinde üç kez faturalandım ve aynı şey: Sanırım para biriktiriyorum ve aynı ek için tam fiyatı ödüyorum. Bu en az bir soru cevaplayabileceğiniz bir şeydir...Neden sadece bir kelime söylediğinde faturada 8,000 tane var?
Ben. Token. Çin neden daha pahalı?
Hediye model metin işleme için en küçük birimdir. Bu bir kelime değil. Bu bir kelime değil.Bu semantik tarafından kesilmiş bir parça.Bilmiyorum. Aynı cümlede, blok sayısı koda modelden farklı olabilir.
Onu alacağım. o200k_base Kod aslında birkaç grubu ölçtü ve fark beklenenden daha büyüktü:
| Text Text Text Text | Karakter sayısı | Hediye Numarası | Karakter/token |
|---|---|---|---|
| Hızlı kahverengi kutu tembel köpek üzerinde atlar. | 44 | 10 | 4.4 |
| Hızlı kahverengi fox o tembel köpeği atladı. | 15 | 16 | 0.94 |
| Merhaba, dünya. | 5 | 4 | 1.25 |
| CVE-2026-109618 | 15 | 8 | 1.88 |
Soruna bakın.Aynı cümlede, İngilizce ve 16'da Çin'de 10 tane.İngilizce 4 karakterBir kelime, bir tokenBilmiyorum.
Bu, Çin kullanıcıları için çok dostu: "1 token ≈4 karakter" İngilizce bir deneyimdir.Çin'de yarısından fazlasını hafife alacaksınız.
Bir karşıtlık var:CVE-2026-109618 Bu sayı, 15 karakter 8 jeti yakıyor. Sayılar ve hipnozlar çok kötü kesildi.Bu yüzden göründüğünden çok daha pahalı.
İki, bir istek, dört paragraf.
Faturaya ilk defa baktım, pahalı değildi.Sadece bir kelime, ama 8,000 token.Bilmiyorum. Sonra sizden daha fazlasının yaptığını açık hale geldi.
Bir istek girişi genellikle dört parça yapılır:
| Paragraf | İngilizce Adı | Nedir? | değişecek mi? |
|---|---|---|---|
| Sistem Hint | Sistem / kapsayıcılık | Kimsiniz, kurallar, çıkış formatı? | Temel olarak aynı. |
| Tool Description | Bunu düşünmüyorum. | Function JSON Schema ve Açıklama | Çok nadiren. |
| diyalog tarihi | Mesajlar / tarih | Her dört soru ve cevap daha önce, hepsini alın. | Sadece ekleyin |
| Bu yuvarlak için sorular | Üzgünüm efendim. | Sadece çağırdığınız bu şey. | Her zaman. |
İlk kez korktum, öyleydi.Araç, 1.200 Jet miktarını tanımlarBilmiyorum. parametre açıklaması ile bir işlev, JSON Schema özel bir yer almak için genişletir. 20 araç yazdın, tanımla 2.000 yi yiyebilirsin.Ve bu bölümde bir kelime yazmadın, ama her zaman tahsil edilir.
Arkasında önemli bir nokta var:İlk üç paragraflar “birinci ve non-modified” ve dördüncü paragraf her seferinde değişir.Bu bir tesadüf değil. Önbellekin nasıl vurulabileceğini belirler.
Üç: girdi, çıktı ve bu çıktı.
Bu üç ilişkinin resmi kalibresi aşağıdaki gibidir:
- Token (input / politika jetonları): Gönderdiğiniz her şey yukarıdaki dört paragraf içerir.
- Çıktı Çıktı Çıktı: Modellendi. Dikkat...Sadece gördüğünüz metin değil.
- Hediye (resoning tokens): Sebep modeli, cevabı vermeden önce düşündüğü şeydir. Göremezsin ama...Çıktı fiyatlarıBilmiyorum.
Üçüncüsü, birçok insanın faturalarını ikiye katlamasının gerçek nedenidir. Bir teori modeli ile bir tür iş işletiyorum ve cevapta 20 kelime görüyorum ve fatura 900'den fazla.Bu 880 görünmez token, hepsi orada.
Bu yüzden bir çelişkiye sahip olmak normaldir:Cevap daha kısa, daha ucuz.
Çıktı fiyatı genellikle giriş fiyatının beş katıdır (her ev için aşağıdaki tabloya bakınız). Bu, bir dürüstlük prensibi açıklar:Girişle çözülebilir. Bunu bırakma.Cevap şablonunu koyun, format örneği, sistem ipucu (düşük), bu yüzden kendisini pahalı olduğu şekilde organize etmiyor.
Cacheline ve nonattractive: Bu, hatırlanması gereken tüm metinlerin parçasıdır.
Nedir?
Modeller okuduklarında orta olarak sayılırlar. Bu bölüm en pahalı.
Prompt önbellek bir devlettir.Bir dahaki sefere aynı ekle buluşacağız, bunu doğrudan kullanacağız ve artık yeniden hesaplaşmayacağız.
Yani iki kelime vardı:
- Cache hit hit: Bu ön ek önbellekte bulundu. Bu bölüm girdi ve bastırıldı.İndirim.Ücretler.
- Cache kaçır: Onu bulamazım. Sadece fiyatı yeniden hesaplayın.
hitin şartları düşündüğünüzden daha serttir.
Anahtar "önek" kelimesidir.Aynı soruyu sormakla ilgili değil.
Bir deney yaptım: 151 token sistemi ipucu aldım, farklı yerlere değiştirdim ve nasıl yeniden kullanılabilir görünüyordu.
| Değişiklikler Değişiklikler Değişiklikler | Reusable Prefix | Yüzde |
|---|---|---|
| Sonunda bir cümle ekleyin. | 150 / 151 | 99% |
| Ortadaki kelimeyi değiştirin. | 50 / 151 | 33% |
| Başlangıçta bir uzay daha | 0 / 151 | 0% |
| Bir kelime ile başlayın. | 0 / 151 | 0% |
"Başlangıçta daha fazla yer" görüyor musunuz?Bir uzay, önbellekler, orijinal fiyatlarda 151 tane yeniden hesaplandı.
Bu bir hata değil, ilkedir: Cache başlangıçtan gelen birikimin durumudur, ilk token değişiklikler ve gerisi tüm ölüdür.
Bu yüzden hemen uygulanabilir bir kural var:Sürekli içerik ön ve sondaki değişken içeriktir.
Döndürmenin en yaygın yolu, mevcut zamanı eklemek, talep edilen ID, sistem ipucunun başlangıcında rastgele sıralama alanları talep etmektir. Bu her seferinde yeni bir önbellek gibi.Bu alanlar ya sonuna taşındı ya da sadece koymaz.
Birkaç kolay-to-neglect eşi var.
- minimum uzunluk var.Çok kısa bir ek tüm önbellek vermiyor. OpenAI GPT-5.6 ve daha sonra 1.024 token; Anthropic, hem 512 / 1.024 / 2,048 / 4,096'da model tarafından kabul edilir. Eğer yeterince uzun değilse, yanlış değil.Sessizlik.Ama sadece kuantum alanını geri döndürerek görebilirsiniz.
- Hayatta kalmak için zaman var.OpenAI varsayılan 30 dakika (12 saate kadar); Anthropic varsayılan 5 dakika, 1 saate kadar. Ve bu sefer...Start at requestCevabın sonundan saymayın - cevap dört dakika içinde çalışırsa, 5 dakikalık slot sadece bir dakika penceresine sahiptir.
- Birbirimizi bekleyeceğiz.İlk İstek için önbellekGeri dönmeye başlayınSonra mevcut. On talep aynı saniyede gönderildi ve her 10 kişi kaçırıldı.
- Değişen modeller, araçları değiştirdi, slotların sebeplerini değiştirdi.Ön ek değişiklikler ve hit oranı sıfır.
hit oranı nedir?
Tahmin etmeyin. Her iki aile de onlara bir hacim alanı verdi:
OpenAI : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokensAnthropic, özel sezgisel:Her ikisi de 0 geri döndü, bu da önbelleğe bile ulaşmadıkları anlamına geliyor.Genellikle ekler minimum değildir.
V. Fiyat yapısı: Daha az okumak için daha fazla para yazın
Rehber özgür değildir ve birçok kişi onu kaçırdı.Önbellekte ilk kez, fiyatı yükseltmek zorundasınız; sonra bir indirim yapmadan önce okuyun.
| Operasyon Operasyon | OpenAI | Anthropic |
|---|---|---|
| Normal Giriş | 1x (baseline) | 1x (baseline) |
| Cache yazmak. Kısa slot | 1.25 x (30 dakika) | 1.25 x (5 dakika) |
| Uzun süreli uzun süreli yazma | 2.5 x (12 saat) | 2x (1 saat) |
| (Kategory) | 0.1 x x x x(GPT-6.1 0.05 x) | 0.1 x x x x(Partial model 0.025 – 0.05 x) |
| Çıktı Çıktı Çıktı | Yaklaşık 5x | Yaklaşık 5x |
Normal 0.1 x okumayı alın 1.25 x iki kitap yazın:
- Bir kez yazın + yeniden bir kez yaz1.25 + 0.1 = 1.35 x x x x● Önbellek 1 + 1 = 2 x.Yüzde 32.
- Bir kez yazın + dokuz kez tekrarlayın1.25 + 0.9 = = 2.15 x x x x x; Önbellek 10x değil.Yüzde 78.
Bu demektir:Bir durumda, önbellek zar zor ya da biraz kaybedildi; sadece tasarrufların gerçek olduğu on kattan fazla tekrarlandığında.Bu "bir-zaman geçici konuşmaları" sadece bir sorun.
Bu arada:Cache yazısı, sayı tarafından değil token segmentine dayanmaktadır.Boş noktanın kendisi ücretsizdir ve harcanan para aslında ne kadar uzunluğa bağlıdır.
VI. PUNISHMENTS, SYSTEM PUNISHMENTS, min
İki terim genellikle birbirine bağlı olarak kullanılır, ancak maliyet ve otorite açısından farklıdır.
| Name Name Name Name Name Name Name Name Name Name Name | İngilizce İngilizce İngilizce English | Kim yazdı? | Öncelik | Payion |
|---|---|---|---|---|
| Sistem Hint | Stymprompt / kurumlar | Platformr veya Uygulama Geliştirici | En yüksek | girin token |
| Geliştirici Mesaj | Bunu yapabileceğimden emin değilim. | Uygulama Geliştirici | Aşağı (over users) | girin token |
| Kullanıcı ipucu | Bu bizim işimiz. | End user | Yukarıdaki ikiden daha az | girin token |
| Asistan Mesajı | Burada neden olduğun için bir sebep yok. | Modeller kendilerini yaratıyor | Bilmiyorum. | Çıkış |
İki kolay nokta:
- "Sabah" kelimesi büyük bir kelimedir.Genel olarak modele gönderdiğiniz tüm metin talimatlarına atıfta bulunur ve "sistemsel ipucu" en ileri ve en yüksek önceliği olan kişidir. “Başarısızlıklar çok uzun” söz konusu olduğunda, gerçek sorun genellikle sistemin onları tanımlamak için çok uzun olmasıdır.
- Rol ayrıca pahalı.Her mesaj bir tabaka
{"role":...,"content":...}Ve tabakanın kendisi token olarak sayılır. Çok fazla mesaj olduğunda, binlerce şey olacak.
Yani temiz-up diyaloğu çalışıyor - deha değil, evet.Tarihin bu bölümünü kes.Bilmiyorum. Ama sırayla, açıklanmasından sonra, daha önce yapılan diyalogun tarihsel ekleri gerekli olmayacaktır.
Ayakladığım yedi ya da yedi, sonuçları kopyalayın.
- Çin bütçesini tahmin etmek için "kırık" kelimesini kullanın.Yanlış. Çin bir kelimeye yakın ve iki kat daha kısa olacaksınız. Hazır.
tiktokenTanımlama, ya da kullanıma geri bakmak. - Benzer bir soru sorduğumda vuracağımı düşündüm.Can't. İlk token'den tamamen tutarlı olmalıdır.
- Sistem ipucunun başlangıcında bir zaman damgasını koyar.Bu en yaygın önbellek katilidir. Sonunda hareket edin.
- Kısa cevaplar görmek ucuz.Modelin düşünce süreci çıktı fiyatına mal oldu, 20 kelime cevap, 900 token normal.
- Bir zaman diyaloğu ara.Yeniden kullanım sadece yüzde 32 tasarruf etti, ancak bir karmaşıklık ve debugging maliyetleri katmanı ekledi. En az üç kez buna değer.
- Bir ölçüm alanına bakmadan hit oranını tahmin edebilirsiniz.İki.
cached_tokens/cache_read_input_tokensHepsi açık kodda geri döndüler. - Ayrıca hız artırmak için önbelleği kullanmak istedi.Önbellek ilk yanıt başlayana kadar mevcut olmayacak ve aynı saniye için talepler büyük ölçüde kaçırılıyor.
VIII. Ne yapıldığının bir listesi
Bugün değiştirebiliriz.
- Define sistemi ipuçları ve aletlerBu değişikliklerdeki her şey.Mesajın sonuna doğru hareket edin.
- Tool PressSabit siparişArrange. Sipariş, eki değiştirir, ek değişiklikler.
- İlk sayı: Sistem + araç tanımındaki jeton sayısını yazın. 2,000'den fazlası optimizasyona değer.
Yarım güne değer.
- Sürekli segmentin sonunda önbellekli bir mola ile "konsistent + değişken segment"e uzun bir sistem ipucu verir.
- Gerçek trafikle yuvarlak hareket edin. Kayıt.
cached_tokensToplam girişlerin Yüzdesi. Daha az% 30, ek tasarım problemlerini gösterir. - Baskı tarafını da basın: "Sadece" açıklamaya izin verilmiyor, çıktı fiyatı girişin beş katı.
Bunu yapmayın.
- Önbellek için dokuzuncu bir ipucu yazmayın.Cache para, net değil.
- Önbelleklerin mantığına bir alıntı eklemeyin, bu tasarruftan daha karmaşıktır.
- Önbelleklerin farklı modeller arasında kullanılabileceğini varsaymıyor.Anahtarlama modelleri önbellekleri değiştiriyor, sıfır vuruşla.
Son olarak.
Bu kelimeler sonuna kadar alınır ve sadece bir şey söylüyorlar:Model "ne kadar okur" ve "nasıl yazıyor" ve önbellek "okuyabilecek tek mekanizmadır.
Peki ipucu tam olarak ne kadar güzel değil, öyle mi?Her seferinde değişmeyen şeylerin yığınını koyun. Hadi gidelim.Bilmiyorum.
Tasarruf edemeyeceğiniz paranın çoğu çok pahalı değil. Ön ekiniz her seferinde değişir.
Seni en pratik eylemle bırakacağım: Bir dahaki sefere anormal bir fatura görüyorum, modelin fiyat artışından şüphe etmeyin. cached_tokens Bu sütun.Sıfır değil, matematik veya çift için ödeme yaptığınızı karar verir.