प्रवेश करें, आउटपुट, कैश लाइफ: एआई टोकन बिल पर नाम।

चलो परिणाम के साथ शुरू करते हैं:इन शर्तों में केवल दो शब्द हैं जो वास्तव में आपको अधिक खर्च करते हैं: "कैचेफ्ट" और "आउटपुट" टोकन।बाकी उनके नोट्स हैं।

मुझे दो महीने में तीन बार बिल दिया गया है, और यह वही बात है: मुझे लगता है कि मैं पैसे बचा रहा हूं, और मैं उसी उपसर्ग के लिए पूरी कीमत का भुगतान कर रहा हूं। यह वही है जहाँ आप कम से कम एक सवाल का जवाब दे सकते हैं।जब मैंने केवल एक शब्द कहा है तो मुझे बिल पर 8000 टोकन क्यों हैं?

I. Token. चीनी क्यों महंगा है?

Token मॉडल टेक्स्ट प्रोसेसिंग के लिए सबसे छोटी इकाई है। यह एक शब्द नहीं है। यह एक शब्द नहीं है।यह एक टुकड़ा semantic द्वारा काटा जाता है।मुझे नहीं पता। उसी वाक्य में, ब्लॉक कट की संख्या मॉडल से कोड तक भिन्न हो सकती है।

मैं इसे ले जाऊंगी। o200k_base कोड ने वास्तव में कई समूहों को मापा और अंतर उम्मीद से अधिक था:

पाठ	वर्णों की संख्या	टोकन संख्या	चरित्र / टोकन
त्वरित ब्राउन बॉक्स आलसी कुत्ते पर कूदता है।	44	10	4.4
त्वरित ब्राउन फॉक्स उस आलसी कुत्ते पर कूद गया।	15	16	0.94
नमस्ते, दुनिया।	5	4	1.25
CVE-2026-109618	15	8	1.88

समस्या देखें।उसी वाक्य में, अंग्रेजी में 10 टोकन और चीनी में 16।अंग्रेजी में लगभग 4 वर्णएक शब्द, एक टोकनमुझे नहीं पता।

यह चीनी उपयोगकर्ताओं के लिए बहुत अनुकूल है: "1 टोकन ≈4 कैरेक्टर" एक अंग्रेजी भाषा अनुभव है।आप चीनी में इसके आधे से अधिक का अनुमान लगा सकते हैं।

एक counterintuitive है:CVE-2026-109618 इस संख्या, 15 अक्षर 8 टोकन जलाते हैं। संख्याओं और hyphens बहुत बुरी तरह से कटौती कर रहे हैं।इसलिए यह दिखने से ज्यादा महंगा है।

दो, एक अनुरोध, चार पैराग्राफ।

पहली बार मैंने बिल को देखा, यह महंगा नहीं था।यह केवल एक शब्द है, लेकिन 8,000 टोकन है।मैं नहीं जानता हूँ। तब यह स्पष्ट हो गया कि आपने जितना किया था।

एक अनुरोध का इनपुट आमतौर पर चार टुकड़ों में बनाया जाता है:

पैराग्राफ	अंग्रेजी नाम	यह क्या है?	क्या यह बदलेगा?
सिस्टम हिंट	सिस्टम / समावेश	आप कौन हैं, नियम, आउटपुट प्रारूप?	यह मूल रूप से समान है।
टूल परिभाषा	मुझे ऐसा नहीं लगता।	समारोह JSON स्कीमा और विवरण	शायद ही कभी।
संवाद का इतिहास	संदेश / इतिहास	प्रत्येक प्रश्न और उत्तर आप से पहले, उन्हें सब ले लो।	केवल जोड़ें
इस दौर के लिए प्रश्न	मुझे खेद है, सर।	यही कारण है कि तुम सिर्फ बुलाया।	हर बार।

पहली बार मैं डर गया था, यह था।टूल 1,200 टोकन की राशि को परिभाषित करता हैमैं नहीं जानता हूँ। पैरामीटर विवरण के साथ एक समारोह, JSON Schema विशेष स्थान लेने के लिए विस्तार किया गया है। आपने 20 उपकरण लिखे हैं, आप परिभाषा से 2,000 खाते हैं।और आपने इस भाग में एक शब्द टाइप नहीं किया था, लेकिन यह हमेशा चार्ज होता है।

इसके पीछे एक महत्वपूर्ण बिंदु है:पहले तीन पैराग्राफ "additional और गैर-modified" हैं और चौथे पैराग्राफ हर बार बदलता है।यह एक संयोग नहीं है। यह निर्धारित करता है कि क्या कैश मारा जा सकता है।

तीन: इनपुट, आउटपुट और आउटपुट में एक।

इन तीनों संबंधों का आधिकारिक कैलिबर इस प्रकार है:

टोकन (इनपुट / पॉलिसी टोकन)आपके द्वारा भेजे गए सभी कार्यों में उपरोक्त चार पैराग्राफ शामिल हैं।
उत्पादन: Modelled. ध्यान दें...सिर्फ वही पाठ जो आपने देखा था।
Token (resoning tokens): तर्क मॉडल यह है कि यह उत्तर देने से पहले सोचता है। आप नहीं देख सकते, लेकिन यह ...उत्पादन की कीमतों परमुझे नहीं पता।

तीसरा कई लोगों के लिए उनके बिलों को दोगुना करने का वास्तविक कारण है। मैं एक सिद्धांत मॉडल के साथ एक तरह का काम चला, और मैं जवाब में 20 शब्दों को देखता हूं, और बिल 900 से अधिक है।वह 880 अदृश्य टोकन है, यह सब वहाँ है।

इसलिए विरोधाभास होना सामान्य है:कम उत्तर, कम सस्ता।

उत्पादन मूल्य आमतौर पर इनपुट मूल्य के लगभग पांच गुना होता है (हर घर के लिए नीचे तालिका देखें)। यह अखंडता का सिद्धांत बताता है:इसे इनपुट के साथ हल किया जा सकता है। इसे बाहर न दें।उत्तर टेम्पलेट रखो, प्रारूप उदाहरण, सिस्टम संकेत (कम) में, ताकि यह अपने आप को ऐसे तरीके से व्यवस्थित न करे कि यह महंगा है।

कैशलाइन और अट्रैक्टिव: यह पूरे पाठ का अनुभाग है जिसे याद किया जाना चाहिए

वे क्या हैं?

जब उन्हें पढ़ा जाता है तो मॉडल को मध्यवर्ती के रूप में गिना जाता है। यह हिस्सा सबसे महंगा है।

प्रॉम्प्ट कैश एक निश्चित अवस्था है।अगली बार जब हम उसी उपसर्ग को पूरा करते हैं, तो हम इसे सीधे उपयोग करेंगे और अब पुन: प्राप्ति नहीं करेंगे।

इसलिए दो शब्द थे:

कैश हिट: यह उपसर्ग कैश में पाया गया था। यह हिस्सा दर्ज किया गया था और दबाया गया था।छूटशुल्क
कैश याद: मैं इसे नहीं पा सकता। बस मूल्य को पुनः प्राप्त करें।

हिट की शर्तें आपके विचार से कठिन हैं।

कुंजी शब्द "prefix" है।यह सवाल पूछने के बारे में नहीं है।

मैंने एक प्रयोग किया: मैंने 151 टोकन सिस्टम संकेत लिया, इसे अलग-अलग स्थानों पर बदल दिया और देखा कि इसका पुन: उपयोग कितना हो सकता है।

परिवर्तन	पुन: प्रयोज्य Prefix	प्रतिशतता
अंत में एक वाक्य जोड़ें	150 / 151	99%
बीच में शब्द बदलें।	50 / 151	33%
शुरुआत में एक और स्थान	0 / 151	0%
एक शब्द के साथ शुरू करें।	0 / 151	0%

"शुरू में एक और स्थान" देखें?एक अंतरिक्ष, कैश, स्क्रैप्ड, मूल कीमतों पर 151 टोकनों को वापस ले लिया।

यह एक बग नहीं है, यह सिद्धांत है: कैश शुरुआत से संचय की स्थिति है, पहला टोकन परिवर्तन, और वापस सभी मृत है।

तो वहाँ एक नियम है कि तुरंत लागू किया जा सकता है:निरंतर सामग्री सामने और अंतिम में परिवर्तनीय सामग्री में है।

फ्लिप करने का सबसे आम तरीका वर्तमान समय को सम्मिलित करना है, अनुरोध आईडी, सिस्टम संकेत की शुरुआत में यादृच्छिक रूप से क्रमबद्ध फ़ील्ड। यह हर बार एक नया कैश है।इन क्षेत्रों को या तो अंत में ले जाया जाता है या बस में नहीं रखा जाता है।

कुछ आसान-से-नेगले थ्रेसहोल्ड हैं।

न्यूनतम लंबाई है।Too short a prefix सब पर कैश नहीं देता है। OpenAI GPT-5.6 है और बाद में 1,024 टोकन है; एन्थ्रोपिक को मॉडल द्वारा अलग किया जाता है, दोनों 512/1,024/2,048/4,096 में। यदि यह काफी लंबा नहीं है, तो यह गलत नहीं है।सिलेंस।, आप केवल क्वांटम फ़ील्ड को वापस करके देख सकते हैं।
अस्तित्व के लिए समय है।OpenAI डिफ़ॉल्ट 30 मिनट (12 घंटे तक); Anthropic डिफ़ॉल्ट 5 मिनट, 1 घंटे तक। इस बार...अनुरोध पर प्रारंभ करेंउत्तर के अंत से गिनती नहीं - यदि जवाब चार मिनट में चलता है, तो 5-मिनट स्लॉट में केवल एक मिनट की विंडो होती है।
हम एक दूसरे के लिए इंतजार करेंगे।कैश एंट्री प्रथम अनुरोध के लिए प्रतीक्षा करता हैवापसी प्रारंभ करेंफिर यह उपलब्ध है। एक ही सेकंड में दस अनुरोध भेजे गए थे और सभी 10 याद किए गए थे।
परिवर्तित मॉडल, बदल उपकरण, तर्क स्लॉट बदल दिया।पूर्ववर्ती परिवर्तन और हिट दर शून्य है।

हिट दर क्या है?

नहीं लगता। दोनों परिवारों ने उन्हें एक मात्रा क्षेत्र दिया:

OpenAI  : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens

एंथ्रोपिक, विशेष सहज:दोनों 0 लौटे, जिसका मतलब है कि वे कैश तक नहीं पहुंच पाए।आमतौर पर क्योंकि उपसर्ग न्यूनतम नहीं होते हैं।

V. मूल्य संरचना: कम पढ़ने के लिए अधिक पैसे लिखने

कैश मुक्त नहीं है और कई लोग इसे याद करते हैं।पहली बार जब आप कैश में लिखते हैं, तो आपको मूल्य बढ़ाना होगा; फिर इसे पढ़ने से पहले आपको छूट मिलेगी।

संचालन	OpenAI	एंथ्रोपिक
सामान्य इनपुट	1x (baseline)	1x (baseline)
कैश लेखन। लघु स्लॉट	1.25 x (30 मिनट)	1.25 x (5 मिनट)
कैश लेखन लंबी अवधि	2.5 x (12 घंटे)	2x (1 घंटे)
कैश रीड (श्रेणी)	0.1 xGPT-6.1 0.05 x है)	0.1 x(Partial model 0.025 - 0.05 x)
उत्पादन	लगभग 5x	लगभग 5x

सामान्य 0.1 x पढ़ने के लिए, 1.25 x दो किताबें लिखते हैं:

एक बार लिखेंकैश 1.25 + 0.1 = 1.35 xकोई कैश 1 + 1 = 2 x है।प्रांत 32 प्रतिशत।
एक बार लिखें + नौ बार दोहराएँकैश 1.25 + 0.9 = 2.15 xनहीं कैश 10x है।प्रांत 78 प्रतिशत।

इसका मतलब है:एक मामले में, कैश मुश्किल से या यहां तक कि थोड़ा खो गया था; यह केवल तब ही था जब इसे दस गुना से अधिक बार दोहराया गया था कि बचत वास्तविक थी।"एक बार अस्थायी बातचीत" सिर्फ एक समस्या है।

रास्ते में:कैश लेखन टोकन सेगमेंट पर आधारित है, न कि नंबर से।ब्रेकपॉइंट स्वयं स्वतंत्र है, और खर्च किए गए पैसे वास्तव में कितने समय तक निर्भर करते हैं।

VI। PUNISHMENTS, सिस्टम PUNISHMENTS, min

दो शब्दों को अक्सर intermingled इस्तेमाल किया जाता है, लेकिन वे लागत और अधिकार के मामले में अलग हैं।

नाम	अंग्रेज़ी	किसने लिखा?	प्राथमिकता	शुल्क attribution
सिस्टम हिंट	Stymprompt / संस्थानों	प्लेटफार्म	उच्चतम	Token
डेवलपर संदेश	मुझे यकीन नहीं है कि मैं ऐसा करने में सक्षम हूँ।	डेवलपर लागू करें	लोअर (उपयोगकर्ता से अधिक)	Token
उपयोगकर्ता संकेत	यह हमारा व्यवसाय है।	उपयोगकर्ता	ऊपर दो से कम	Token
सहायक संदेश	आप यहाँ क्यों हैं?	मॉडल खुद उत्पन्न करते हैं	मुझे नहीं पता।	आउटपुट टोकन

दो आसान बिंदु:

"विज्ञापन" शब्द एक बड़ा शब्द है।यह सामान्य रूप से उन सभी पाठ निर्देशों को संदर्भित करता है जिन्हें आप मॉडल में भेजते हैं, और "प्रणालीगत संकेत" वह है जो सबसे आगे और सर्वोच्च प्राथमिकता है। जब यह "विज्ञापन बहुत लंबे हैं" की बात आती है, तो वास्तविक समस्या अक्सर होती है कि सिस्टम उन्हें परिभाषित करने में बहुत लंबा है।
रोल भी महंगा है।हर संदेश एक परत है {"role":...,"content":...}और परत खुद को टोकन के रूप में गिना जाता है। जब बहुत सारे संदेश होते हैं तो यह हजारों चीजें होंगी।

तो क्लीन अप संवाद काम कर रहा है - नहीं प्रतिभाशाली, हाँ।इतिहास के उस हिस्से को काट लें।मुझे नहीं पता। लेकिन बदले में, यह ध्यान रखना महत्वपूर्ण है कि क्लीयरिंग के बाद, पहले आयोजित संवाद के ऐतिहासिक उपसर्ग की आवश्यकता नहीं होगी।

सात या सात गड्ढे मैं कदम रखा, निष्कर्ष कॉपी।

चीनी बजट का अनुमान लगाने के लिए "character" शब्द का उपयोग करें।रोंग चीनी एक शब्द के करीब है और आप दो बार संक्षेप में होंगे। यह तैयार है। tiktoken परिभाषित करना, या उपयोग पर वापस देखना।
मैंने सोचा कि अगर मैं एक समान सवाल पूछता हूँ तो मैं मारा जाएगा।नहीं पहले टोकन से पूरी तरह संगत होना चाहिए।
सिस्टम संकेत की शुरुआत में टाइम स्टैम्प सम्मिलित करता है।यह सबसे आम कैश हत्यारा है। अंत में ले जाएँ।
यह छोटा जवाब देखने के लिए सस्ता है।तर्क मॉडल की सोच प्रक्रिया को आउटपुट मूल्य पर खर्च किया जाता है, 20 शब्दों का जवाब देता है, 900 टोकन चार्ज सामान्य है।
एक बार संवाद के लिए कैश।पुन: उपयोग केवल 32 प्रतिशत बचाया, लेकिन जटिलता और डीबगिंग लागत की एक परत को जोड़ा। यह कम से कम तीन बार लायक है।
आप माप क्षेत्र को देखने के बिना हिट दर का अनुमान लगा सकते हैं।दो। cached_tokens / cache_read_input_tokens वे सभी स्पष्ट कोड में वापस आ गए।
उन्होंने कैश को गति बढ़ाने के लिए भी कहा।कैश तब तक उपलब्ध नहीं होगा जब तक कि पहली प्रतिक्रिया शुरू हो जाती है, और उसी सेकंड के लिए अनुरोध काफी हद तक याद किया जाता है।

VIII क्या किया गया है की सूची

आज हम बदल सकते हैं।

सिस्टम संकेत और उपकरण परिभाषित करेंजो कुछ बदलता है।संदेश के अंत में ले जाएँ।
टूल प्रेसफिक्स्ड ऑर्डरव्यवस्था। क्रम पूर्व निर्धारित करता है, उपसर्ग बदलता है।
पहली गिनती: सिस्टम + टूल परिभाषा में टोकनों की संख्या को टाइप करें। 2,000 से अधिक अनुकूलन योग्य है।

यह आधे दिन के लायक है।

एक लंबे सिस्टम संकेत को एक "सहायक + चर खंड" में अलग करें, जिसमें लगातार सेगमेंट के अंत में कैश ब्रेक होता है।
वास्तविक यातायात के साथ राउंड रन करें। रिकॉर्ड cached_tokens कुल इनपुट का प्रतिशत। 30% से कम पूर्व निर्धारित डिजाइन समस्याओं को इंगित करता है।
आउटपुट पक्ष को भी दबाएं: "केवल आउटपुट" को समझाने की अनुमति नहीं है, आउटपुट मूल्य इनपुट के पांच गुना है।

यह मत करो।

कैश के लिए नौ-तीसरे टिप नहीं लिखते हैं।कैश पैसा है, स्पष्टता नहीं है।
कैश के तर्क को एक-बंद स्क्रिप्ट में न जोड़ें, जो बचत की तुलना में अधिक जटिल हैं।
यह नहीं माना जाता है कि कैश विभिन्न मॉडलों में इस्तेमाल किया जा सकता है।स्विचन मॉडल कैश बदल रहा है, शून्य हिट के साथ।

अंत में।

इन शब्दों को अंत में लिया जाता है और वे केवल एक चीज कहते हैं:मॉडल शुल्क "यह कितना पढ़ता है" और "यह कितना लिखते हैं" और कैश एकमात्र तंत्र है जो "पढ़ें" को छूट सकता है।

तो यह बिल्कुल नहीं है कि संकेत कितना सुंदर है?उस चीज़ का ढेर जो हर बार नहीं बदलता। चलो जाओ।मुझे नहीं पता।

आप जो पैसा बचा सकते हैं वह बहुत महंगा नहीं है। हर बार आपका उपसर्ग बदल जाता है।

मैं आपको सबसे व्यावहारिक कार्रवाई के साथ छोड़ दूँगा: अगली बार मैं एक असामान्य बिल देखता हूँ, मॉडल की कीमत में वृद्धि पर संदेह नहीं करता। cached_tokens वह स्तंभ है।यह शून्य नहीं है, यह तय करता है कि क्या आप गणित या डबल के लिए भुगतान कर रहे हैं।