76.2 दस हजार माइक्रो-लेटर्स एआई में निर्यात किए जाते हैं: सबसे कठिन हिस्सा एआई नहीं है

सबसे पहले, निष्कर्ष यह है:मैंने ऐसा किया। 76.2 10,000 संदेश, 367.5 मिलियन शब्द, सभी एक स्थानीय पुस्तकालय में, और मैं अब इसे किसी भी सवाल पूछ सकता हूं।लेकिन मैंने तीन दिन बिताए, उनमें से दो एआई के साथ लड़ाई नहीं करते, लेकिन "कैसे डेटा प्राप्त करें" के साथ।

मुझे इसके सामने एक बुरा शब्द देना पड़ता है।Slogan "My Data is mine" हर दिन मूल रूप से खाली है।आपका रिकॉर्ड आपकी हार्ड ड्राइव पर है, न कि एक बाइट। लेकिन आप इसे पढ़ना चाहते हैं, आपको कानूनी सीमा और तकनीकी सीमा को पार करना होगा। मैं प्रौद्योगिकी के माध्यम से चला गया, कानून, जो लोग प्रौद्योगिकी के माध्यम से गए अब पुस्तकालय को काट रहे हैं।

एक साल पहले, ऐसा करने के लिए उपकरण साफ़ हो गए थे।

20 अक्टूबर 2025 को, दो सबसे प्रसिद्ध माइक्रो-क्रेडिट डेटा टूल्स ने उसी दिन समान अधिसूचना जारी की।

PyWxDump's README परियोजना को हटाने की सूचना बन गया है कि कोर फंक्शन के अनुपालन का जोखिम है, जो कानूनी समस्याओं से बचने के लिए है।सभी कोड निकालें और इतिहास जमा करेंकेवल एक नोट गोदाम में छोड़ दिया जाता है। लेखक ने अंततः "बादल" लिखा और सार्वजनिक संकेत को पाइथन-केवल ट्यूटोरियल में बदल दिया।

उसी दिन, चैटलॉग के गोदाम में केवल एक नोट छोड़ दिया गया था, और लेखक सरव की भाषा लगभग समान थी: प्राप्त पत्राचार, कोड और प्रस्तुत करने का इतिहास खाली हो गया और आगे समर्थन प्रदान नहीं किया गया।

इन दो परियोजनाओं का स्केल क्या था? PyWxDump 9638, chatlog 9177. यह छोटा नहीं है।

बाद में, जनवरी 2026 में, गिटहब में डीएमसीए चैनल के माध्यम से गोदाम के खिलाफ एक बंद शिकायत की खबर थी, जिसमें सार्वजनिक रिपोर्ट में उल्लिखित 30 से अधिक आंकड़े शामिल थे, जिनमें से हजारों सितारे परिपक्व थे, और रक्षकों ने सीधे संकेत दिया कि कानूनी दबाव में रखरखाव बंद हो गया था।

स्पष्ट होने के लिए कहते हैं:जिस उपकरण ने आपको अपना खुद का चैट रिकॉर्ड पढ़ा था उसे व्यवस्थित रूप से साफ़ किया गया था।

तो यह सबक नहीं है। "वन की एक्सपोर्टिंग माइक्रोलिस्ट" पाठ के विशाल बहुमत आप इंटरनेट पर पा सकते हैं या तो मृत श्रृंखलाएं हैं, जो कुछ महीने पहले भुगतान किए गए सॉफ़्टवेयर या पुराने गोदामों के लिए बहती हैं। मैं इसे लिख रहा हूं, और मैं रास्ते में बात कर रहा हूं, जिस तरह से आप एक गोदाम चला सकते हैं - क्योंकि यह गोदाम शायद चला गया है।

पता करें कि आपका डेटा कहाँ है।

विंडोज पर, माइक्रो-इंटेलिजेंट डेटा के निदेशक:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

मैक पर ~/Library/Containers/com.tencent.xinWeChat/ यहाँ संरचना समान है। हम मानते हैं कि पुराने लेख के हार्ड पथ का उपयोग करने के बजाय 4.x के बाद से पथ और पुस्तकालय संरचना को समायोजित किया गया है।

और फिर आप MSG0.db को खोलने के लिए दौड़ रहे हैं और आप इसे प्राप्त करने जा रहे हैं:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

जैसा उम्मीद थी।पूरे पुस्तकालय SQLCipher द्वारा एन्क्रिप्ट किया गया है, कुंजी फ़ाइल में मौजूद नहीं है, इसे स्मृति से गणना की जाती है जब माइक्रो-मेल चल रहा है। यही कारण है कि इन सभी उपकरणों के मुख्य चरण को "कीट" कहा जाता है - वे क्या करते हैं, अनिवार्य रूप से प्रक्रिया स्मृति से उस कुंजी को प्राप्त करने के लिए।

यह कदम अनुपालन विवाद के दिल में है। आप अपने डेटा को पढ़ने जा रहे हैं, लेकिन आप निर्माता की तकनीकी सुरक्षा को बायपास करके इसे करने जा रहे हैं। इन दो मामलों की कानूनी योग्यता, और आपकी वृत्ति पूरी तरह से अलग हैं।

मैं आपको एक अनुपालन छूट नहीं दे सकता। मैं केवल इसे स्पष्ट कर सकता हूँ:अपने स्वयं के खातों के स्थानीय निर्यात की प्रकृति, जो अपने स्वयं के उपयोग के लिए हैं, और जिनका उपयोग प्रसार, बिक्री और सेवा के लिए किया जाता है, पूरी तरह से अलग है।एक पीठ में, इसे स्पर्श न करें।

एक और व्यावहारिक सवाल: "पूरी पुस्तक नहीं है"

भले ही तकनीकी समस्याओं का समाधान हो, आपको उस कंप्यूटर का एकमात्र हिस्सा मिल गया है जिसे सिंक्रनाइज़ किया गया है। हम मानते हैं कि आपके लॉगिन के दौरान पीसी एंड रिकॉर्ड्स को सिंक्रनाइज़ किया गया था, या आप मैन्युअल रूप से माइग्रेट कर रहे थे।

वे पहले के वर्षों में अन्य फोनों से हटा दिए गए थे, उन्हें प्रतिस्थापित किया गया था, वे पुराने उपकरण में थे, वे नहीं थे। इस बार, मुझे "टेन इयर" कहा जाता है और उस साल जब मैं वास्तव में एक पूर्ण संवाद डालता हूं, लगभग छह या सात साल पुराना है, और इससे पहले भी, वहाँ केवल टुकड़े थे।तथाकथित "ten-year रिकॉर्ड" टुकड़े के ढेर में सिलवाया गया था।

तीन, 3675 की अवधारणा क्या है?

सफाई 367.5 मिलियन शब्द है, 76.2 मिलियन। 48 शब्दों का औसत, जो वास्तविक चैट से मेल खाता है - ज्यादातर "जहां" "अच्छा" "प्राप्त" "ha-ha-ha-ha-ha"।

इस मात्रा, पहली प्रतिक्रिया "बड़े मॉडल के लिए प्रत्यक्ष" होना चाहिए। मैंने इसके बारे में सोचा और दे दिया।

संदर्भ विंडो के आकार की तुलना में 3675 000 शब्द

नमस्ते?	संदर्भ आवश्यकताएं	क्या आप इसे प्लग कर सकते हैं?
मुख्यधारा 128K संदर्भ	लगभग 36.75 M वर्ण	यह लगभग 0.4% है।
200K संदर्भ	लगभग 36.75 M वर्ण	0.6% या कुछ नहीं।
मैच 1M संदर्भ	लगभग 36.75 M वर्ण	यह लगभग 3% है, लेकिन यह बहुत कुछ है।

ध्यान दें, 1M संदर्भ लाइन में एक जाल है:इसका मतलब यह नहीं है कि आप याद रख सकते हैं।अब संदर्भ, स्पष्ट रूप से बीच में मॉडल के ध्यान में गिरावट, जिसे बार-बार उद्योग द्वारा मान्य किया गया है। आपने इसमें दस साल का बुलशित किया और आप इसे पूछते हैं, "मैं कहता हूं कि मैं मार्च 2021 में नौकरी बदलने जा रहा हूं? और यह सिर्फ एक गंभीर धौंकनी है।

इसलिए "सभी फ़ीड एआई" शब्द तकनीकी रूप से गलत है।मैं क्या कर रहा हूँ वह 367.5 मिलियन शब्दों को मॉडल के दिमाग में नहीं डाल रहा है, बल्कि एक इंडेक्स बना रहा है जिसे किसी भी समय बदल दिया जा सकता है।यह महत्वपूर्ण अंतर है। सभी इंजीनियरिंग निर्णय यहाँ से आते हैं।

चौथा, मैं इस पाइप का उपयोग करता हूँ।

पांच चरणों, एक कदम छोड़ दिया नहीं किया जाएगा।

खोज योग्य पुस्तकालय के लिए 3675,000 शब्दों से पांच-चरण पाइप

चरण 1: संरचित पाठ में निर्यात करें

लक्ष्य स्वरूप सरल है, एक समय में एक पंक्ति, एक वक्ता, एक सत्र का नाम। एचटीएमएल या पीडीएफ का उत्पादन न करें - वे लोग लोगों के लिए हैं, प्रोग्राम के लिए नहीं। मैं क्या चाहते हैं एक संरचना है जो grep, cuts, गिनती समय है।

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

इस कदम में बहुत कम तकनीकी सामग्री है, लेकिन यह उन सभी लिंकों की गुणवत्ता को निर्धारित करता है जो फॉलो करते हैं।यदि आप टाइम स्टैम्प खो देते हैं, तो आप कभी "उस समय" नहीं पूछते; यदि आप स्पीकर खो देते हैं, तो आपको पता नहीं है कि कौन उसने कहा है।

स्टेप 2: साफ़ करें, आधे शोर को काट लें।

मूल डेटा का कम से कम 30 प्रतिशत कचरा है: "आप ने XXX जोड़ा है, अब आप चैटिंग शुरू कर सकते हैं" और "अन्य पक्ष ने एक संदेश वापस ले लिया है" और "[फोटोग्राम]" "[एक्सप्रेसन]" और वहाँ असंख्य रिले और लाल पैकेट के अंतहीन सेट हैं।

मेरे उपचार सिद्धांत हैं:सिस्टम संदेश हटा दिया जाता है, शुद्ध मीडिया प्लेसहोल्डर रखा जाता है लेकिन प्रकार चिह्नित है, और अति-sMS (सूचना के बिना 4 शब्दों से कम) संदर्भ में विलय हो जाता है।

3675 मिलियन शब्दों को लगभग 29 मिलियन शब्दों में काट दिया गया। चिंता मत करो, वे शब्द केवल परिणामों को प्रदूषित करते हैं।

चरण 3: सेगमेंट - यह कदम पूरी परियोजना को नष्ट करने का सबसे आसान तरीका है

रोकी द्वारा सबसे आम गलती शब्दों की निश्चित संख्या से कड़ी मेहनत करना है। इसे 500 शब्दों में काट लें और इसे आधे में काटकर एक बातचीत को काट लें, अपने हाथ में पहला आधा और अगले में दूसरा आधा। आधे खोज समय, AI शुरू होता है।

मेरा रास्तासत्र + टाइम विंडो डबल कट द्वाराउसी सत्र में, आसन्न संदेश को 30 मिनट से अधिक समय तक डिस्कनेक्ट किया जाता है; ब्लॉक 400 से 600 शब्दों में निहित है; प्रत्येक ब्लॉक में सत्र का नाम + टाइम रेंज + पार्टिसिपेंट होता है।

यह शीर्षक अनावश्यक प्रतीत होता है, वास्तव में सबसे मूल्यवान हिस्सा है। क्योंकि उपयोगकर्ताओं के साथ समस्याएं अक्सर समय लेती हैं - "पिछले साल के स्नातक के अंत में" - कोई समय एंकर नहीं है, और वेक्टर पुनर्प्राप्ति सही नहीं है।

चरण 4: मात्रात्मक होना

सत्तर हजार या अधिक, यह सब खत्म हो गया। इस पैमाने की लागत दो अंकों में पर्याप्त है, जो मुझे उम्मीद से सस्ता है। वास्तव में लागत उन समयों की संख्या है जो आप फिर से चल रहे हैं - मैंने विभाजित रणनीति के कारण तीन संस्करणों को बदल दिया है और तीन बार चला गया है।

कहाँ? Sqlite-vec पर्याप्त है। Milvus, Qdrant, एक आदमी पर हजारों डेटा के दसियों हिस्से के साथ यहाँ नहीं आना चाहिए।

चरण 5: मिश्रित खोज, न केवल एक वेक्टर

शुद्ध वेक्टर खोज इस तरह की चैट रिकॉर्डिंग में एक आम अभिव्यक्ति है। कारण स्पष्ट है:आप अक्सर नामों, नामों, विशिष्ट मात्रा की तलाश में हैं, जो सटीक मिलान नौकरियां हैं और बहुत अच्छे वेक्टर नहीं हैं।

इसलिए अंतिम रन एक हाइब्रिड खोज है: एक वेक्टर याद, एक कीवर्ड (BM25 या प्रत्यक्ष SQLLLKE) याद, विलय और वजन, और फिर मॉडल को जवाब देने के लिए। इस बदलाव के परिणामस्वरूप प्रतिक्रिया दर की सटीकता में सुधार हुआ है, जो किसी भी पिछले अनुकूलन से अधिक स्पष्ट है।

पांच, पांच गड्ढे मैंने कदम रखा है, और आप शायद करेंगे।

सोचा .db सामान्य वर्ग था।नहीं। इस से "कैसे खुल नहीं सकता" स्टेम के सभी सवाल।
चित्र और आवाज हैं... dat.मानक प्रारूप नहीं। प्रत्येक फ़ाइल हेडर अलग या एन्क्रिप्टेड है। एक अलग उपचार प्राप्त करने के लिए, मैंने 10 साल का नक्शा दिया, जिसमें लागत की तुलना में बहुत कम निष्कर्षण मूल्य है।
पैनल स्पीकर आईडी संख्या है।यदि आप ऐसा नहीं करते हैं तो आपको MicroMsg.db में एक माइक्रोमैप करना होगा, और आप इसे पढ़ने के लिए नहीं जा रहे हैं।
उसी व्यक्ति का नाम बदल जाता है।मैंने 10 साल तक अपने नोट्स और उपनाम बदल दिए हैं। उसी व्यक्ति के पास आपकी लाइब्रेरी में चार नाम हो सकते हैं। यदि कोई एकरूपता नहीं है तो खोज गलत होना चाहिए।
टाइम स्टैम्प कभी-कभी समस्याएं होती हैं।सिंक्रनाइज़ करने के लिए डिवाइस पर रिकॉर्डिंग का समय पूर्वाग्रह होगा, और "3:00 बजे संदेश" का उपयोग टाइम स्टैम्प पर संदेह करने के लिए किया जाएगा, इसलिए गलती नहीं होगी।

अब यह क्या कर सकता है?

कुछ सवाल मैंने वास्तव में पूछा और अच्छी तरह से जवाब दिया:

"2021 में, जब मैंने कहा कि मैं नौकरी बदलने जा रहा था, वास्तव में क्या बात थी? - यह मुझे तीन लोगों के साथ अलग-अलग समय पर एक साथ डाल दिया, जो उस समय तीन चिंताओं पर लौट आया।
"Did Zhang मेरे लिए ऐसा करने का वादा करता था, और यह आखिरी था? - यह वादा पाया और मैंने तीन महीने बाद पूछा, और उसने इसे बंद कर दिया।
"मैंने कई बार वर्षों में जापान जाने का उल्लेख किया है? - सात बार गिनती, हर बार और संदर्भ के साथ।

यह एक भयानक जवाब है। वह सब कुछ जो उस समय के मूड में क्या था, उसके बारे में व्यक्तिपरक प्रश्नों से चिंतित है, यह शब्द का एक सेट है।एक चैट रिकॉर्ड तथ्यों को बहाल कर सकता है, भावनाओं को नहीं।इस बिंदु पर, एआई के पास पुराने चैट रिकॉर्ड के साथ समान अनुभव है - यहां तक कि बदतर, क्योंकि यह संकोच नहीं करता है।

VII क्या यह इसके लायक है या नहीं

तीन समूह

मैं वापस पाने की कोशिश कर रहा हूँ।बंद करना वाई-फाई में "बैकअप और रिकवरी" शामिल है, जो विंडोज / मैक एंड के निचले बाएं कोने में अधिक मेनू में उपलब्ध है, जिसमें "मैं एक चैट रिकॉर्ड प्रबंधन आयात और निर्यात सेट करता हूं" में एक मोबाइल फोन है। अपने हार्ड ड्राइव के लिए बैकअप एन्क्रिप्ट किया गया, पर्याप्त। आप क्या चाहते हैं?
कुछ विशिष्ट खोजने के लिए:पुस्तकालय का निर्माण न करें। खोज माइक्रो-इंटेलिजेंस के लिए बुरा नहीं है, और कीवर्ड + टाइम फिल्टर मांग का 80% पता लगाता है। पाइप को स्थापित करना आपकी बारी है।
मैं वास्तव में एक बातचीत योग्य स्मृति में दशक को बदलना चाहता हूं:यह करो। लेकिन तीन पूर्वापेक्षाओं को स्वीकार करते हैं - कि डेटा एक मलबे है, कि कानूनी सीमाओं को अपने दम पर रखा जाना है, और प्रश्न और उत्तर की गुणवत्ता इस बात पर निर्भर करती है कि आप कितने मजबूत हैं, मॉडल पर नहीं।

जैसा कि एआई खुद को खिलाने के लिए, मेरी सबसे बड़ी भावना है:एआई इस कदम की बदनाम नहीं है।

क्या वास्तव में मुश्किल है निर्यात करने के लिए, धोने के लिए, तोड़ने के लिए, नामों से मिलान करने के लिए, इन गंदे कार्यों से निपटने के लिए। इन चीजों में से कोई भी आपकी मदद नहीं कर सकता है। वे सभी पंक्तिबद्ध हैं। जब डेटा साफ हो जाता है, तो अगले मॉडल सबसे सरल कदम है।

तो "all-to-AI" द्वारा fooled नहीं है। यह एक शो-ऑफ नहीं है। यह एक हाथ नौकरी है। 3675 में, शायद हज़ारों शब्दों का कहना है, जिनमें से सभी "ha-ha" और "अच्छा" हैं। लेकिन यह तीन दिनों के लायक हजारों शब्दों की दसियों है।

अंत में, ऐसे उपकरणों की वर्तमान स्थिति स्पष्ट है। तकनीकी रूप से, यह आपको ऐसा करने के लिए प्रोत्साहित नहीं करता है; ऐसा करने से पहले, कृपया जोखिम के बारे में स्पष्ट रूप से सोचें, विशेष रूप से निर्यात किए गए डेटा को पारित न करें।