76.2 Десет хиляди микробукви се изнасят за AI: Най-трудната част не е AI

Първо, заключението е, че:Направих го. 76.2 10 000 съобщения, 367.5 милиона думи, всичко в местна библиотека, и сега мога да го задавам всякакви въпроси.Но прекарах три дни, две от тях не се карат с Ал, а с "Как да получим данните."

И трябва да кажа лоша дума пред него.Мотото "Моите данни са мои" всеки ден е празно.Досието ти е на собствения ти хард диск, нито един байт. Но ако искате да го прочетете, трябва да преминете през правен праг и технически праг. Минах през технологията, закона, хората, които преминаха през технологията сега режат библиотеката.

Едно, само преди година, инструментите за това бяха изчистени.

На 20 октомври 2025 г. два от най-известните инструменти за микрокредитиране публикуваха идентични уведомления на същия ден.

PyWxDump's README се превърна в известие за премахване на проекта, което води до риск от спазване на основната функция, която е да се избегнат правни проблеми.Премахване на всички кодове и подаване на историятаОстана само една бележка в склада. Авторът най-накрая написа "по-късно" и промени обществения знак на Python-само за обучение.

В същия ден, само една бележка беше оставена в склада на Чатлог, а езикът на автора Сарв беше почти идентичен: получена кореспонденция, код и история на подаване бяха изпразнени и не бе предоставена допълнителна подкрепа.

Какъв беше мащабът на тези два проекта? PyWxDump 9638, чатлог 9177. Не е малка.

По-късно, през януари 2026 г., имаше новини за еднократно оплакване срещу склада чрез канала DMCA в GitHub, с повече от 30 цифри, споменати в публичния доклад, от които хиляди звезди са зрели, и защитниците директно посочиха, че поддръжката е била спряна под съдебен натиск.

Да сме наясно е да кажем:Инструментът, който те накара да прочетеш собствените си записки беше систематично изчистен.

Не бързай с урока. По-голямата част от уроците "Един ключ експортиране MicroList" можете да намерите в интернет са или мъртви вериги, течащи към платени софтуер, или стари складове, които трябваше да бъдат изтрити преди няколко месеца. Пиша това и говоря за начина, по който не можеш да управляваш склад, защото този склад вероятно го няма.

Разбери къде са данните ти.

На Windows, директорът на Micro-Интелигентните данни:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac on ~/Library/Containers/com.tencent.xinWeChat/ Тук структурата е подобна. Ние вярваме, че пътят и структурата на библиотеката са били коригирани от 4.x вместо да се използва трудния път на старата статия.

И след това бързаш да отвориш MSG0.db и ще получиш следното:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Както се очакваше.Цялата библиотека е кодирана от SQLCipher, ключът не съществува във файла, той се изчислява от паметта, когато микро-мейлът работи. Ето защо основните стъпки на всички тези инструменти се наричат "вземи ключа" - това, което правят, е да извадят ключа от паметта на процеса.

Тази стъпка е в основата на спора за съответствие. Ще прочетеш собствените си данни, но ще го направиш като заобиколиш техническата защита на производителя. Правната квалификация на тези два въпроса и инстинктите ви са напълно различни.

Не мога да ти дам изключение. Мога само да го изясня:Естеството на местния износ на собствените си сметки, които са за тяхно собствено ползване и които се използват за разпространение, продажба и обслужване, е напълно различно.Този отзад, не го пипай.

Друг практичен въпрос: "Не беше цялата книга"

Дори и техническите проблеми да са решени, имате единствената част от компютъра, която е синхронизирана. Смятаме, че записките за края на компютъра са синхронизирани по време на влизането ви или сте мигрирали ръчно.

Били са изтрити от други телефони в ранните години, били са заменени, били са в старо оборудване, не са били. Този път ме наричат "Десет години," а годината, когато всъщност сглобих пълен диалог е на около шест или седем години, и дори по-рано имаше само фрагменти.Така нареченият "десет годишен рекорд" е бил зашит на купчина парчета.

Каква е концепцията за три, 3675?

Чистенето е 367.5 милиона думи, 76.2 милиона. Средно 48 думи, които отговарят на истински разговори - най-вече "къде" "добро" "получено" "ха-ха-ха-ха."

Този обем, първата реакция трябва да бъде "насочена към големия модел." Мислих за това и се отказах.

Ало?	Изисквания към контекста	Можеш ли да го изключиш?
Главен поток 128K контекст	Около 36.75 M символа	Едва 0,4%.
200K контекст	Около 36.75 M символа	0,6% или нищо.
Мач 1M контекст	Около 36.75 M символа	Около 3%, но ще струва много.

Внимание, има капан в 1M контекст линия:Това не значи, че си спомняш.Колкото по-дълъг е контекстът, толкова по-ясно се изяснява спадът във фокуса на модела върху средата, който многократно е бил валидиран от промишлеността. Сложил си десет години глупости в него и си го попитал: "Казах ли, че ще си сменя работата през март 2021?" И това са просто сериозни глупости.

Така че терминът "всички фуражи AI" е технически неточен.Това, което правя, не е да вкарам 367.5 милиона думи в мозъка на модела, а да създам индекс, който може да бъде обърнат по всяко време.Това е ключовата разлика. Всички инженерни решения идват от тук.

Четвърто, използвам тази тръба.

Пет стъпки, една стъпка няма да бъде пощадена.

Стъпка 1: Експортиране в структуриран текст

Форматът на целта е прост, ред по ред, говорител, име на сесия. Не произвеждайте HTML или PDF -- те са за хора, а не за програми. Това, което искам е структура, която е грап, разрези, брои времето.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Тази стъпка има малко техническо съдържание, но определя качеството на всички връзки, които следват.Ако изгубите времето, никога не питайте "този път," ако загубите говорителя, не знаете кой го е казал.

Стъпка 2: Почисти, намали половината шум.

Най-малко 30 процента от оригиналните данни са боклук: "Добавили сте XXX, сега можете да започнете чат" и "от другата страна е оттеглила съобщение" и "[фотограма]" "[изразяване]" и има безкрайни комплекти от безброй релета и червени пакети.

Принципите ми за лечение са:Системното съобщение се заличава, чистият медиен посредник се съхранява, но типът е маркиран, а ултра-SMS (по-малко от 4 думи без информация) се слива в контекста.

3675 милиона думи нарязани на почти 29 милиона думи. Не се тревожи, тези думи само замърсяват резултатите.

Стъпка 3: Неофициално по-лесна за унищожаване на целия проект

Най-често срещаната грешка на новобранец е да бъде трудно изрязана от определен брой думи. Нарежете го на 500 думи и го нарежете наполовина, за да прекъснете разговор, първата половина в ръката си и втората половина в следващата. Половината време за търсене започва.

По моя начин.По сесия + време Window Double Cut: В същата сесия съседното съобщение се изключва за повече от 30 минути; блокът се съдържа в 400 до 600 думи; всеки блок съдържа заглавната част на името на сесията + времеви интервал + участник.

Това заглавие изглежда излишно, всъщност най-ценната част. Тъй като проблемите с потребителите често отнемат време в края на миналата година, няма време котва, а вектора не е прав.

Стъпка 4: Да се определи количествено

70 000 или повече, пусни всичко. Цената на този мащаб е достатъчна с две цифри, много по-евтина, отколкото очаквах. Това, което наистина струва, е броят пъти, когато тичате отново - промених три издания заради стратегията за разделяне и три пъти.

Къде? Достатъчно. Не идвай тук с Милвъс, Кюдрант, десетки хиляди данни за мъж, не това.

Стъпка 5: Смесено търсене, не само вектор

Чисто векторно търсене е често срещан израз в този вид запис. Причината е ясна:Вие често търсите имена, имена, конкретни суми, които са точни съвпадение работни места и не са много добри вектори.

Последното търсене е хибридно: векторно отзоваване, ключова дума (BM25 или директен SQLLLKE) припомняне, сливане и претегляне, и след това дава на модела отговора. Тази промяна доведе до подобряване на точността на степента на отговор, което е по-очевидно от всяка предишна оптимизация комбинирана.

Пет, пет ями съм стъпил върху, и вероятно ще.

1. Мислех, че е нормално.Не е. Всички въпроси за "как не може да се отвори" произтичат от това.
2. Снимките и гласът са...Не е стандартен формат. Всеки заглавен файл е различен или криптиран. За да получа отделно лечение, се отказах от 10-годишна карта с много по-ниска стойност на добива от разходите.
3. Номерът е в панела.Ако не направите това, ще трябва да направите микрокарта в MicroMsg.db и няма да я прочетете.
4. Името на същия човек се променя.Сменям си бележките и прякорите от 10 години. Същият човек може да има четири имена в библиотеката ви. Ако няма еднообразие, търсенето трябва да е грешно.
5. Времето понякога е проблем.Времето за записване през устройството за синхронизиране ще бъде предубедено, а съобщението в 3:00 сутринта ще бъде използвано, за да се заподозре времето, така че не се заблуждавайте.

Какво може да направи сега?

Някои от въпросите, които зададох и отговорих добре:

• "През 2021 г., когато казах, че ще сменям работните места, какъв точно беше проблемът?" - тя ме събра по различно време с трима души, връщайки се към три притеснения по това време.
• "Занг обеща ли да го направи за мен и продължи ли?" Той намери обещанието и това, което поисках три месеца по-късно, и той го отблъсна.
• "Колко пъти съм споменавал, че ще ходя в Япония през годините?" - Отброяване седем пъти, с всеки път и контекст.

Това е ужасен отговор. Всичко, което засяга субективни въпроси за това какво съм бил в настроение по това време, това е набор от думи.Чатът може да възстанови фактите, не чувствата.На този етап, Ал има същия опит, който имате със старите записи -- още по-лошо, защото не се колебае.

VII. Дали си струва или не.

Три групи.

• Просто се опитвам да се изправя.Спри да се мотаеш. Wi-Fi съдържа "подкрепление и възстановяване," което се предлага в повече менюта в долния ляв ъгъл на края на Windows/Mac, с мобилен телефон в "Създадох чат рекорден внос и износ." Достатъчно. Това, което искаш е да не губиш, не да питаш.
• За да намерите нещо конкретно:Не строи библиотека. Търсенето не е лошо за микроразузнаване, а ключовата дума + времеви филтър адреси 80% от търсенето. Твой ред е да настроиш тръбата.
• Наистина искам да превърна десетилетието в разговорна памет:Направи го. Но приемете три предпоставки, че данните са развалина, че правните граници трябва да бъдат запазени сами и че качеството на въпросите и отговорите зависи от това колко силен сте, а не от модела.

Що се отнася до самата храна на Ал, най-голямото ми чувство е:Ал не е пречка за тази стъпка.

Това, което е наистина трудно да се изнася, да се мие, да се разделя, да съвпада с имената, да се справя с тези мръсни задачи. Нито едно от тези неща не може да ти помогне. Всички са подредени. Когато данните са чисти, следващият модел е най-простата стъпка.

Така че не се залъгвай от "всички на Ал." Не е фукльо. Това е чекия. През 3675 г. вероятно има десетки хиляди думи, които си струва да се питат, всички от които са "ха-ха" и "добро." Но това са десетките хиляди думи, които струват три дни.

Накрая, сегашното положение на тези инструменти е ясно. Технически, това не ви насърчава да го направите; преди да направите това, моля, помислете ясно за рисковете, особено да не предавате изнесените данни.