76.2 Zece mii de microlitere sunt exportate la AI: Cea mai grea parte nu este AI

În primul rând, concluzia este că:Am reuşit. 76.2 10.000 de mesaje, 367.5 milioane de cuvinte, toate într-o bibliotecă locală, şi acum pot să-i pun întrebări.Dar am petrecut trei zile, două dintre ele nu lupta cu AI, dar cu "Cum pentru a obține datele."

Şi trebuie să pun o vorbă rea în faţa ei.Sloganul "Datele mele sunt ale mele" în fiecare zi este practic gol.Dosarul tău e pe hard disk-ul tău, nici măcar un octet. Dar dacă vrei să o citeşti, trebuie să treci pragul legal şi un prag tehnic. Am trecut prin tehnologie, lege, oamenii care au trecut prin tehnologie acum taie biblioteca.

Unul, acum doar un an, instrumentele pentru a face acest lucru au fost clarificate.

La 20 octombrie 2025, două dintre cele mai faimoase instrumente de date privind microcreditele au emis notificări identice în aceeași zi.

PyWxDump's README a devenit Comunicarea de eliminare a proiectului în sensul că există un risc de conformitate cu funcția de bază, care este de a evita problemele juridice.Elimină toate codurile și prezintă istoriculA mai rămas un singur bilet în depozit. Autorul a scris în cele din urmă un "mai târziu" și a schimbat semnul public într-un tutorial exclusiv Python.

În aceeași zi, doar o singură notă a fost lăsată în depozitul de Chatlog, iar limba autorului Sarv a fost aproape identică: a primit corespondență, cod și istorie de depunere au fost golite și nu a mai fost furnizat nici un sprijin.

Care a fost amploarea acestor două proiecte? PyWxDump 9638, chatlog 9177. Nu e mic.

Mai târziu, în ianuarie 2026, au existat știri despre o plângere unică împotriva depozitului prin intermediul canalului DMCA din GitHub, cu peste 30 de cifre menționate în raportul public, dintre care mii de stele erau mature, iar apărătorii au indicat direct că întreținerea a fost oprită sub presiune juridică.

A fi clar înseamnă a spune:Instrumentul care te-a făcut să-ţi citeşti propriile înregistrări a fost curăţat sistematic.

Aşa că nu grăbi lecţia. Marea majoritate a lecțiilor "One Key Exporting MicroList" pe care le puteți găsi pe Internet sunt fie lanțuri moarte, curge la software-ul plătit, sau depozite vechi care ar fi trebuit șterse în urmă cu câteva luni. Scriu asta şi vorbesc despre drum, nu despre modul în care poţi conduce un depozit, pentru că acel depozit probabil a dispărut.

Află unde sunt datele tale.

Pe Windows, directorul de date micro-inteligente:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac pe ~/Library/Containers/com.tencent.xinWeChat/ Aici, structura este similară. Credem că drumul și structura bibliotecii au fost ajustate de la 4.x în loc de a utiliza calea grea a articolului vechi.

Şi apoi te grăbeşti să deschizi MSG0.db şi vei obţine asta:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Cum mă aşteptam.Întreaga bibliotecă este criptată de SQLCipher, cheia nu există în fișier, se calculează din memorie atunci când micro-mail este difuzate. De aceea, pașii principali ai tuturor acestor instrumente se numesc "ia cheia" -- ceea ce fac este în esență să scoată cheia din memoria procesului.

Acest pas se află în centrul disputei privind conformitatea. Îţi vei citi propriile date, dar o vei face ocolind protecţia tehnică a producătorului. Calificarea legală a acestor două probleme, și instinctele tale, sunt complet diferite.

Nu-ţi pot da o scutire de conformitate. Eu pot face doar clar:Natura exportului local al propriilor conturi, care sunt pentru propria lor utilizare, și care sunt utilizate pentru diseminare, vânzare și servicii este complet diferită.Cel din spate, nu-l atinge.

O altă întrebare practică: "Nu a fost întreaga carte"

Chiar dacă problemele tehnice sunt rezolvate, ai singura parte a computerului sincronizat. Credem că înregistrările finale PC au fost sincronizate în timpul autentificării, sau ai migrat manual.

Au fost şterse din alte telefoane în primii ani, au fost înlocuite, erau în echipamente vechi, nu erau. De data aceasta, sunt numit "Zece ani," iar anul în care am pus împreună un dialog complet este de aproximativ șase sau șapte ani, și chiar mai devreme, au existat doar fragmente.Așa-numitul "record de zece ani" a fost cusut într-o grămadă de bucăți.

Care este conceptul de trei, 3675?

Curățarea este 367,5 milioane de cuvinte, 76,2 milioane. O medie de 48 de cuvinte, care corespundea unor chat-uri reale - majoritatea "unde" "bine" "primit" "ha-ha-ha-ha."

Acest volum, prima reacţie trebuie să fie "directă spre modelul mare." M-am gândit la asta şi am renunţat.

Alo?	Cerințe de context	Poţi să-l conectezi?
Context Mainstream 128K	Aproximativ 36.75 M caractere	Este abia 0.4%.
Context 200K	Aproximativ 36.75 M caractere	0,6% sau nimic.
Meci 1M Context	Aproximativ 36.75 M caractere	E vorba de 3%, dar va costa mult.

Atenție, există o capcană în linia de context 1M:Asta nu înseamnă că-ţi aminteşti.Cu cât contextul este mai lung, cu atât este mai clară scăderea orientării modelului pe mijloc, care a fost validată în mod repetat de industrie. Ai pus zece ani de rahat în ea, și vă întrebați, "Am spus că am de gând să schimbe locuri de muncă în martie 2021?" Și este doar un rahat serios.

Deci termenul "toată hrana pentru animale AI" este incorect din punct de vedere tehnic.Ceea ce fac este să nu pun 367,5 milioane de cuvinte în creierul modelului, ci să creez un indice care poate fi predat în orice moment.Asta e diferenţa cheie. Toate deciziile inginereşti vin de aici.

În al patrulea rând, folosesc această conductă.

Cinci paşi, un pas nu va fi cruţat.

Etapa 1: Exportul în text structurat

Formatul țintă este simplu, o linie la un moment dat, un vorbitor, un nume sesiune. Nu produce HTML sau PDF -- acestea sunt pentru oameni, nu pentru programe. Ceea ce vreau este o structură care este grep, reduceri, contează timp.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Acest pas are un conținut tehnic redus, dar determină calitatea tuturor legăturilor care urmează.Dacă pierzi timbrul temporal, nu întrebi niciodată "atunci"; dacă pierzi vorbitorul, nu știi cine a spus-o.

Pasul 2: Curăţaţi, tăiaţi jumătate din zgomot.

Cel puțin 30% din datele originale sunt gunoi: "Ați adăugat XXX, puteți începe acum să discutați" și "cealaltă parte a retras un mesaj" și "[fotogramă]" "[exprimare]" și există seturi nenumărate de relee și pachete roșii.

Principiile mele de tratament sunt:Mesajul sistemului este șters, se păstrează suportul media pur, dar tipul este marcat, iar ultra-sMS (mai puțin de 4 cuvinte fără informație) este fuzionat în context.

3675 milioane de cuvinte tăiate la aproape 29 de milioane de cuvinte. Nu vă faceți griji, aceste cuvinte poluează doar rezultatele.

Pasul 3: Psihologie

Cea mai frecventă greşeală a unui începător este să fie tăiată greu de un număr fix de cuvinte. Taie-l la 500 de cuvinte și taie-l în jumătate pentru a tăia o conversație, prima jumătate în mână și a doua jumătate în următoarea. Jumătate din timpul căutării, AI începe.

În felul meu.Prin sesiune + timp fereastră dublă cut: În aceeași sesiune, mesajul adiacent este deconectat pentru mai mult de 30 de minute; blocul este cuprins în 400 până la 600 de cuvinte; fiecare bloc conține antetul numelui sesiunii + interval de timp + participant.

Acest titlu pare a fi redundant, de fapt cea mai valoroasă parte. Pentru că problemele cu utilizatorii de multe ori ia timp

Etapa 4: Pentru cuantificare

Saptezeci de mii sau mai mult, rula peste tot. Costul acestei scări este suficient în două cifre, mult mai ieftin decât mă aşteptam. Ceea ce costă cu adevărat este de câte ori alergi din nou -- am schimbat trei ediții din cauza strategiei împărțite și a fugit de trei ori.

Unde? Sqlite-vec este de ajuns. Nu veni aici cu Milvus, Qdrant, zeci de mii de date despre un om, nu asta.

Pasul 5: Căutare mixtă, nu doar un vector

Căutarea Pure vector este o expresie comună în acest tip de înregistrare chat. Motivul este clar:Adesea cauţi nume, nume, sume specifice, care sunt locuri de muncă precise şi nu vectori foarte buni.

Deci, rula finală este o căutare hibrid: o rechemare vector, un cuvânt cheie (BM25 sau direct SQLLLKE) rechemare, fuziona și cântărește, și apoi da modelul de răspuns. Această modificare a dus la o îmbunătăţire a preciziei ratei de răspuns, care este mai evidentă decât orice optimizare anterioară combinată.

Cinci, cinci gropi am călcat pe, și tu, probabil, va.

1. Credeam că .db e un squalite normal.Nu este. Toate întrebările de "cum nu se poate deschide" provin din asta.
2. Imaginile şi vocea sunt...Nu e un format standard. Fiecare antet de fișier este diferit sau criptat. Pentru a obține un tratament separat, am renunțat la o hartă de 10 ani, cu o valoare de extracție mult mai mică decât costurile.
3. ID-ul difuzorului e numărul.Dacă nu faci asta, va trebui să faci o micromap în MicroMsg.db, şi nu o vei citi.
4. Numele aceleiaşi persoane se schimbă.Mi-am schimbat notiţele şi poreclele timp de 10 ani. Aceeaşi persoană poate avea patru nume în bibliotecă. Dacă nu există uniformitate, căutarea trebuie să fie greşită.
5. Time timbru, uneori probleme.Timpul pentru înregistrarea pe dispozitivul de sincronizare va fi părtinitoare, și "mesaj la 3:00 a.m." va fi folosit pentru a suspecta timbrul de timp, așa că nu fi greșit.

Ce poate face acum?

Câteva întrebări pe care le-am pus şi le-am răspuns bine:

• "În 2021, când am spus că voi schimba locul de muncă, ce anume s-a întâmplat?"
• "Zhang a promis s-o facă pentru mine şi a durat?" A găsit promisiunea şi cea pe care am cerut-o trei luni mai târziu, şi a împins-o.
• "De câte ori am menţionat să merg în Japonia de-a lungul anilor?" - Numărând de şapte ori, cu fiecare dată şi context.

E un răspuns groaznic. Tot ceea ce se referă la întrebări subiective despre ceea ce am fost în starea de spirit la momentul respectiv, este un set de cuvinte.O înregistrare de chat poate restabili faptele, nu sentimentele.În acest moment, AI are aceeaşi experienţă pe care o ai cu înregistrările vechi de chat -- chiar mai rău, pentru că nu ezită.

VII. Fie că merită sau nu.

Trei grupuri.

• Încerc doar să mă ridic.Nu te mai prosti. Wi-fi-ul conține "backup și recuperare," care este disponibil în mai multe meniuri din colțul din stânga jos al Windows/Mac end, cu un telefon mobil în "Am înființat un chat de înregistrare de import și export." Criptat de rezervă la propriul hard disk, suficient. Vrei să nu pierzi, nu să întrebi.
• Pentru a găsi ceva specific:Nu construi o bibliotecă. Căutarea nu este rea pentru micro-inteligenta, iar cuvântul cheie + filtru de timp se adresează 80% din cerere. E rândul tău să aranjezi conducta.
• Chiar vreau să transform deceniul într-o amintire conversativă:Fă-o. Dar accepta trei conditii prealabile

Cât despre problema hrănirii AI în sine, cel mai mare sentiment al meu este:AI nu este blocajul acestui pas.

Ceea ce este foarte dificil este să exporti, să speli, să te desparţi, să te asortezi cu numele, să faci faţă acestor sarcini murdare. Nimic din astea nu te poate ajuta. Toate sunt aliniate. Când datele sunt curate, următorul model este cel mai simplu pas.

Aşa că nu te lăsa păcălită de "toată lumea." Nu e un spectacol. E o labă. În 3675, sunt probabil zeci de mii de cuvinte care merită întrebate, toate fiind "ha-ha" şi "bine." Dar asta e zecile de mii de cuvinte în valoare de trei zile.

În cele din urmă, situația actuală a acestor instrumente este clară. Tehnic, nu vă încurajează să o faceţi; înainte de a face acest lucru, vă rugăm să vă gândiţi clar la riscuri, în special să nu transmiteţi datele exportate.