76.2 Tio tusen mikrobrev exporteras till AI: Den svåraste delen är inte AI

Först är slutsatsen att:Jag gjorde det. 76,2 10 000 meddelanden, 367,5 miljoner ord, alla i ett lokalt bibliotek, och jag kan nu ställa frågor.Men jag tillbringade tre dagar, två av dem kämpar inte med AI, men med "Hur man får data."

Och jag måste sätta ett dåligt ord framför det.Parollen "Mina data är mina" varje dag är i grunden tom.Ditt rekord är på din egen hårddisk, inte en enda byte. Men du vill läsa den, du måste korsa en rättslig tröskel och en teknisk tröskel. Jag gick igenom tekniken, lagen, de människor som gick igenom tekniken skär nu biblioteket.

För ett år sedan rensades verktygen för att göra detta.

Den 20 oktober 2025 utfärdade två av de mest kända mikrokreditdataverktygen identiska meddelanden samma dag.

PyWxDumps README har blivit Project Removal Notice för att det finns en risk för överensstämmelse med kärnfunktionen, vilket är att undvika juridiska problem.Ta bort alla koder och skicka historiaEndast en anteckning finns kvar i lagret. Författaren skrev slutligen en "senare" och ändrade det offentliga tecknet till en Python-bara handledning.

Samma dag lämnades endast en anteckning kvar i lagret av Chatlog, och författaren Sarvs språk var nästan identiskt: mottog korrespondens, kod och inlämningshistoria tömdes och inget ytterligare stöd gavs.

Vad var omfattningen av dessa två projekt? PyWxDump 9638, chatlog 9177. Det är inte litet.

Senare, i januari 2026, fanns det nyheter om ett enstaka klagomål mot lagret genom DMCA-kanalen i GitHub, med mer än 30 siffror som nämns i den offentliga rapporten, varav tusentals stjärnor var mogna och försvarare indikerade direkt att underhåll stoppades under rättsligt tryck.

Att vara tydlig är att säga:Verktyget som fick dig att läsa dina egna chattposter rengjordes systematiskt.

Rush inte lektionen. De allra flesta av de "One Key Exporting MicroList" lektioner du kan hitta på Internet är antingen döda kedjor, flyter till betald programvara eller gamla lager som borde ha raderats för några månader sedan. Jag skriver detta, och jag pratar om vägen, inte hur du kan köra ett lager - eftersom det lagret förmodligen är borta.

Ta reda på var dina data är.

På Windows, Director för Micro-Intelligent Data:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac på ~/Library/Containers/com.tencent.xinWeChat/ Här är strukturen liknande. Vi tror att vägen och biblioteksstrukturen har justerats sedan 4.x istället för att använda den gamla artikelns hårda väg.

Och då du rusar för att öppna MSG0.db och du kommer att få detta:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Som förväntat.Hela biblioteket krypteras av SQLCipherNyckeln finns inte i filen, den beräknas från minnet när mikroposten körs. Det är därför kärnstegen för alla dessa verktyg kallas "ta nyckeln" - vad de gör är i huvudsak att få den nyckeln ur processminnet.

Detta steg är kärnan i efterlevnadstvisten. Du kommer att läsa dina egna data, men du kommer att göra det genom att kringgå tillverkarens tekniska skydd. Den juridiska kvalifikationen av dessa två frågor, och dina instinkter, är helt olika.

Jag kan inte ge dig ett överensstämmelse undantag. Jag kan bara göra det klart:Den lokala exporten av sina egna konton, som är för eget bruk, och som används för spridning, försäljning och service är helt annorlunda.Den i ryggen, rör inte den.

En annan praktisk fråga: "Var inte hela boken"

Även om de tekniska problemen är lösta, har du den enda delen av datorn som är synkroniserad. Vi tror att PC-dokumenten synkroniserades under din inloggning, eller du migrerade manuellt.

De raderades från andra telefoner under de första åren, de ersattes, de var i gammal utrustning, de var inte. Den här gången heter jag "Tio år", och det år då jag faktiskt satt ihop en fullständig dialog är ungefär sex eller sju år gammal, och ännu tidigare fanns det bara fragment.Den så kallade "tioåriga rekordet" syddes upp i en hög med bitar.

Vad är begreppet tre, 3675?

Rengöring är 367,5 miljoner ord, 76,2 miljoner. Ett genomsnitt av 48 ord, som motsvarade riktiga chattar - mestadels "där" "bra" "fått" "ha-ha-ha".

Denna volym måste den första reaktionen vara "direkt till den stora modellen". Jag tänkte på det och gav upp.

3675 000 ord jämfört med storleken på kontextfönstret

Hej?	Kontextkrav	Kan du koppla ner den?
Mainstream 128K Context	Om 36,75 M tecken	Det är knappt 0,4%.
200K Context	Om 36,75 M tecken	0,6% eller ingenting.
Match 1M Context	Om 36,75 M tecken	Det är ca 3%, men det kommer att kosta mycket.

Uppmärksamhet, det finns en fälla i 1M kontextlinjen:Det betyder inte att du kan komma ihåg.Ju längre sammanhanget, desto tydligare är nedgången i fokus för modellen på mitten, som upprepade gånger validerats av industrin. Du lade tio år av skit i den, och du frågade det, "Sade jag att jag kommer att byta jobb i mars 2021?" Och det är bara en allvarlig skit.

Termen "all feed AI" är tekniskt felaktig.Det jag gör är inte att sätta 367,5 miljoner ord i modellens hjärna, utan att skapa ett index som kan överföras när som helst.Det är den viktigaste skillnaden. Alla tekniska beslut kommer härifrån.

För det fjärde använder jag detta rör.

Fem steg, ett steg kommer inte att sparas.

Femstegsrör från 3675,000 ord till sökbart bibliotek

Steg 1: Export till strukturerad text

Målformatet är enkelt, en linje i taget, en högtalare, ett sessionsnamn. Producera inte HTML eller PDF - det är för människor, inte för program. Vad jag vill är en struktur som är grå, skär, räknar tid.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Detta steg har lite tekniskt innehåll, men bestämmer kvaliteten på alla länkar som följer.Om du förlorar tidsstämpeln frågar du aldrig "den tiden"; om du förlorar högtalaren vet du inte vem som sa det.

Steg 2: Rengör upp, skär halva bullret.

Minst 30 procent av originaldata är skräp: "Du har lagt till XXX, du kan nu börja chatta" och "den andra sidan har dragit tillbaka ett meddelande" och "[fotogram]" "[uttryck]" och det finns oändliga uppsättningar av oräkneliga reläer och röda paket.

Mina behandlingsprinciper är:Systemmeddelandet raderas, den rena medieplatshållaren hålls men typen är markerad, och ultra-sMS (mindre än 4 ord utan information) slås samman i sammanhanget.

3675 miljoner ord skärs till nästan 29 miljoner ord. Oroa dig inte, dessa ord förorenar bara resultaten.

Steg 3: segment – detta steg är det enklaste att förstöra hela projektet

Det vanligaste misstaget med en rookie är att skäras av ett fast antal ord. Skär det till 500 ord och skär det i hälften för att skära av en konversation, den första halvan i handen och andra halvan i nästa. Hälften av söktiden börjar AI.

Mitt sätt.Av session + Time Window Double CutI samma session kopplas det intilliggande meddelandet bort i mer än 30 minuter; blocket finns i 400 till 600 ord; varje block innehåller rubriken för sessionsnamn + tidsintervall + deltagare.

Denna rubrik verkar vara överflödig, faktiskt den mest värdefulla delen. Eftersom problem med användarna ofta tar tid - "i slutet av förra årets examen" - det finns ingen tid ankare, och vektorhämtning är inte rätt.

Steg 4: Kvantifieras

Sjuttio tusen eller fler, kör det överallt. Kostnaden för denna skala är tillräckligt i två siffror, mycket billigare än jag förväntade mig. Vad som verkligen kostar är antalet gånger du kör igen - jag har ändrat tre utgåvor på grund av splittringsstrategin och sprang tre gånger.

Var? Sqlite-vec räcker. Kom inte hit med Milvus, Qdrant, tiotusentals data på en man, inte det.

Steg 5: Blandad sökning, inte bara en vektor

Ren vektorsökning är ett vanligt uttryck i denna typ av chattinspelning. Anledningen är tydlig:Du letar ofta efter namn, namn, specifika belopp, som är exakt matchande jobb och inte mycket bra vektorer.

Så den sista körningen är en hybridsökning: en vektoråterkallelse, ett sökord (BM25 eller direkt SQLLLKE) återkalla, sammanfoga och väga och sedan ge modellen svaret. Denna förändring har resulterat i en förbättring av noggrannheten i svarsfrekvensen, vilket är tydligare än någon tidigare optimering kombinerad.

Fem, fem gropar jag har klivit på, och du förmodligen kommer.

.db var normal sqlite.Det är inte. Alla frågor om "hur kan inte öppna" stam från detta.
Bilder och röst är... dat.Inte ett standardformat. Varje filrubrik är annorlunda eller krypterad. För att få en separat behandling gav jag upp en 10-årig karta, med ett mycket lägre extraktionsvärde än kostnader.
Panelhögtalaren ID är numret.Om du inte gör det måste du göra en mikrokarta i MicroMsg.db, och du kommer inte att läsa den.
Samma persons namn ändras.Jag har ändrat mina anteckningar och smeknamn i 10 år. Samma person kan ha fyra namn i biblioteket. Om det inte finns någon enhetlighet måste sökningen vara fel.
Time Stamp ibland problem.Tiden för inspelning över enheten för att synkronisera kommer att vara partisk, och "meddelandet klockan 3:00 kommer att användas för att misstänka tidsstämpeln, så misstas inte.

Vad kan det göra nu?

Några av de frågor jag faktiskt ställde och svarade bra:

"År 2021, när jag sa att jag skulle byta jobb, vad exakt var frågan?" - det satte mig tillsammans vid olika tidpunkter med tre personer och återvände till tre frågor vid den tiden.
"Har Zhang lovat att göra det för mig och sist?" Det fann löftet och den jag frågade tre månader senare, och han drev bort det.
Hur många gånger har jag nämnt att gå till Japan genom åren? - Räkna ut sju gånger, med varje gång och sammanhang.

Det är ett fruktansvärt svar. Allt som rör subjektiva frågor om vad jag var på humör vid den tiden, det är en uppsättning ord.En chatt rekord kan återställa fakta, inte känslor.Vid denna tidpunkt har AI samma erfarenhet du har med gamla chattposter - ännu värre, eftersom det inte tvekar.

VII. Oavsett om det är värt det eller inte

Tre grupper.

Jag försöker bara komma tillbaka upp.Sluta röra runt. Wi-Fi innehåller "backup and recovery", som finns i fler menyer längst ned till vänster hörn av Windows / Mac-änden, med en mobiltelefon i "Jag satte upp en chattrekordhanteringsimport och export". Krypterad backup till din egen hårddisk, tillräckligt. Vad du vill är att inte förlora, inte fråga.
För att hitta något specifikt:Bygg inte ett bibliotek. Sökningen är inte dålig för mikrointelligens, och sökordet + tidsfiltret adresserar 80% av efterfrågan. Det är din tur att ställa in röret.
Jag vill verkligen göra årtiondet till ett konverserbart minne:Gör det. Men acceptera tre förutsättningar - att data är ett vrak, att de juridiska gränserna ska hållas på egen hand, och att kvaliteten på frågorna och svaren beror på hur stark du är, inte på modellen.

När det gäller matning AI själv är min största känsla:AI är inte flaskhalsen av detta steg.

Vad som verkligen är svårt är att exportera, att tvätta, att bryta upp, att matcha namn, att hantera dessa smutsiga uppgifter. Ingen av dessa saker kan hjälpa dig. De är alla lined up. När data är ren är nästa modell det enklaste steget.

Låt dig inte luras av "all-to-AI". Det är inte en show-off. Det är ett handjobb. 3675, det finns förmodligen tiotusentals ord värda att fråga, som alla är "ha-ha" och "bra". Men det är tiotusentals ord värda tre dagar.

Slutligen är den nuvarande situationen för sådana verktyg tydlig. Tekniskt, det uppmuntrar dig inte att göra det, innan du gör det, vänligen tänk tydligt på riskerna, särskilt inte passerar de exporterade uppgifterna.