76.2 Ti tusinde mikrobogstaver eksporteres til AI: Den sværeste del er ikke AI

For det første er konklusionen, at:Jeg gjorde det. 76,2 10.000 beskeder, 367,5 millioner ord, alle i et lokalt bibliotek, og jeg kan nu stille det spørgsmål.Men jeg tilbragte tre dage, to af dem ikke kæmper med AI, men med "Hvordan man får data".

Og jeg må lægge et dårligt ord foran det.sloganet "Mine data er mine" hver dag er dybest set tomt.Din rekord er på din egen harddisk, ikke en eneste byte. Men du ønsker at læse det, du er nødt til at krydse en juridisk tærskel og en teknisk tærskel. Jeg gennemgik teknologien, loven, de mennesker, der gennemgik teknologien, skærer nu biblioteket ned.

For et år siden blev redskaberne til at gøre det ryddet op.

Den 20. oktober 2025 udsendte to af de mest berømte mikrokreditdataværktøjer identiske meddelelser samme dag.

PyWxDump 's README er blevet Projekt Fjernelse Meddelelse om, at der er en risiko for overholdelse af den centrale funktion, som er at undgå juridiske problemer.Fjern alle koder og send historikDer er kun én seddel tilbage på lageret. Forfatteren endelig skrev en "senere" og ændrede det offentlige tegn til en Python-kun tutorial.

Samme dag var der kun én seddel tilbage i Chatlogs lager, og forfatteren Sarvs sprog var næsten identisk: modtaget korrespondance, kode- og indsendelseshistorie blev tømt, og der blev ikke ydet yderligere støtte.

Hvad var omfanget af disse to projekter? PyWxDump 9638, chatlog 9177. Den er ikke lille.

Senere, i januar 2026, var der nyheder om en one-off klage over lageret gennem DMCA kanal i GitHub, med mere end 30 tal nævnt i den offentlige rapport, hvoraf tusindvis af stjerner var modne, og forsvarere direkte indikerede, at vedligeholdelse blev stoppet under juridisk pres.

For at gøre det klart er at sige:Værktøjet, der fik dig til at læse dine egne chatplader, blev systematisk renset.

Så skynd dig ikke på lektien. Langt størstedelen af de "One Key Exporting MicroList" lektioner, du kan finde på internettet er enten døde kæder, flyder til betalt software, eller gamle lagre, der skulle have været slettet for et par måneder siden. Jeg skriver dette, og jeg taler om vejen, ikke den måde du kan drive et lager -- fordi det lager er sandsynligvis væk.

Find ud af, hvor dine data er.

På Windows, direktøren for Micro- Intelligent Data:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac på ~/Library/Containers/com.tencent.xinWeChat/ Her er strukturen den samme. Vi mener, at stien og bibliotekets struktur er blevet justeret siden 4.x i stedet for at bruge den hårde sti i den gamle artikel.

Og så skynder du dig at åbne MSG0.db og du vil få dette:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Som forventet.Hele biblioteket er krypteret af SQLCipher, er nøglen ikke findes i filen, er det beregnet ud fra hukommelsen, når micro- mail kører. Det er derfor, de centrale trin i alle disse værktøjer kaldes "tage nøglen" -- hvad de gør er grundlæggende at få den nøgle ud af processen hukommelse.

Dette skridt er kernen i compliance striden. Du vil læse dine egne data, men du vil gøre det ved at omgå producentens tekniske beskyttelse. Den juridiske kvalifikation af disse to ting, og dine instinkter, er helt forskellige.

Jeg kan ikke give dig en undtagelse. Jeg kan kun gøre det klart:Karakteren af den lokale eksport af deres egne regnskaber, som er til eget brug, og som anvendes til formidling, salg og service, er helt forskellig.Rør den ikke.

Et andet praktisk spørgsmål: "Var ikke hele bogen"

Selv hvis de tekniske problemer er løst, har du den eneste del af computeren, der er synkroniseret. Vi mener, at pc-end records blev synkroniseret under dit login, eller du migrerede manuelt.

De blev slettet fra andre telefoner i de tidlige år, de blev erstattet, de var i gammelt udstyr, de var ikke. Denne gang bliver jeg kaldt "Ti År", og det år, hvor jeg faktisk sammensætte en fuld dialog er omkring seks eller syv år gammel, og endnu tidligere, var der kun fragmenter.Den såkaldte "ten-year record" blev syet op i en bunke stykker.

Hvad er begrebet tre, 3675?

Rengøring er 367,5 millioner ord, 76,2 millioner. I gennemsnit 48 ord, der svarede til rigtige chats - for det meste "hvor" "god" "modtaget" "ha- ha- ha" ".

Dette volumen, den første reaktion skal være "direkte til den store model". Jeg tænkte over det og gav op.

3675 000 ord sammenlignet med størrelsen af kontekst vindue

Hallo?	Kontekstkrav	Kan du sætte den ned?
Mainstream 128K Kontekst	Om 36,75 M tegn	Det er knap 0,4%.
200K sammenhæng	Om 36,75 M tegn	0,6% eller ingenting.
Match 1M sammenhæng	Om 36,75 M tegn	Det er omkring 3%, men det vil koste meget.

Opmærksomhed, der er en fælde i 1 M sammenhæng linje:Det betyder ikke, du kan huske det.Jo længere konteksten er, jo tydeligere er faldet i modellens fokus på midten, som gentagne gange er blevet godkendt af industrien. Du puttede ti års pis i det, og du spørger, "Sagde jeg, at jeg skal skifte job i marts 2021?" Og det er bare noget fis.

Så udtrykket "all feed AI" er teknisk ukorrekt.Det, jeg gør, er ikke at sætte 367,5 millioner ord ind i modellens hjerne, men at skabe et indeks, der kan vendes når som helst.Det er den vigtigste forskel. Alle de tekniske beslutninger kommer herfra.

For det fjerde bruger jeg dette rør.

Fem skridt, et skridt vil ikke blive sparet.

Five- step pipe fra 3675.000 ord til søgbare bibliotek

Trin 1: Eksportér til struktureret tekst

Målformatet er enkelt, en linje ad gangen, en højttaler, et sessionsnavn. Fremstil ikke HTML eller PDF -- de er til mennesker, ikke til programmer. Jeg vil have en struktur, der er grep, nedskæringer, tæller tid.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Dette skridt har lidt teknisk indhold, men bestemmer kvaliteten af alle de links, der følger.Hvis du mister tidsstemplet, spørger du aldrig "den tid"; hvis du mister højttaleren, ved du ikke, hvem der sagde det.

Trin 2: Ryd op, skær halvdelen af støjen.

Mindst 30 procent af de oprindelige data er affald: "Du har tilføjet XXX, kan du nu begynde at chatte" og "den anden side har trukket en besked" og "[photograph]" "[udtryk]" og der er endeløse sæt af utallige relæer og røde pakker.

Mine behandlingsprincipper er:Systemmeddelelsen slettes, den rene mediepladsholder opbevares, men typen markeres, og ultra- sMS (mindre end 4 ord uden information) sammenflettes i sammenhængen.

3675 millioner ord skåret til næsten 29 millioner ord. Bare rolig, de ord forurener kun resultaterne.

Trin 3: Segmenter - dette trin er det nemmeste at ødelægge hele projektet

Den mest almindelige fejl ved en nybegynder er at blive hard- cut af et fast antal ord. Skær det til 500 ord og skær det i halve at skære en samtale, den første halvdel i din hånd og den anden halvdel i den næste. Halvdelen af eftersøgningstiden begynder AI.

Min måde.Ved session + tid vindue dobbeltklipning: I samme session er den tilstødende meddelelse afbrudt i mere end 30 minutter; blokken er indeholdt i 400 til 600 ord; hver blok indeholder overskriften for sessionsnavnet + tidsinterval + deltager.

Denne overskrift synes at være overflødig, faktisk den mest værdifulde del. Fordi problemer med brugere ofte tager tid - "i slutningen af sidste års graduering" - der er ingen tid anker, og vektor hentning er ikke rigtigt.

Trin 4: Skal kvantificeres

70.000 eller mere, kør det hele over. Omkostningerne ved denne skala er nok i to cifre, meget billigere end jeg forventede. Hvad der virkelig koster er antallet af gange du kører igen -- jeg har ændret tre udgaver på grund af split strategi og kørte tre gange.

Hvor? Sqlite- vec er nok. Kom ikke herop med Milvus, Qdrant, titusindvis af data om en mand, ikke det.

Trin 5: Blandet søgning, ikke bare en vektor

Ren vektor søgning er et almindeligt udtryk i denne form for chat optagelse. Årsagen er klar:Du er ofte på udkig efter navne, navne, specifikke beløb, som er præcise matchende job og ikke særlig gode vektorer.

Så det sidste løb er en hybrid søgning: en vektor tilbagekaldelse, et søgeord (BM25 eller direkte SQLLLKE) tilbagekaldelse, fletning og vejer, og derefter give modellen svaret. Denne ændring har resulteret i en forbedring af nøjagtigheden af responsraten, hvilket er mere indlysende end nogen tidligere optimering kombineret.

Fem, fem huller jeg har trådt på, og det vil du sikkert.

Jeg troede, at Db var normal sqlite.Det er det ikke. Alle spørgsmålene om "hvordan kan ikke åbne" stammer fra dette.
Billeder og stemme er... Dat.Ikke et standardformat. Hver filheader er forskellig eller krypteret. For at få en separat behandling, jeg gav op - en 10-års kort, med en meget lavere ekstraktionsværdi end omkostninger.
Panelhøjttalerens ID er nummeret.Hvis du ikke gør det, skal du lave et mikrokort i MicroMsg.db, og du vil ikke læse det.
Den samme persons navn ændres.Jeg har ændret mine notater og øgenavne i 10 år. Den samme person kan have fire navne på dit bibliotek. Hvis der ikke er ensartethed, må søgningen være forkert.
Tidsstempel nogle gange problemer.Tiden for optagelse på tværs af enheden til at synkronisere vil være partisk, og "besked på 3: 00" vil blive brugt til at mistænke tiden stempel, så du ikke tage fejl.

Hvad kan den gøre nu?

Nogle af de spørgsmål, jeg faktisk stillede og besvaret godt:

"I 2021, da jeg sagde, at jeg ville skifte job, hvad var der helt præcist galt?" - det satte mig sammen på forskellige tidspunkter med tre mennesker, vender tilbage til tre bekymringer på det tidspunkt.
"Lover Zhang at gøre det for mig, og holdt det?" Den fandt løftet og det, jeg bad om tre måneder senere, og han skubbede det af.
"Hvor mange gange har jeg nævnt at gå til Japan i årenes løb?" - Tæller ud syv gange, med hver gang og kontekst.

Det er et forfærdeligt svar. Alt, hvad der vedrører subjektive spørgsmål om, hvad jeg var i humør til dengang, er et sæt ord.En chatplade kan genskabe fakta, ikke følelser.På dette tidspunkt, AI har den samme erfaring du har med gamle chatposter -- endnu værre, fordi det ikke tøver.

VII. Om det er det værd eller ej

Tre grupper.

Jeg prøver bare at komme op igen.Hold op med at fjolle rundt. Den wi- fi indeholder "backup og inddrivelse", som er tilgængelig i flere menuer i nederste venstre hjørne af Windows / Mac ende, med en mobiltelefon i "Jeg opretter en chat record management import og eksport". Krypteret backup til din egen harddisk, nok. Du vil ikke miste, ikke spørge.
For at finde noget specifikt:Du skal ikke bygge et bibliotek. Søgningen er ikke dårlig for mikro- intelligens, og nøgleordet + tidsfilter adresserer 80% af efterspørgslen. Det er din tur til at sætte røret op.
Jeg vil virkelig gøre årtiet til et konversationelt minde:Gør det. Men acceptere tre forudsætninger - at dataene er et vrag, at de juridiske grænser skal holdes på egen hånd, og at kvaliteten af spørgsmål og svar afhænger af, hvor stærk du er, ikke af modellen.

Hvad angår fodring AI selv, min største følelse er:AI er ikke flaskehalsen i dette trin.

Det, der virkelig er svært, er at eksportere, vaske, slå op, matche navne, håndtere disse beskidte opgaver. Ingen af disse ting kan hjælpe dig. De er klar. Når dataene er rene, er den næste model det enkleste trin.

Så lad dig ikke narre af "all-to-AI". Det er ikke et show- off. Det er et håndjob. I 3675 er der sandsynligvis titusinder af ord, der er værd at spørge om, og som alle er "ha" og "god". Men det er de titusinder af ord værd tre dage.

Endelig er den nuværende situation for sådanne værktøjer klar. Teknisk set tilskynder det dig ikke til at gøre det; før du gør det, skal du tænke klart over risiciene, især ikke videregive de eksporterede data.