76.2 Ti tusen mikro-brev eksporteres til AI: Den vanskeligste delen er ikke AI

For det første er konklusjonen at:Jeg gjorde det. 76,2 10.000 meldinger, 367,5 millioner ord, alle i et lokalt bibliotek, og jeg kan nå stille det spørsmål.Men jeg brukte tre dager, to av dem ikke å kjempe med AI, men med " hvordan å få dataene."

Jeg må sette et dårlig ord foran det.Slagordet " Mine data er mine" hver dag er i utgangspunktet tomt.Din plate er på din egen harddisk, ikke en enkelt byte. Men du vil lese det, du må krysse en juridisk terskel og en teknisk terskel. Jeg gikk gjennom teknologien, loven, de som gikk gjennom teknologien, klipper nå biblioteket.

For bare ett år siden ble verktøyene til å gjøre dette ryddet opp.

20. oktober 2025 ga to av de mest kjente mikrokredittdataverktøyene ut identiske meldinger på samme dag.

PyWxDumps README har blitt meldingen om fjerning av prosjektet til den effekten at det er en risiko for overholdelse av kjernefunksjonen, som er å unngå juridiske problemer.Fjern alle koder og send inn historieBare én note er igjen i lageret. Forfatteren skrev til slutt en "senere" og endret det offentlige skiltet til en Python-kun opplæring.

På samme dag ble bare én note igjen i lageret av Chatlog, og forfatteren Sarvs språk var nesten identiske: mottatt korrespondanse, kode og innlevering historie ble tømt og ingen ytterligere støtte ble gitt.

Hva var omfanget av disse to prosjektene? PyWxDump 9638, chatlog 9177. Den er ikke liten.

Senere, i januar 2026, var det nyheter om en en-off klage mot lageret gjennom DMCA-kanalen i GitHub, med mer enn 30 tall nevnt i den offentlige rapporten, av hvilke tusenvis av stjerner var modne, og forsvarere direkte indikerte at vedlikehold ble stoppet under lovlig press.

Å være klar er å si:Verktøyet som gjorde at du leste dine egne chatposter ble systematisk rengjort.

Så ikke skynd deg. De aller fleste av -One Key Exporting MicroList - leksjoner du kan finne på Internett er enten døde kjeder, flyter til betalt programvare, eller gamle lager som skulle ha blitt slettet for noen måneder siden. Jeg skriver dette, og jeg snakker om veien, ikke måten du kan kjøre et lager på - fordi det lageret sannsynligvis er borte.

Finn ut hvor dataene dine er.

På Windows, direktør for Micro-Intelligent Data:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac på ~/Library/Containers/com.tencent.xinWeChat/ Her er strukturen lik. Vi tror at stien og bibliotekstrukturen har blitt justert siden 4.x i stedet for å bruke den harde veien til den gamle artikkelen.

Og så skynder du deg til å åpne MSG0.db.

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Som forventet.Hele biblioteket er kryptert av SQLcipherNøkkelen eksisterer ikke i filen, den beregnes fra minnet når mikromail kjører. Derfor kalles kjernetrinnene i alle disse verktøyene " ta nøkkelen -- det de gjør -- i det vesentlige for å få den nøkkelen ut av prosessminnet.

Dette trinnet ligger i hjertet av samsvarskonflikten. Du kommer til å lese dine egne data, men du vil gjøre det ved å omgå produsentens tekniske beskyttelse. Den juridiske kvalifikasjonen til disse to sakene, og instinktene dine, er helt annerledes.

Jeg kan ikke gi deg unntak. Jeg kan bare gjøre det klart:Naturen til den lokale eksporten av sine egne kontoer, som er til egen bruk, og som brukes til formidling, salg og service er helt annerledes.Den i ryggen, ikke rør den.

Et annet praktisk spørsmål: " Ikke hele boken"

Selv om de tekniske problemene er løst, har du den eneste delen av datamaskinen som er synkronisert. Vi tror at PC-sluttlistene ble synkronisert under innloggingen din, eller du flyttet manuelt.

De ble slettet fra andre telefoner i de tidlige årene, de ble erstattet, de var i gammelt utstyr, de var ikke. Denne gangen heter jeg "Ten Years" og året da jeg faktisk satte sammen en full dialog er rundt seks eller syv år gammel, og selv tidligere var det bare fragmenter.Den såkalte tiårsrekorden ble sydd opp i en haug av stykker.

Hva er konseptet med tre 3675?

Rengjøring er 367,5 millioner ord, 76,2 millioner. Et gjennomsnitt på 48 ord, som tilsvarte ekte chatter - for det meste - hvor"goodgoodgood god " " mottok" " " "ha-ha-ha-ha." -

Dette volumet, den første reaksjonen må være - direkte til den store modellen - Jeg tenkte på det og ga opp.

Hallo?	Kontekstkrav	Kan du koble den ned?
Hovedstrøm 128K Kontekst	Om 36.75 M tegn	Det er knapt 0,4%.
200K Kontekst	Om 36.75 M tegn	0.6 % eller ingenting.
Match 1M-kontekst	Om 36.75 M tegn	Det kommer til å koste mye.

Det er en felle i 1M-kontekstlinjen:Det betyr ikke at du kan huske.Jo lenger sammenhengen er, jo klarere er nedgangen i fokus av modellen på midten, som har blitt gjentatte ganger validert av industrien. Du legger ti år med tull i det, og du spør det, - Har jeg sagt jeg kommer til å endre jobb i mars 2021 - Og det er bare et seriøst tull.

Så begrepet " all feed AI" er teknisk unøyaktig.Det jeg gjør er ikke å sette 367,5 millioner ord i hjernen til modellen, men å skape en indeks som kan oversettes når som helst.Det er forskjellen. Alle ingeniørbeslutninger kommer herfra.

For det fjerde bruker jeg dette røret.

Fem trinn vil ikke bli spart.

Trinn 1: Eksporter til strukturert tekst

Målformatet er enkelt, en linje om gangen, en høyttaler, et øktnavn. Ikke produsere HTML eller PDF - de er for mennesker, ikke for programmer. Det jeg vil ha er en struktur som er grep, cuts, teller tid.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Dette trinnet har lite teknisk innhold, men bestemmer kvaliteten på alle koblingene som følger.Hvis du mister tidsmerket, spør du aldri - den gangen -; hvis du mister høyttaleren, vet du ikke hvem som sa det.

Trinn 2: Rens opp, skjære halvparten av støyen.

Minst 30 prosent av de originale dataene er søppel: "Du har lagt til XXX, du kan nå begynne å chatte" og " den andre siden har trukket tilbake en melding" og "[fotogram] "[[uttrykk]" og det er uendelige sett med utallige reléer og røde pakker.

Mine behandlingsprinsipper er:Systemmeldingen slettes, den rene medieplassholderen holdes, men typen er merket, og ultra-sMS (mindre enn 4 ord uten informasjon) slås sammen i sammenhengen.

3675 millioner ord kuttet til nesten 29 millioner ord. Ikke bekymre deg, disse ordene bare forurenser resultatene.

Trinn 3: Segments - dette trinnet er det enkleste å ødelegge hele prosjektet

Den vanligste feilen av en rogie er å være hardt kuttet av et fast antall ord. Klipp det til 500 ord og kutt det i to for å kutte av en samtale, den første halvdelen i hånden og den andre halvdelen i neste. Halve søketiden begynner AI.

Min vei.Etter sesjon + tidsvindu dobbel kutt: I den samme sesjonen frakobles den tilstøtende meldingen i mer enn 30 minutter; blokken er inneholdt i 400 til 600 ord; hver blokk inneholder overskriften for sesjonsnavnet + tidsintervall + deltaker.

Denne overskriften virker overflødig, faktisk mest verdifull. Fordi problemer med brukere ofte tar tid - \"på slutten av fjorårets eksamen\" - det er ingen tid anker, og vektor retrieval er ikke riktig.

Trinn 4: Å bli kvantifisert

70 000 eller mer. Kostnaden i denne skalaen er nok i to tall, mye billigere enn jeg forventet. Hva som virkelig koster er antall ganger du kjører igjen -- Jeg har endret tre utgaver på grunn av splitte strategi og kjørt tre ganger.

Hvor? Sqlite-vec er nok. Ikke kom hit med Milvus, Qdrant, titusenvis av data om en mann, ikke det.

Trinn 5: Blandet søk, ikke bare en vektor

Ren vektorsøk er et felles uttrykk i denne typen chat opptak. Årsaken er klar:Du leter ofte etter navn, navn, spesifikke mengder, som er nøyaktige matchende jobber og ikke veldig gode vektorer.

Så den endelige kjøringen er et hybridsøk: en vektor tilbakekalling, et søkeord (BM25 eller direkte SQLLLKE) tilbakekalling, fletting og vekt, og deretter gi modellen svaret. Denne endringen har resultert i en forbedring av nøyaktigheten av responsraten, som er mer tydelig enn noen tidligere optimalisering kombinert.

Fem, fem groper jeg har gått på, og det vil du sannsynligvis.

1. Tenkte .db var normal sqlite.Det er det ikke. Alle spørsmål om " hvordan kan ikke åpne" stammer fra dette.
2. Bilder og stemme er... dat.Ikke et standardformat. Hvert filhode er forskjellig eller kryptert. For å få en separat behandling, ga jeg opp - et 10-årig kart, med en mye lavere utvinningsverdi enn kostnadene.
3. Panelhøyttaler-ID er nummeret.Hvis du ikke gjør det, må du gjøre et mikrokart i MicroMsg.db, og du vil ikke lese det.
4. Den samme personens navn endres.Jeg har endret notater og kallenavn i 10 år. Samme person kan ha fire navn i biblioteket. Hvis det ikke er noen ensartethet, må søket være galt.
5. Tid frimerke noen ganger problemer.Tiden for innspilling over enheten for å synkronisere vil bli biasert, og -meldingen klokken 3:00 - vil bli brukt til å mistenke tidsmerket, så ikke bli feil.

Hva kan den gjøre nå?

Noen av spørsmålene jeg faktisk stilte og svarte godt:

• " I 2021, da jeg sa at jeg skulle bytte jobb, hva var det egentlig matter det satte meg sammen til forskjellige tider med tre personer, og returnerte til tre bekymringer på den tiden.
• Zhang lovet å gjøre det for meg, og gjorde det sist Det fant løftet og den jeg spurte tre måneder senere, og han presset det av.
• " Hvor mange ganger har jeg nevnt å reise til Japan gjennom årene - å telle ut syv ganger, med hver gang og kontekst.

Det er et forferdelig svar. Alt som gjelder subjektive spørsmål om hva jeg var i humør på den tiden, det er et sett med ord.En chatplate kan gjenopprette fakta, ikke følelsene.På dette punktet har AI den samme opplevelsen du har med gamle chat-plater - enda verre, fordi det ikke nøler.

VII. Om dette er verdt det eller ikke

Tre grupper.

• Jeg prøver å komme meg opp igjen.Slutt å tulle. Wi-fi inneholder "backup og recovery", som er tilgjengelig i flere menyer i det nederste venstre hjørnet av Windows/Mac-enden, med en mobiltelefon i " Jeg satte opp en chat plate management import og eksport". Kryptert backup til din egen harddisk, nok. Det du vil er ikke å miste, ikke spørre.
• For å finne noe spesielt:Ikke bygg et bibliotek. Søket er ikke dårlig for mikro-intelligens, og søkeord + tidsfilter adresserer 80% av etterspørselen. Det er din tur å sette opp røret.
• Jeg vil virkelig gjøre tiåret til et konversert minne:Gjør det. Men godta tre forutsetninger - at dataene er et vrak, at de juridiske grensene skal holdes på egen hånd, og at kvaliteten på spørsmålene og svarene avhenger av hvor sterk du er, ikke på modellen.

Når det gjelder å mate AI selv, min største følelse er:AI er ikke flaskehalsen i dette trinnet.

Det som er veldig vanskelig er å eksportere, å vaske, å bryte opp, å matche navn, å håndtere disse skitne oppgavene. Ingen av disse tingene kan hjelpe deg. De er alle på linje. Når dataene er rene er den neste modellen det enkleste steget.

Så ikke bli lurt av - alt-til-AI - Det er ikke en show-off. Det er en håndjobb. I 3675 er det sannsynligvis titusenvis av ord verdt å spørre, som alle er - ha-ha - og -godt - Men det er titusenvis av ord verdt tre dager.

Til slutt er den nåværende situasjonen til slike verktøy tydelig. Teknisk sett oppfordrer det ikke deg til å gjøre det; før du gjør det, vennligst tenk tydelig på risikoene, spesielt ikke å passere eksportdata.