76.2 Tienduizend microletters worden geëxporteerd naar AI: Het moeilijkste deel is niet AI

Ten eerste luidt de conclusie:Ik heb het gedaan. 76.2 10.000 berichten, 367.5 miljoen woorden, allemaal in een lokale bibliotheek, en ik kan het nu vragen stellen.Maar ik heb drie dagen doorgebracht, twee van hen vochten niet met AI, maar met "Hoe de gegevens te krijgen."

En ik moet er een slecht woord voor zetten.De slogan "Mijn gegevens zijn van mij" elke dag is eigenlijk leeg.Je staat op je eigen harde schijf, geen byte. Maar je wilt het lezen, je moet een wettelijke drempel en een technische drempel overschrijden. Ik ging door de technologie, de wet, de mensen die door de technologie gingen snijden nu de bibliotheek.

Een jaar geleden zijn de instrumenten hiervoor opgeruimd.

Op 20 oktober 2025 hebben twee van de beroemdste microkredietgegevenstools op dezelfde dag identieke kennisgevingen uitgegeven.

PyWxDump's README is uitgegroeid tot de Project Verwijdering kennisgeving dat er een risico van naleving van de kernfunctie, dat is om juridische problemen te voorkomen.Alle codes verwijderen en geschiedenis indienenEr is maar één briefje over in het pakhuis. De auteur schreef uiteindelijk een "later" en veranderde het publieke teken in een Python-only tutorial.

Op dezelfde dag werd er slechts één noot achtergelaten in het magazijn van Chatlog, en de taal van de auteur Sarv was bijna identiek: ontvangen correspondentie, code en indiening geschiedenis werden geleegd en geen verdere ondersteuning werd verstrekt.

Hoe groot waren deze twee projecten? PyWxDump 9638, chatlog 9177. Het is niet klein.

Later, in januari 2026 was er nieuws van een eenmalige klacht tegen het magazijn via het DMCA kanaal in GitHub, met meer dan 30 cijfers genoemd in het publieke rapport, waarvan duizenden sterren rijp waren, en verdedigers gaven direct aan dat onderhoud onder wettelijke druk werd gestopt.

Om duidelijk te zijn:De tool die je je eigen chatgegevens liet lezen werd systematisch opgeruimd.

Dus haast je niet met de les. De overgrote meerderheid van de "One Key Exporting MicroList" lessen die u kunt vinden op het internet zijn ofwel dode ketens, stromen naar betaalde software, of oude magazijnen die had moeten worden verwijderd een paar maanden geleden. Ik schrijf dit, en ik heb het over de manier, niet de manier waarop je een magazijn kunt runnen -- want dat magazijn is waarschijnlijk weg.

Zoek uit waar uw gegevens zijn.

Op Windows, de directeur van Micro-Intelligent Data:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac op ~/Library/Containers/com.tencent.xinWeChat/ Hier is de structuur vergelijkbaar. Wij geloven dat het pad en de bibliotheekstructuur zijn aangepast sinds 4.x in plaats van het harde pad van het oude artikel.

Draadloze lokale Data Directory structuur

En dan haast je je om MSG0.db te openen en dan krijg je dit:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Zoals verwacht.De hele bibliotheek wordt versleuteld door SQLCipher, de sleutel bestaat niet in het bestand, het wordt berekend uit het geheugen wanneer micro-mail draait. Daarom worden de kernstappen van al deze instrumenten "neem de sleutel" genoemd -- wat ze doen is in wezen die sleutel uit het procesgeheugen halen.

Deze stap vormt de kern van het nalevingsgeschil. Je gaat je eigen gegevens lezen, maar je gaat het doen door de technische bescherming van de fabrikant te omzeilen. De juridische kwalificatie van deze twee zaken en je instincten zijn totaal anders.

Ik kan je geen vrijstelling geven. Ik kan het alleen maar duidelijk maken:De aard van de lokale uitvoer van hun eigen rekeningen, die voor eigen gebruik zijn, en die worden gebruikt voor verspreiding, verkoop en service is volledig verschillend.Die achterin, niet aanraken.

Nog een praktische vraag: "Was niet het hele boek"

Zelfs als de technische problemen opgelost zijn, heb je het enige deel van de computer dat gesynchroniseerd is. Wij geloven dat de eindrecords van de PC tijdens uw login werden gesynchroniseerd, of dat u handmatig bent gemigreerd.

Ze werden verwijderd uit andere telefoons in de vroege jaren, ze werden vervangen, ze waren in oude apparatuur, ze waren niet. Deze keer heet ik "Tien jaar," en het jaar dat ik eigenlijk een volledige dialoog samenvoeg is ongeveer zes of zeven jaar oud, en zelfs eerder waren er slechts fragmenten.Het zogenaamde tien jaar durende record werd in een stapel stukken genaaid.

Wat is het concept van drie, 3675?

Schoonmaken is 367,5 miljoen woorden, 76,2 miljoen. Een gemiddelde van 48 woorden, die overeenkomen met echte chats - meestal "waar" "goed" "ontvangen" "ha-ha-ha-ha."

Dit volume, de eerste reactie moet "direct naar het grote model." Ik heb erover nagedacht en opgegeven.

3675 000 woorden vergeleken met de grootte van het contextvenster

Hallo?	Contextvereisten	Kun je het afsluiten?
Mainstream 128K Context	Ongeveer 36,75 M tekens	Het is amper 0,4%.
200K Context	Ongeveer 36,75 M tekens	0,6% of niets.
Match 1M Context	Ongeveer 36,75 M tekens	Het is ongeveer 3%, maar het gaat veel kosten.

Attentie, er zit een val in de 1M context lijn:Dat betekent niet dat je het je kunt herinneren.Hoe langer de context, hoe duidelijker de daling van de focus van het model op het midden, die herhaaldelijk is gevalideerd door de industrie. Je stopte er tien jaar onzin in en je vroeg: "Heb ik gezegd dat ik in maart 2021 van baan zou veranderen?" En het is gewoon een serieuze onzin.

Dus de term "all feed AI" is technisch onjuist.Wat ik doe is niet 367,5 miljoen woorden in de hersenen van het model stoppen, maar het creëren van een index die kan worden omgedraaid op elk moment.Dat is het belangrijkste verschil. Alle technische beslissingen komen hier vandaan.

Ten vierde gebruik ik deze pijp.

Vijf stappen, één stap wordt niet gespaard.

Vijf-staps pijp van 3675.000 woorden tot doorzoekbare bibliotheek

Stap 1: Exporteren naar gestructureerde tekst

Het doelformaat is eenvoudig, één regel tegelijk, een spreker, een sessienaam. Maak geen HTML of PDF -- die zijn voor mensen, niet voor programma's. Wat ik wil is een structuur die grep, snijwonden, tijd telt.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Deze stap heeft weinig technische inhoud, maar bepaalt de kwaliteit van alle links die volgen.Als je de tijdstempel verliest, vraag je nooit "die tijd"; als je de spreker verliest, weet je niet wie het gezegd heeft.

Stap 2: Opruimen, snijd de helft van het lawaai.

Ten minste 30 procent van de oorspronkelijke gegevens is afval: "Je hebt XXX toegevoegd, je kunt nu beginnen met praten" en "de andere kant heeft een bericht ingetrokken" en "[fotogram]" "[expressie]" en er zijn eindeloze sets van ontelbare relais en rode pakketten.

Mijn behandelingsprincipes zijn:Het systeembericht wordt verwijderd, de pure media-plaatshouder wordt bewaard maar het type wordt gemarkeerd, en de ultra-sMS (minder dan 4 woorden zonder informatie) wordt samengevoegd in de context.

3675 miljoen woorden snijden tot bijna 29 miljoen woorden. Geen zorgen, die woorden vervuilen alleen de resultaten.

Stap 3: Segmenten Deze stap is het makkelijkst om het hele project te vernietigen

De meest voorkomende fout van een groentje is om hard gesneden te worden door een vast aantal woorden. Snijd het in 500 woorden en snij het in tweeën om een gesprek af te snijden, de eerste helft in je hand en de tweede helft in de volgende. De helft van de zoektijd begint AI.

Mijn manier.Op sessie + tijd venster dubbel knippen: In dezelfde sessie wordt het aangrenzende bericht langer dan 30 minuten afgesloten; het blok is opgenomen in 400 tot 600 woorden; elk blok bevat de header van de sessienaam + tijdbereik + deelnemer.

Deze kop lijkt overbodig, eigenlijk het meest waardevolle deel. Omdat problemen met de gebruikers vaak tijd nemen aan het eind van de graduatie van vorig jaar.Er is geen tijd anker, en vector retrieval is niet goed.

Stap 4: Te kwantificeren

Zeventigduizend of meer. De kosten van deze schaal is voldoende in twee cijfers, veel goedkoper dan ik had verwacht. Wat echt kost is het aantal keren dat je weer rent -- ik heb drie edities veranderd vanwege de split strategie en drie keer gelopen.

Waar? Sqlite-vec is genoeg. Kom hier niet met Milvus, Qdrant, tienduizenden gegevens over een man, niet dat.

Stap 5: Gemengd zoeken, niet alleen een vector

Pure vector search is een algemene uitdrukking in dit soort chat opnames. De reden is duidelijk:Je bent vaak op zoek naar namen, namen, specifieke bedragen, die precies overeenkomen met taken en niet erg goede vectoren.

Dus de uiteindelijke run is een hybride zoekopdracht: een vector recall, een trefwoord (BM25 of direct SQLLLKE) terugroepen, samenvoegen en wegen, en geef dan het model het antwoord. Deze verandering heeft geleid tot een verbetering van de nauwkeurigheid van het responspercentage, wat duidelijker is dan enige eerdere optimalisatie gecombineerd.

Vijf, vijf pits waar ik op stapte, en jij waarschijnlijk ook.

Dacht dat db normaal was.Dat is het niet. Alle vragen over 'hoe kan niet open' komen hiervandaan.
Foto's en stem zijn... Dat.Geen standaardformaat. Elke bestandskop is anders of versleuteld. Om een aparte behandeling te krijgen, gaf ik een kaart van 10 jaar, met een veel lagere extractiewaarde dan kosten.
De luidspreker ID is het nummer.Als je dat niet doet, moet je een microkaart maken in MicroMsg.db, en je gaat het niet lezen.
De naam van dezelfde persoon verandert.Ik heb mijn aantekeningen en bijnamen 10 jaar veranderd. Dezelfde persoon kan vier namen in uw bibliotheek hebben. Als er geen uniformiteit is, moet de zoektocht verkeerd zijn.
Tijdstempel soms problemen.De tijd voor opname over het apparaat om te synchroniseren zal bevooroordeeld zijn, en de "boodschap om 3:00 uur" zal gebruikt worden om de tijdstempel te vermoeden, dus vergis je niet.

Wat kan het nu doen?

Enkele van de vragen die ik eigenlijk stelde en goed beantwoordde:

"In 2021, toen ik zei dat ik van baan zou veranderen, wat was er precies aan de hand?" Het bracht me samen op verschillende tijden met drie mensen, terug naar drie zorgen op dat moment.
"Heeft Zhang beloofd het voor mij te doen, en bleef het duren?" Het vond de belofte en degene die ik drie maanden later vroeg, en hij duwde hem eraf.
"Hoe vaak heb ik gezegd dat ik door de jaren heen naar Japan ging?" - Zeven keer tellen, met elke keer en context.

Het is een vreselijk antwoord. Alles wat te maken heeft met subjectieve vragen over wat ik destijds in de stemming was, is een stel woorden.Een chatrecord kan de feiten herstellen, niet de gevoelens.Op dit moment heeft AI dezelfde ervaring als jij met oude chatplaten -- nog erger, want het aarzelt niet.

VII. Of dit het waard is of niet

Drie groepen.

Ik probeer gewoon weer op te staan.Stop met rotzooien. De wi-fi bevat "back-up en herstel," die beschikbaar is in meer menu's aan de linker onderkant van de Windows/Mac end, met een mobiele telefoon in "Ik heb een chat record management import en export." Versleutelde back-up naar je eigen harde schijf, genoeg. Wat je wilt is niet verliezen, niet vragen.
Om iets specifieks te vinden:Bouw geen bibliotheek. De zoekopdracht is niet slecht voor micro-intelligentie, en het trefwoord + tijd filter behandelt 80% van de vraag. Jij moet de pijp opzetten.
Ik wil het decennium veranderen in een gespreksbaar geheugen:Doe het. Maar accepteer drie voorwaarden dat de gegevens een wrak is, dat de wettelijke grenzen op hun eigen moeten worden gehouden, en dat de kwaliteit van de vragen en antwoorden afhankelijk is van hoe sterk je bent, niet van het model.

Wat betreft het voeden van AI zelf, mijn grootste gevoel is:AI is niet het knelpunt van deze stap.

Wat echt moeilijk is om te exporteren, te wassen, uit elkaar te gaan, om namen te vergelijken, om deze vuile taken aan te pakken. Niets van deze dingen kan je helpen. Ze staan allemaal in de rij. Wanneer de gegevens schoon zijn, is het volgende model de eenvoudigste stap.

Dus laat je niet misleiden door de "all-to-AI." Het is geen opschepper. Aftrekken. In 3675, zijn er waarschijnlijk tienduizenden woorden de moeite waard te vragen, die allemaal "ha-ha" en "goed" zijn. Maar dat zijn de tienduizenden woorden die drie dagen waard zijn.

Tot slot is de huidige situatie van dergelijke instrumenten duidelijk. Technisch gezien moedigt het u niet aan om het te doen; voordat u dit doet, denk goed na over de risico's, vooral niet het doorgeven van de geëxporteerde gegevens.