76,2 Zehntausend Mikrobriefe werden an KI exportiert: Der schwierigste Teil ist nicht KI

Erstens:Ich habe es getan. 76,2 10.000 Nachrichten, 367,5 Millionen Wörter, alle in einer lokalen Bibliothek, und ich kann jetzt alle Fragen stellen.Aber ich verbrachte drei Tage, zwei von ihnen kämpften nicht mit KI, sondern mit "Wie bekomme ich die Daten?"

Und ich muss ein schlechtes Wort davor setzen.Der Slogan „Meine Daten sind meine jeden Tag ist im Grunde leer.Ihre Aufzeichnung ist auf Ihrer eigenen Festplatte, nicht ein einzelnes Byte. Aber Sie wollen es lesen, Sie müssen eine gesetzliche und eine technische Schwelle überschreiten. Ich ging durch die Technologie, das Gesetz, die Leute, die durch die Technologie gingen, schneiden jetzt die Bibliothek.

Erst vor einem Jahr wurden die Werkzeuge dafür geklärt.

Am 20. Oktober 2025 gaben zwei der bekanntesten Mikrokredit-Datentools am selben Tag identische Benachrichtigungen aus.

Die README von PyWxDump wurde zum Projektentfernungshinweis, der besagt, dass die Gefahr der Einhaltung der Kernfunktion besteht, die darin besteht, rechtliche Probleme zu vermeiden.Alle Codes entfernen und Geschichte einreichenNur eine Notiz bleibt im Lager. Der Autor schrieb schließlich ein "später" und änderte das öffentliche Zeichen in ein Python-Tutorial.

Am selben tag wurde nur eine notiz im lager von chatlog hinterlassen, und die sprache des autors sarv war fast identisch: empfangene korrespondenz, code und einreichungsgeschichte wurden geleert und es wurde keine weitere unterstützung bereitgestellt.

Wie groß war der Umfang dieser beiden Projekte? PyWxDump 9638, Chatlog 9177. Es ist nicht klein.

Später, im Januar 2026, gab es Nachrichten über eine einmalige Beschwerde gegen das Lager durch den DMCA-Kanal in GitHub, mit mehr als 30 Zahlen in dem öffentlichen Bericht erwähnt, von denen Tausende von Sternen ausgereift waren, und Verteidiger direkt darauf hingewiesen, dass die Wartung unter rechtlichem Druck gestoppt wurde.

Um es klar zu sagen:Das tool, mit dem sie ihre eigenen chat-datensätze lesen konnten, wurde systematisch bereinigt.

Also überstürze die Lektion nicht. Die überwiegende Mehrheit der "One Key Exporting MicroList" -Lektionen, die Sie im Internet finden können, sind entweder tote Ketten, die zu bezahlter Software fließen, oder alte Lagerhäuser, die vor ein paar Monaten hätten gelöscht werden sollen. Ich schreibe dies, und ich spreche über den Weg, nicht über die Art und Weise, wie man ein Lager führen kann - weil dieses Lager wahrscheinlich weg ist.

Finden Sie heraus, wo Ihre Daten sind.

Unter Windows ist der Director of Micro-Intelligent Data:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac auf ~/Library/Containers/com.tencent.xinWeChat/ Hier ist die Struktur ähnlich. Wir glauben, dass der Pfad und die Bibliotheksstruktur seit 4.x angepasst wurden, anstatt den harten Pfad des alten Artikels zu verwenden.

Und dann beeilen Sie sich, MSG0.db zu öffnen, und Sie werden das bekommen:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Wie erwartet.Die gesamte Bibliothek wird von SQLCipher verschlüsseltDer Schlüssel existiert nicht in der Datei, er wird aus dem Speicher berechnet, wenn Mikro-Mail ausgeführt wird. Deshalb werden die Kernschritte all dieser Werkzeuge "den Schlüssel nehmen" genannt - was sie im Wesentlichen tun, ist, diesen Schlüssel aus dem Prozessspeicher zu holen.

Dieser Schritt steht im Mittelpunkt des Compliance-Streits. Sie werden Ihre eigenen Daten lesen, aber Sie werden es tun, indem Sie den technischen Schutz des Herstellers umgehen. Die rechtliche Qualifikation dieser beiden Angelegenheiten und Ihre Instinkte sind völlig unterschiedlich.

Ich kann Ihnen keine Compliance-Befreiung geben. Ich kann nur klarstellen:Die Art des lokalen Exports eigener Konten, die für den eigenen Gebrauch bestimmt sind und für die Verbreitung, den Verkauf und die Dienstleistung verwendet werden, ist völlig anders.Die in der Rückseite, berühren Sie es nicht.

Eine weitere praktische Frage: "War nicht das ganze Buch"

Selbst wenn die technischen Probleme gelöst sind, haben Sie den einzigen Teil des Computers, der synchronisiert ist. Wir glauben, dass die PC-Enddatensätze während Ihres Logins synchronisiert wurden oder Sie manuell migriert haben.

Sie wurden in den ersten jahren von anderen telefonen gelöscht, sie wurden ersetzt, sie waren in alten geräten, sie waren nicht. Dieses Mal heißt ich "Zehn Jahre", und das Jahr, in dem ich einen vollständigen Dialog zusammenstelle, ist ungefähr sechs oder sieben Jahre alt, und noch früher gab es nur Fragmente.Der sogenannte "Zehnjahresrekord" wurde in einem Haufen Stücke vernäht.

Was ist das Konzept von drei, 3675?

Reinigung ist 367,5 Millionen Wörter, 76,2 Millionen. Durchschnittlich 48 Wörter, was echten Chats entsprach - meistens "wo" "gut" "empfangen" "ha-ha-ha-ha".

Dieses Volumen, die erste Reaktion muss "direkt auf das große Modell" sein. Ich dachte darüber nach und gab auf.

Hallo?	Kontextanforderungen	Kannst du es verstopfen?
Mainstream 128K Kontext	Über 36,75 M Zeichen	Es sind kaum 0,4%.
200K Kontext	Über 36,75 M Zeichen	0,6% oder nichts.
Match 1M Kontext	Über 36,75 M Zeichen	Es sind etwa 3%, aber es wird viel kosten.

Achtung, es gibt eine Falle in der 1M-Kontextzeile:Es bedeutet nicht, dass du dich erinnern kannst.Je länger der Kontext, desto deutlicher wird der Rückgang des Fokus des Modells auf die Mitte, der von der Industrie wiederholt validiert wurde. Sie haben zehn Jahre Bullshit hineingesteckt und fragen: "Habe ich gesagt, dass ich im März 2021 den Job wechseln werde?" Und es ist nur ein ernster Bullshit.

Der Begriff "all feed AI" ist also technisch ungenau.Was ich tue, ist nicht, 367,5 Millionen Wörter in das Gehirn des Modells zu bringen, sondern einen Index zu erstellen, der jederzeit umgedreht werden kann.Das ist der entscheidende Unterschied. Alle technischen Entscheidungen kommen von hier.

Viertens benutze ich diese Pfeife.

Fünf Schritte, ein Schritt wird nicht verschont bleiben.

Schritt 1: Exportieren Sie in strukturierten Text

Das Zielformat ist einfach, eine Zeile nach der anderen, ein Sprecher, ein Sitzungsname. Produzieren Sie kein HTML oder PDF - das ist für Menschen, nicht für Programme. Was ich will, ist eine Struktur, die grep, schneidet, Zeit zählt.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Dieser Schritt hat wenig technischen Inhalt, bestimmt aber die Qualität aller folgenden Links.Wenn Sie den Zeitstempel verlieren, fragen Sie nie "diese Zeit"; Wenn Sie den Sprecher verlieren, wissen Sie nicht, wer es gesagt hat.

Schritt 2: Aufräumen, halbieren Sie den Lärm.

Mindestens 30 Prozent der ursprünglichen Daten sind Müll: "Sie haben XXX hinzugefügt, Sie können jetzt mit dem Chatten beginnen" und "Die andere Seite hat eine Nachricht zurückgezogen" und "[Fotogramm]" "[Ausdruck]" und es gibt endlose Sätze von unzähligen Relais und roten Paketen.

Meine Behandlungsprinzipien sind:Die Systemnachricht wird gelöscht, der reine Medienplatzhalter bleibt erhalten, aber der Typ ist markiert, und das Ultra-SMS (weniger als 4 Wörter ohne Informationen) wird in den Kontext aufgenommen.

3675 Millionen Wörter auf fast 29 Millionen Wörter. Keine Sorge, diese Worte verschmutzen nur die Ergebnisse.

Schritt 3: Segmente - dieser Schritt ist am einfachsten, um das gesamte Projekt zu zerstören

Der häufigste Fehler eines Rookies besteht darin, von einer festen Anzahl von Wörtern hart geschnitten zu werden. Schneiden Sie es auf 500 Wörter und schneiden Sie es in zwei Hälften, um ein Gespräch abzuschneiden, die erste Hälfte in Ihrer Hand und die zweite Hälfte in der nächsten. Die Hälfte der Suchzeit, AI beginnt.

Mein Weg.Nach Sitzung + Zeitfenster Double Cut: In derselben Sitzung wird die angrenzende Nachricht für mehr als 30 Minuten getrennt; der Block ist in 400 bis 600 Wörtern enthalten; jeder Block enthält den Header des Sitzungsnamens + Zeitbereich + Teilnehmer.

Diese Überschrift scheint überflüssig zu sein, eigentlich der wertvollste Teil. Da Probleme mit Benutzern oft Zeit brauchen - "am Ende des Abschlusses des letzten Jahres" - gibt es keinen Zeitanker, und der Vektorabruf ist nicht richtig.

Schritt 4: Quantifizierung

Siebzigtausend oder mehr, lass es überall laufen. Die Kosten für diese Skala reichen in zwei Ziffern aus, viel billiger als ich erwartet hatte. Was wirklich kostet, ist die Anzahl der Male, die Sie wieder laufen - ich habe drei Editionen wegen der Split-Strategie geändert und dreimal gelaufen.

Wo? Sqlite-vec ist genug. Kommen Sie hier nicht mit Milvus, Qdrant, Zehntausende von Daten über einen Mann, nicht das.

Schritt 5: Gemischte Suche, nicht nur ein Vektor

Reine vektorsuche ist ein üblicher ausdruck in dieser art von chat-aufnahme. Der Grund ist klar:Sie suchen oft nach Namen, Namen, bestimmten Beträgen, die genau übereinstimmende Jobs und nicht sehr gute Vektoren sind.

Der letzte Durchlauf ist also eine Hybridsuche: ein Vektorrückruf, ein Schlüsselwort (BM25 oder direkte SQLLLKE) zurückrufen, zusammenführen und abwägen und dann dem Modell die Antwort geben. Diese Änderung hat zu einer Verbesserung der Genauigkeit der Ansprechrate geführt, die deutlicher ist als jede vorherige Optimierung zusammen.

Fünf, fünf Gruben, auf die ich getreten bin, und Sie werden es wahrscheinlich tun.

1. Dachte .db war normal sqlite.Das ist es nicht. Alle Fragen des "Wie kann man sich nicht öffnen" ergeben sich daraus.
2. Bilder und Stimme sind... dat.Kein Standardformat. Jeder Datei-Header ist anders oder verschlüsselt. Um eine separate Behandlung zu erhalten, gab ich auf - eine 10-Jahres-Karte mit einem viel niedrigeren Extraktionswert als die Kosten.
3. Die Panel Speaker ID ist die Nummer.Wenn Sie das nicht tun, müssen Sie eine Mikrokarte in MicroMsg.db erstellen, und Sie werden sie nicht lesen.
4. Der Name der gleichen Person ändert sich.Ich habe meine Notizen und Spitznamen seit 10 Jahren geändert. Dieselbe Person kann vier Namen in Ihrer Bibliothek haben. Wenn es keine Einheitlichkeit gibt, muss die Suche falsch sein.
5. Zeitstempel manchmal Probleme.Die Zeit für die Aufzeichnung über das Gerät zu synchronisieren wird voreingenommen, und die "Nachricht um 3:00 Uhr" wird verwendet, um den Zeitstempel zu vermuten, also nicht falsch sein.

Was kann sie jetzt tun?

Einige der Fragen, die ich tatsächlich gestellt und gut beantwortet habe:

• "Im Jahr 2021, als ich sagte, ich würde den Job wechseln, was genau war die Sache?" - es brachte mich zu verschiedenen Zeiten mit drei Leuten zusammen und kehrte zu dieser Zeit zu drei Bedenken zurück.
• "Hat Zhang versprochen, es für mich zu tun, und hat es zuletzt?" - Es fand das versprechen und das, was ich drei monate später fragte, und er schob es ab.
• "Wie oft habe ich erwähnt, dass ich im Laufe der Jahre nach Japan gegangen bin?" - Zählen Sie sieben Mal mit jeder Zeit und jedem Kontext.

Es ist eine schreckliche Antwort. Alles, was subjektive fragen darüber betrifft, was ich damals in stimmung war, ist eine reihe von wörtern.Ein chat-rekord kann die fakten wiederherstellen, nicht die gefühle.An diesem punkt hat ki die gleiche erfahrung wie mit alten chat-aufzeichnungen - noch schlimmer, weil es nicht zögert.

VII. Ob sich das lohnt oder nicht

Drei Gruppen.

• Ich versuche nur, wieder aufzustehen.Hör auf herumzuspielen. Das Wi-Fi enthält "Backup und Wiederherstellung", das in mehreren Menüs in der unteren linken Ecke des Windows / Mac-Endes verfügbar ist, mit einem Mobiltelefon in "Ich habe einen Chat Record Management Import und Export eingerichtet". Verschlüsseltes Backup auf der eigenen Festplatte, genug. Was du willst, ist nicht zu verlieren, nicht zu fragen.
• Um etwas Bestimmtes zu finden:Bauen Sie keine Bibliothek. Die suche ist nicht schlecht für mikrointelligenz, und das keyword + zeitfilter adressiert 80% der nachfrage. Du bist an der Reihe, das Rohr zu bauen.
• Ich möchte das Jahrzehnt wirklich in eine gesprächige Erinnerung verwandeln:Tun Sie es. Akzeptieren Sie jedoch drei Voraussetzungen - dass die Daten ein Wrack sind, dass die rechtlichen Grenzen eigenständig zu halten sind und dass die Qualität der Fragen und Antworten davon abhängt, wie stark Sie sind, nicht vom Modell.

Was die Fütterung von AI selbst angeht, ist mein größtes Gefühl:AI ist nicht der Flaschenhals dieses Schrittes.

Was wirklich schwierig ist, ist zu exportieren, zu waschen, aufzubrechen, Namen zu vergleichen, mit diesen schmutzigen Aufgaben umzugehen. Keines dieser Dinge kann dir helfen. Sie sind alle aufgereiht. Wenn die Daten sauber sind, ist das nächste Modell der einfachste Schritt.

Lassen Sie sich also nicht von der "All-to-AI" täuschen. Es ist kein Show-off. Es ist ein Handjob. In 3675 gibt es wahrscheinlich Zehntausende von Wörtern, die es wert sind, gefragt zu werden, die alle "ha-ha" und "gut" sind. Aber das sind die Zehntausende von Wörtern im Wert von drei Tagen.

Schließlich ist die aktuelle Situation solcher Werkzeuge klar. Technisch gesehen ermutigt es Sie nicht, dies zu tun; Bevor Sie dies tun, denken Sie bitte klar über die Risiken nach, insbesondere wenn Sie die exportierten Daten nicht weitergeben.