76.2 Dix mille microlettres sont exportées vers l'IA: la partie la plus dure n'est pas l'IA

Premièrement, la conclusion est la suivante :Je l'ai fait. 76,2 10.000 messages, 367,5 millions de mots, tous dans une bibliothèque locale, et je peux maintenant lui poser des questions.Mais j'ai passé trois jours, deux d'entre eux ne se sont pas battus avec l'IA, mais avec "Comment obtenir les données."

Et je dois mettre un mauvais mot devant ça.Le slogan "Mes données sont les miennes" chaque jour est essentiellement vide.Votre disque est sur votre propre disque dur, pas un seul octet. Mais vous voulez le lire, vous devez franchir un seuil légal et un seuil technique. J'ai étudié la technologie, la loi, les gens qui ont étudié la technologie sont en train de couper la bibliothèque.

Un, il y a à peine un an, les outils pour le faire ont été nettoyés.

Le 20 octobre 2025, deux des plus célèbres outils de micro-crédit ont émis des notifications identiques le même jour.

Le README de PyWxDump est devenu l'avis de suppression de projet selon lequel il y a un risque de conformité à la fonction centrale, qui est d'éviter les problèmes juridiques.Supprimer tous les codes et soumettre l'historiqueIl ne reste qu'une seule note dans l'entrepôt. L'auteur a finalement écrit un "plus tard" et a changé le signe public en un tutoriel Python-seulement.

Le même jour, une seule note a été laissée dans l'entrepôt de Chatlog, et la langue de l'auteur Sarv était presque identique : la correspondance reçue, le code et l'historique des soumissions ont été vidés et aucun autre soutien n'a été fourni.

Quelle était l'ampleur de ces deux projets? PyWxDump 9638, chatlog 9177. Ce n'est pas petit.

Plus tard, en janvier 2026, il y a eu des nouvelles d'une plainte ponctuelle contre l'entrepôt par l'intermédiaire de la chaîne DMCA à GitHub, avec plus de 30 chiffres mentionnés dans le rapport public, dont des milliers d'étoiles étaient matures, et les défenseurs ont indiqué directement que l'entretien a été arrêté sous la pression légale.

Pour être clair, il faut dire :L'outil qui vous a fait lire vos propres enregistrements de chat a été systématiquement nettoyé.

Alors ne précipitez pas la leçon. La grande majorité des leçons « One Key Exporting MicroList » que vous pouvez trouver sur Internet sont soit des chaînes mortes, des logiciels payants, ou de vieux entrepôts qui auraient dû être supprimés il y a quelques mois. J'écris ça, et je parle du chemin, pas de la façon dont vous pouvez gérer un entrepôt -- parce que cet entrepôt est probablement parti.

Découvrez où sont vos données.

Sur Windows, le directeur des données micro-intelligentes :

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac sur ~/Library/Containers/com.tencent.xinWeChat/ Ici, la structure est similaire. Nous pensons que le chemin et la structure de la bibliothèque ont été ajustés depuis 4.x au lieu d'utiliser le chemin dur de l'ancien article.

Et puis tu vas ouvrir MSG0.db et tu vas avoir ça :

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Comme prévu.La bibliothèque entière est cryptée par SQLCipher, la clé n'existe pas dans le fichier, elle est calculée à partir de la mémoire lorsque le micro-mail est lancé. C'est pourquoi les étapes centrales de tous ces outils sont appelées « prendre la clé » -- ce qu'ils font est essentiellement pour sortir cette clé de la mémoire du processus.

Cette étape est au cœur du différend sur la conformité. Vous allez lire vos propres données, mais vous allez le faire en contournant la protection technique du fabricant. La qualification juridique de ces deux questions, et votre instinct, sont complètement différents.

Je ne peux pas vous accorder d'exemption de conformité. Je ne peux que préciser :La nature de l'exportation locale de leurs propres comptes, qui sont destinés à leur usage personnel et qui sont utilisés pour la diffusion, la vente et le service est totalement différente.Celui derrière, ne touchez pas.

Une autre question pratique: "n'était pas tout le livre"

Même si les problèmes techniques sont résolus, vous avez la seule partie de l'ordinateur synchronisée. Nous croyons que les enregistrements de fin de PC ont été synchronisés pendant votre connexion, ou que vous avez migré manuellement.

Ils ont été supprimés des autres téléphones dans les premières années, ils ont été remplacés, ils étaient dans de vieux équipements, ils ne l'étaient pas. Cette fois, je suis appelé "Dix ans", et l'année où j'ai vraiment mis en place un dialogue complet a environ six ou sept ans, et même plus tôt, il n'y avait que des fragments.Le soi-disant « disque de dix ans » a été cousu en une pile de morceaux.

Quel est le concept de trois, 3675 ?

Le nettoyage est de 367,5 millions de mots, 76,2 millions. Une moyenne de 48 mots, qui correspondaient à de vraies conversations - principalement "où" "bon" "reçu" "ha-ha-ha-ha."

Ce volume, la première réaction doit être « directe au grand modèle ». J'y ai réfléchi et abandonné.

Allô ?	Contexte Exigences	Tu peux le brancher ?
Contexte général 128K	Environ 36,75 M caractères	C'est à peine 0,4%.
200K Contexte	Environ 36,75 M caractères	0,6% ou rien.
Correspondance 1M Contexte	Environ 36,75 M caractères	C'est environ 3%, mais ça va coûter cher.

Attention, il y a un piège dans la ligne de contexte 1M :Ça ne veut pas dire que tu peux te souvenir.Plus le contexte est long, plus le déclin de la focalisation du modèle sur le milieu, qui a été validé à plusieurs reprises par l'industrie. Tu as mis dix ans de conneries dedans, et tu lui as demandé, "Est-ce que j'ai dit que je vais changer d'emploi en mars 2021 ?" Et c'est juste des conneries sérieuses.

Donc le terme "toute IA d'alimentation" est techniquement inexact.Ce que je fais, ce n'est pas mettre 367,5 millions de mots dans le cerveau du modèle, mais créer un indice qui peut être retourné à tout moment.C'est la différence clé. Toutes les décisions d'ingénierie viennent d'ici.

Quatrièmement, j'utilise ce tuyau.

Cinq pas, un pas ne sera pas épargné.

Étape 1: Exporter vers un texte structuré

Le format cible est simple, une ligne à la fois, un haut-parleur, un nom de session. Ne produisez pas de HTML ou de PDF -- ceux-ci sont pour les gens, pas pour les programmes. Ce que je veux, c'est une structure qui compte le temps.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Cette étape a peu de contenu technique, mais détermine la qualité de tous les liens qui suivent.Si vous perdez le timbre-temps, vous ne demandez jamais « cette fois-là » ; si vous perdez le haut-parleur, vous ne savez pas qui l'a dit.

Étape 2: Nettoyer, couper la moitié du bruit.

Au moins 30 pour cent des données originales sont des déchets: "Vous avez ajouté XXX, vous pouvez maintenant commencer à discuter" et "l'autre côté a retiré un message" et "[photogramme]" "[expression]" et il y a des jeux sans fin d'innombrables relais et paquets rouges.

Mes principes de traitement sont :Le message système est supprimé, le détenteur du support multimédia pur est conservé mais le type est marqué, et l'ultra-sMS (moins de 4 mots sans information) est fusionné dans le contexte.

3675 millions de mots ont été réduits à près de 29 millions de mots. Ne vous inquiétez pas, ces mots polluent les résultats.

Étape 3: Segments — cette étape est la plus facile à détruire l'ensemble du projet

L'erreur la plus courante d'un débutant est d'être durement coupé par un nombre fixe de mots. Coupez-le à 500 mots et coupez-le en deux pour couper une conversation, la première moitié dans votre main et la seconde moitié dans la prochaine. La moitié du temps de recherche, l'IA commence.

À ma façon.Par session + fenêtre de temps double coupe: Dans la même session, le message adjacent est déconnecté pendant plus de 30 minutes; le bloc est contenu en 400 à 600 mots; chaque bloc contient l'en-tête du nom de la session + plage de temps + participant.

Ce titre semble redondant, en fait la partie la plus précieuse. Parce que les problèmes avec les utilisateurs prennent souvent du temps — à la fin de la remise des diplômes de l'année dernière — il n'y a pas de temps d'ancrage, et la récupération des vecteurs n'est pas correcte.

Étape 4: À quantifier

Soixante-dix mille ou plus. Le coût de cette échelle est suffisant en deux chiffres, beaucoup moins cher que je ne le pensais. Ce qui coûte vraiment, c'est le nombre de fois que vous lancez à nouveau -- j'ai changé trois éditions à cause de la stratégie de division et couru trois fois.

Où ? Sqlite-vec suffit. Ne venez pas ici avec Milvus, Qdrant, des dizaines de milliers de données sur un homme, pas ça.

Étape 5: Recherche mixte, pas seulement un vecteur

La recherche vectorielle pure est une expression commune dans ce type d'enregistrement de chat. La raison en est claire:Vous êtes souvent à la recherche de noms, de noms, de montants spécifiques, qui sont des emplois assortis précis et pas très bons vecteurs.

Donc, le dernier tour est une recherche hybride : un rappel vectoriel, un mot-clé (BM25 ou SQLLLKE direct), fusionner et peser, puis donner la réponse au modèle. Ce changement a entraîné une amélioration de la précision du taux de réponse, ce qui est plus évident que toute optimisation antérieure combinée.

Cinq, cinq fosses que j'ai marché, et vous le ferez probablement.

1. Je pensais que c'était normal.Ça ne l'est pas. Toutes les questions de "comment ne peut pas ouvrir" découlent de cela.
2. Les photos et la voix sont...Pas un format standard. Chaque en-tête de fichier est différent ou chiffré. Pour obtenir un traitement séparé, j'ai abandonné — une carte de 10 ans, avec une valeur d'extraction beaucoup plus faible que les coûts.
3. L'identifiant du haut-parleur est le numéro.Si vous ne faites pas ça, vous devrez faire une microcarte dans MicroMsg.db, et vous ne allez pas la lire.
4. Le nom de la même personne change.J'ai changé mes notes et mes surnoms depuis 10 ans. La même personne peut avoir quatre noms dans votre bibliothèque. S'il n'y a pas d'uniformité, la recherche doit être erronée.
5. Le timbre-temps pose parfois des problèmes.Le temps d'enregistrement à travers l'appareil pour synchroniser sera biaisé, et le "message à 3h00." sera utilisé pour soupçonner le timbre de l'heure, alors ne vous méprenez pas.

Que peut-il faire maintenant ?

Certaines des questions que j'ai posées et auxquelles j'ai bien répondu :

• « En 2021, quand j'ai dit que j'allais changer d'emploi, qu'est-ce qu'il y avait exactement ? » — cela m'a réuni à différents moments avec trois personnes, revenant à trois préoccupations à l'époque.
• Zhang a-t-il promis de le faire pour moi, et l'a-t-il fait pour la dernière fois ? Elle a trouvé la promesse et celle que j'ai demandée trois mois plus tard, et il l'a repoussée.
• "Combien de fois ai-je mentionné aller au Japon au fil des ans?" - Compter sept fois, avec chaque fois et contexte.

C'est une réponse terrible. Tout ce qui concerne des questions subjectives sur ce que j'étais d'humeur à l'époque, c'est un ensemble de mots.Un enregistrement de chat peut restaurer les faits, pas les sentiments.À ce stade, AI a la même expérience que vous avez avec les anciens enregistrements de chat -- encore pire, parce qu'il n'hésite pas.

VII. Que cela en vaut la peine ou non

Trois groupes.

• J'essaie juste de me relever.Arrête de déconner. Le wi-fi contient "backup and recovery", qui est disponible dans plus de menus dans le coin inférieur gauche de l'extrémité Windows/Mac, avec un téléphone mobile dans "J'ai configuré une gestion des enregistrements de chat import and export". Sauvegarde cryptée sur votre propre disque dur, assez. Ce que vous voulez, c'est ne pas perdre, ne pas demander.
• Pour trouver quelque chose de spécifique:Ne construisez pas de bibliothèque. La recherche n'est pas mauvaise pour la micro-intelligence, et le mot-clé + filtre de temps adresse 80% de la demande. C'est à ton tour d'installer le tuyau.
• Je veux vraiment transformer la décennie en une mémoire conversationnable:Fais-le. Mais acceptez trois conditions préalables: que les données soient une épave, que les limites légales soient maintenues par elles-mêmes, et que la qualité des questions et des réponses dépende de votre force, et non du modèle.

Quant à la question de nourrir l'IA elle-même, mon plus grand sentiment est:L'IA n'est pas le goulot d'étranglement de cette étape.

Ce qui est vraiment difficile, c'est d'exporter, de laver, de rompre, d'apparier des noms, de faire face à ces tâches sales. Aucune de ces choses ne peut vous aider. Ils sont tous alignés. Lorsque les données sont propres, le modèle suivant est l'étape la plus simple.

Ne soyez donc pas dupé par le "all-to-AI". Ce n'est pas un spectacle. C'est un coup de main. En 3675, il y a probablement des dizaines de milliers de mots qui méritent d'être demandés, qui sont tous « ha-ha » et « bon ». Mais c'est les dizaines de milliers de mots qui valent trois jours.

Enfin, la situation actuelle de ces outils est claire. Techniquement, il ne vous encourage pas à le faire; avant de le faire, veuillez réfléchir clairement aux risques, en particulier ne pas transmettre les données exportées.