76.2 10千のマイクロレッターがAIにエクスポートされます:最も困難な部分はAIではありません

まず、結論は、次のとおりです。私はそれをしました。 76.2 10,000 メッセージ、367.5 万語、ローカルライブラリですべて、質問をすることができます。しかし、AIと戦うのではなく、「データを取得する方法」で3日間過ごしました。

そして、その前に悪い言葉をつけなければなりません。毎日スローガン「マイデータがマイニング」は基本的に空です。レコードは、単一のバイトではなく、自分のハードドライブ上にあります。しかし、あなたはそれを読んでみたい、あなたは法的しきい値と技術的なしきい値を渡さなければなりません。テクノロジーを通し、法律、テクノロジーを通した人々は今図書館を切断しています。

1年ほど前に、このツールをクリアしました。

2025年10月20日、最も有名なマイクロクレジットデータツールの2つが、同じ日に同一の通知を発行しました。

PyWxDumpのREADMEは、法的問題を回避するコア機能の順守の危険性があることが、プロジェクト削除になりました。すべてのコードを削除し、履歴を送信倉庫に1つのノートが残っています。著者は最終的に「ラター」を書き、公開サインをPython専用のチュートリアルに変更しました。

同じ日に、Chatlog の倉庫に 1 つのノートのみが残され、Sarv の言語はほぼ同じでした: 応答、コード、送信履歴が空にされ、さらにサポートが提供されませんでした。

これらの2つのプロジェクトの規模は? PyWxDump 9638, チャットログ 9177. 小さいです。

その後、2026年1月には、GitHubのDMCAチャンネルを通じて倉庫に一対一の不満のニュースがあり、公開報告書に記載された30以上の数字で、何千もの星が成熟し、擁護者は直接、メンテナンスが法的圧力下で中止されたことを示した。

明確であることは言うことです:自分のチャットレコードを読むツールは、体系的にクリーンアップされました。

レッスンを急いでいません。インターネットで見つけることができる「ワンキーエクスポートマイクロリスト」のレッスンの大部分は、デッドチェーン、有料のソフトウェアに流れる、または数ヶ月前に削除された古い倉庫です。私はこれを書いています、そして私はあなたが倉庫を実行できる方法ではなく、方法について話しています - 倉庫がおそらくなくなっているからです。

データがどこにあるかを調べます。

Windowsでは、マイクロ・インテリジェント・データのディレクター:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Macで ~/Library/Containers/com.tencent.xinWeChat/ ここで構造は似ています。古い記事のハードパスを使用する代わりに、4.x以降、パスとライブラリ構造が調整されていると確信しています。

そして、あなたはMSG0.dbを開くために急いでいると、あなたはこれを得るつもりです:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

期待通り。ライブラリ全体がSQLCipherによって暗号化されます、キーはファイル内に存在しません。マイクロメールが実行されるとメモリから計算されます。そのため、これらのすべてのツールのコア・ステップは「キーを取る」と呼ばれています。プロセス・メモリからそのキーを取得するには、基本的には何をします。

このステップは、コンプライアンスの紛争の中心です。自分のデータを読むつもりですが、メーカーの技術的な保護を迂回して、それを行うつもりです。これらの2つの事項の法的資格、およびあなたの本能は完全に異なります。

コンプライアンスの免除を与えることはできません。クリアできるだけ:自分のアカウントのローカルエクスポートの性質, 自分の使用のためです。, 普及のために使用される, 販売とサービスは完全に異なります.背中の1つに触れないでください。

別の実用的な質問: "全体ブックではなく"

技術的な問題が解決しても、同期するコンピュータの唯一の部分を得ました。ログイン時にPCのレコードが同期されたか、手動で移行したと確信しています。

初期に他の携帯電話から削除され、交換され、古い機器ではなかった。今回は「Ten Years」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」」と「年」」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」」と「年」と「年」と「年」と「年」と「年」」と「年」と「年」」と「年」」と「年」」と「年」と「年」と「年」と「年」」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」と「年」」」」」と「年」」と「年」」と「年」と「年」と「年」と「年」と「年いわゆる「10年記録」は、ピースの山に縫い上げられました。

3、3675のコンセプトは何ですか?

クリーニングは367.5百万語、76.2百万語です。実際のチャットに対応する平均48ワード - 主に「良い」 "受信" "ha-ha-ha"。

このボリュームは、最初の反応は「大きなモデルにダイレクト」でなければなりません。それについて考え、諦めました。

お問い合わせ	コンテキスト要件	差し込むことはできますか?
メインストリーム 128K コンテキスト	約36.75 M文字	それは非常に0.4%です。
200K コンテキスト	約36.75 M文字	0.6% または何もしません。
マッチ1Mのコンテキスト	約36.75 M文字	約3%ですが、かなりのコストです。

注意: 1M コンテキスト行にトラップがあります。記憶できないという意味ではありません。コンテキストが長いほど、業界が繰り返し検証されたミドルモデルの焦点の低下をクリアします。ブルシットの10年を置いておくと「2021年3月に転職する」と聞けばいいですか? そしてそれはちょうど深刻な雄牛です。

そのため、「すべてのフィードAI」という言葉は技術的に不正確です。何をやっているのは、367.5万語をモデルの脳に入れないが、いつでもオンにできるインデックスを作ることです。それは重要な違いです。エンジニアリングの決定はすべてここから始まります。

四、このパイプを使う。

5つのステップ、1つのステップは中断しません。

ステップ1:構造化されたテキストにエクスポート

ターゲット形式は、一度に1行、スピーカー、セッション名です。プログラミングではなく、HTMLやPDFを生成しないでください。悲しみ、切口、カウントの時間である構造が欲しいもの。

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

このステップは少し技術的な内容を持っていますが、従うすべてのリンクの品質を決定します。タイムスタンプを失えば、「タイミング時間」を尋ねることはありません。スピーカーを紛失した場合は、誰に言ってもわからないのです。

ステップ 2: クリーンアップ, 半分のノイズをカット.

元のデータの少なくとも30パーセントはゴミです:「あなたは今、チャットを開始することができますxxx、追加しました」と「もう一方の側にメッセージを撤回しました」と「[フォトグラム]」と「[押し出し]」と、無数のリレーと赤いパケットのセットがあります。

私の処置の原則はあります:システムメッセージは削除されますが、純粋なメディアプレースホルダーは保持されますが、タイプはマークされ、Ultra-sMS(情報なしで4ワード以内)はコンテキストに統合されます。

3675万人の言葉は、ほぼ29百万語に切られます。心配しないでください。これらの言葉は結果を汚染するだけです。

ステップ3:セグメント - このステップは、プロジェクト全体を破壊する最も簡単です

ルーキーによる最も一般的な間違いは、単語の固定数によってハードカットされることです。 500語に切って半分に切って会話を切って、手札の半分と次の半分の半分。ハーフ検索時間、AIが始まります。

私の方法。セッション+タイムウィンドウダブルカット: 同じセッションでは、隣接するメッセージは30分以上切断されます。ブロックは400〜600語に含まれています。各ブロックはセッション名+時間範囲+参加者のヘッダーを含みます。

この見出しは冗長で、最も価値のある部分です。ユーザーの問題が頻繁に時間を取るため — 「昨年の卒業の終わりに」 — 時間アンカーがないため、ベクトル検索は右ではありません。

ステップ4:定量化されるため

千万個以上、それ以上を実行します。このスケールのコストは2桁で十分で、予想よりもはるかに安いです。本当に費用は、もう一度実行する回数です。分割戦略の3つのエディションを変更し、3回実行しました。

どこ? Sqlite-vecは十分です。 Milvus、Qdrant、数千人のデータを男に取り込む必要はありません。

ステップ5:ベクトルだけでなく、混合検索

ピュアベクター検索は、この種のチャット記録の一般的な表現です。理由は明確です:名前、名前、特定の量をよく探しています。これは、正確なマッチングジョブであり、非常に良いベクトルではありません。

そのため、最終的な実行は、ベクトルリコール、キーワード(BM25または直接SQLLLKE)リコール、マージ、秤量、そしてモデルに答えを与えるハイブリッド検索です。この変更により、レスポンス率の精度が向上し、以前の最適化と組み合わせるよりも、より明らかになりました。

5、私がステップした5つのピット、そしておそらく意志。

.dbは通常のSQLiteでした。です。「どうやって開くことができない」の全ての質問は、ここから始まります。
写真と音声は...。標準フォーマットではありません。各ファイルヘッダは異なるか、暗号化されます。別の治療を受けるためには、10年分の地図を上げて、コストよりもはるかに低い抽出値が上がりました。
パネルスピーカーIDは番号です。microMsg.dbでマイクロマップを行わなければいけません。
同一人物の名前が変更されます。ノートとニックネームを10年間変更しました。同じ人がライブラリに4つの名前を持つことができます。均等性がない場合、検索が間違っている必要があります。
タイムスタンプに問題があります。デバイス間で同期する録画時間は偏光され、「メッセージは3:00 a.m」がタイムスタンプを疑うのに使われます。

これからできることは?

実際に質問して答えた質問のいくつか:

「2021年、仕事を変えようとしていたと言いましたが、まさに問題でしたか?」と言いました。3人で一緒に3つの悩みを繰り返して3つの悩みを繰り返しました。
「Did Zhangは私にそれを行うことを約束し、それを最後にしたか」 - 約束と3ヶ月後に尋ねた1つを発見し、それをオフにしました。
「何度か日本に何年も経ちましたか」 - 毎回7回カウントアウトし、それぞれの時間と文脈で。

ひどい答えです。時に気分にあったものについての主観的な質問を懸念するすべてが、それは言葉のセットです。チャットレコードは、感情ではなく、事実を復元することができます。この時点で、AIは、古いチャットレコードと同じ経験を持っています - でも悪化します。

VII。これは価値があるかどうか

3グループ

バックアップをしようとしています。周りのメッセージを停止します。 wi-fi には、Windows/Mac の左下隅にあるより多くのメニューで利用できる「バックアップと回復」が含まれており、「チャットレコード管理のインポートとエクスポートを設定しました」の携帯電話があります。自分のハードドライブに暗号化されたバックアップ、十分。失くならず、頼りにならない。
具体的に何かを見つけるために:ライブラリを作成しないでください。マイクロインテリジェンスでは検索が悪くないし、キーワード+タイムフィルタは、要求の80%を占める。パイプをセットアップするターンです。
私は本当に会話可能なメモリに10年を回したいです。お問い合わせしかし、3つの前提条件を受け入れます。つまり、データが不備であり、法的な境界線は自分自身に保たれなければならないことであり、質問と回答の質は、モデルではなく、あなたがどれだけ強烈であるかによって異なります。

人工知能そのものを養う問題として、私の最大の感情は次のとおりです。AIはこのステップのボトルネックではありません。

これらの汚れたタスクに対処するため、名前に一致させるために、洗い流すために、本当に困難です。これらのことはあなたを助けることができます。それらはすべて並んでいます。データをクリーンにすると、次のモデルは最も簡単なステップです。

"all-to-AI" では fooled ではない。ショーオフではありません。手仕事です。 3675では、おそらく尋ねる価値のある数千の言葉の10、すべての "ha"と "good"です。しかし、それは3日分の数千の言葉の10分の1です。

最後に、このようなツールの現状はクリアです。技術的には、それを行うには奨励しません。そうする前に、特にエクスポートされたデータを渡さない、リスクについて明確に考えてください。