76.210 ngàn thư vi mô được xuất khẩu sang AI: phần khó nhất không phải là AI

Đầu tiên, kết luận là:Tôi đã làm được. 76.2 10,000 tin nhắn, 357.5 triệu từ, tất cả trong thư viện địa phương, và bây giờ tôi có thể hỏi nó bất kỳ câu hỏi nào.Nhưng tôi đã mất ba ngày, hai người trong số họ không cãi nhau với AI, mà với "Làm thế nào để có được dữ liệu."

Và tôi phải nói xấu trước mặt nó.Khẩu hiệu "dữ liệu của tôi là của tôi" mỗi ngày về cơ bản là trống rỗng.Hồ sơ của anh nằm trong ổ cứng của anh, không một đồng nào. Nhưng bạn muốn đọc nó, bạn phải vượt qua ngưỡng cửa hợp pháp và ngưỡng kỹ thuật. Tôi đã xem qua công nghệ, luật pháp, những người đã trải qua công nghệ đang cắt giảm thư viện.

Một, chỉ một năm trước, các công cụ để làm điều này đã được làm rõ.

Vào ngày 20 tháng 10 năm 2025, hai trong số những công cụ dữ liệu vi mô nổi tiếng nhất cung cấp thông báo giống hệt nhau trong cùng một ngày.

PyWxDump's ReadME đã trở thành Dự án Di tản Thông báo để hiệu quả rằng có một nguy cơ tuân theo với các chức năng cốt lõi, đó là để tránh các vấn đề pháp lý.Xóa tất cả các mã và đệ trình lịch sửChỉ còn lại một lá thư trong nhà kho. Tác giả cuối cùng đã viết một "sau này" và thay đổi bảng công cộng thành một hướng dẫn chỉ Python.

Vào cùng ngày đó, chỉ còn lại một lời nhắn trong nhà kho của Chatlog, và ngôn ngữ của tác giả Sarv gần như giống hệt nhau: nhận thư từ, mã hóa và phục tùng lịch sử đã trống rỗng và không có thêm sự hỗ trợ nào được cung cấp.

Tỷ lệ của hai dự án này là bao nhiêu? PyWxDump 9638, chatlog 9177. Nó không nhỏ.

Sau đó, vào tháng Giêng năm 2026, có tin tức về một lần khiếu nại chống lại nhà kho thông qua kênh DMCA ở GitHub, với hơn 30 con số được đề cập trong báo cáo công cộng, trong đó hàng ngàn ngôi sao đã trưởng thành, và những người bảo vệ trực tiếp cho thấy sự bảo trì đã bị ngăn chặn bởi áp lực pháp lý.

Để được rõ ràng là nói:Công cụ khiến bạn đọc sổ ghi chép cuộc trò chuyện của bạn đã được làm sạch một cách có hệ thống.

Vì vậy, đừng hấp tấp bài học. Phần lớn các bài học "Một Key Xuất khẩu MicroList" mà bạn có thể tìm thấy trên Internet hoặc là chết chuỗi, chảy đến phần mềm trả tiền, hoặc là các nhà kho cũ đáng lẽ phải bị xóa đi vài tháng trước. Tôi đang viết cái này, và tôi đang nói về cái cách, không phải cái cách mà bạn có thể điều hành một nhà kho -- bởi vì nhà kho đó có thể đã biến mất.

Tìm xem dữ liệu của anh ở đâu.

Trên Windows, Giám đốc dữ liệu vi mô:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac. ~/Library/Containers/com.tencent.xinWeChat/ Ở đây, cấu trúc giống nhau. Chúng tôi tin rằng đường đi và cấu trúc thư viện đã được điều chỉnh từ lúc 4.x thay vì sử dụng con đường cứng của bài báo cũ.

Và sau đó bạn đang vội vã mở MSG0.db và bạn sẽ nhận được điều này:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Đúng như mong đợi.Toàn bộ thư viện đã được mã hóa bởi hệ thống dẫn xuấtKhóa không tồn tại trong tập tin, nó được tính từ bộ nhớ khi thư điện tử chạy. Đó là lý do tại sao các bước cốt lõi của tất cả các công cụ này được gọi là "lấy chìa khóa" -- những gì họ làm là về cơ bản để lấy chìa khóa ra khỏi bộ nhớ quy trình.

Bước này là trọng tâm của cuộc tranh cãi. Bạn sẽ đọc dữ liệu của riêng bạn, nhưng bạn sẽ làm điều đó bằng cách vượt qua bảo vệ kỹ thuật của nhà sản xuất. Khả năng pháp lý của hai vấn đề này, và bản năng của bạn, hoàn toàn khác nhau.

Tôi không thể miễn dịch cho anh được. Tôi chỉ có thể nói rõ:Bản chất của việc xuất khẩu tài khoản của chính họ, là để sử dụng cho chính họ, và được dùng cho việc khai thác, bán và dịch vụ hoàn toàn khác nhau.Đừng đụng vào phía sau.

Một câu hỏi thực tế khác: "Không phải toàn bộ cuốn sách"

Ngay cả khi các vấn đề kỹ thuật được giải quyết, bạn đã có phần duy nhất của máy tính được đồng bộ hóa. Chúng tôi tin rằng các hồ sơ cuối máy tính được đồng bộ hóa trong khi bạn đăng nhập, hoặc bạn di chuyển bằng tay.

Họ đã bị xóa khỏi những chiếc điện thoại khác trong những năm đầu tiên, họ đã được thay thế, họ đã ở trong thiết bị cũ, họ đã không. Lần này, tôi được gọi là "Ten Years", và năm mà tôi thực sự tập hợp một cuộc đối thoại đầy đủ là khoảng sáu hay bảy năm tuổi, và thậm chí trước đó, chỉ có những mảnh vỡ.Cái gọi là kỷ lục mười năm được khâu lại thành một đống mảnh.

Ba, 3675 thì sao?

Làm sạch là 337.5 triệu từ, 76.2 triệu. Trung bình 48 từ, tương ứng với những cuộc trò chuyện thực sự - chủ yếu là "ở đâu" "tốt" "ha-ha-ha."

Tập này, phản ứng đầu tiên phải là "chỉ đường cho mô hình lớn." Tôi đã suy nghĩ và từ bỏ.

Xin chào?	Yêu cầu ngữ cảnh	Anh cắm nó xuống được không?
Name	Khoảng 36.75 ký tự	Chỉ có 0.4%.
Văn cảnh 200K	Khoảng 36.75 ký tự	0.6% hoặc không có gì.
Khớp 1M	Khoảng 36.75 ký tự	Khoảng 3%, nhưng sẽ tốn rất nhiều.

Chú ý, có một cái bẫy trong dòng 1M:Không có nghĩa là anh có thể nhớ.Văn cảnh càng dài, sự giảm tập trung của mô hình ở giữa càng rõ ràng, đã được công nghiệp xác nhận nhiều lần. Bạn bỏ 10 năm vào đó, và bạn hỏi nó, "Tôi đã nói tôi sẽ thay đổi công việc vào tháng 3 năm 2021 chưa?" Và đó chỉ là một chuyện nhảm nhí.

Cụm từ "tất cả các nguồn dữ liệu cho AI" là không chính xác.Những gì tôi đang làm không phải là đưa 337.5 triệu từ vào não bộ của mô hình, mà là tạo ra một chỉ số có thể thay đổi bất cứ lúc nào.Đó là điểm khác biệt chính. Mọi quyết định kỹ thuật đều đến từ đây.

Thứ tư, tôi dùng cái ống này.

Năm bước, một bước sẽ không tránh khỏi.

Bước 1: Xuất sang văn bản đã cấu hình

Định dạng mục tiêu đơn giản, từng dòng một, một loa, một tên phiên chạy. Đừng tạo ra HTML hay PDF -- đó là cho mọi người, không phải cho chương trình. Cái mà tôi muốn là một cấu trúc có tính toán thời gian.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Bước này có ít nội dung kỹ thuật, nhưng quyết định chất lượng của tất cả các liên kết theo sau.Nếu bạn mất thời gian tem, bạn không bao giờ hỏi "thời gian đó", nếu bạn mất diễn giả, bạn không biết ai nói nó.

Dọn dẹp, giảm nửa tiếng ồn.

Ít nhất 30 phần trăm dữ liệu ban đầu là rác: "Bạn đã thêm XXX, bạn có thể bắt đầu trò chuyện" và "bên kia đã rút lại một tin nhắn" và "[hình ảnh điện tử]" và có vô số bộ chuyển tiếp và gói tin đỏ.

Nguyên tắc điều trị của tôi là:Thông điệp hệ thống bị xóa, bộ giữ chỗ tinh khiết được lưu giữ nhưng kiểu được đánh dấu, và hệ thống siêu-SMS (không có 4 từ không có thông tin) được nhập vào ngữ cảnh.

375 triệu từ được cắt giảm đến gần 29 triệu từ. Đừng lo, những từ đó chỉ làm ô nhiễm kết quả thôi.

Bước 3: Đoạn — Bước này dễ dàng nhất để phá hủy toàn bộ dự án

Sai lầm phổ biến nhất của một tân binh là bị cắt bởi một số từ cố định. Cắt nó ra 500 từ và cắt nó ra làm hai để cắt một cuộc đối thoại, nửa đầu trong tay bạn và nửa sau nữa. Nửa thời gian tìm kiếm, AI bắt đầu.

Theo cách của tôi.Theo phiên chạy và thời gian bị cắt đôi: Trong cùng phiên chạy, thông điệp bên cạnh bị ngắt kết nối trong hơn 30 phút; khối này được chứa trong 400 đến 600 từ; mỗi khối chứa người đứng đầu của tên phiên chạy + người tham gia.

Tiêu đề này có vẻ thừa, thực ra là phần có giá trị nhất. Bởi vì vấn đề với người dùng thường mất thời gian -- “vào cuối năm vừa tốt nghiệp -- không có thời gian neo, và sự phục hồi véc tơ là không đúng.

Bước 4: Để được định lượng

70 ngàn hay hơn, chạy khắp nơi. Chi phí cho cái cân này là đủ với hai chữ số, rẻ hơn nhiều so với tôi tưởng. Chi phí thực sự là số lần bạn chạy một lần nữa -- tôi đã thay đổi ba phiên bản vì chiến lược tách ra và chạy ba lần.

Ở đâu? Sqlite-vec là đủ rồi. Đừng đến đây với Milvus, Qdrant, hàng chục ngàn dữ liệu về một người, không phải vậy.

Bước 5: Tìm kiếm trộn, không chỉ véc- tơ

Tìm kiếm véc tơ thuần túy là một biểu thức phổ biến trong loại ghi âm chat này. Lý do rất rõ ràng:Bạn thường tìm tên, tên, số lượng cụ thể, là những công việc tương thích chính xác và không tốt cho véc tơ.

Vì vậy, lần chạy cuối cùng là một tìm kiếm lai: một nhớ lại véc tơ, một từ khóa (BM25 hoặc trực tiếp ULKE) nhớ lại, hợp nhất và cân, và sau đó đưa ra mô hình câu trả lời. Sự thay đổi này đã dẫn đến sự cải thiện về độ chính xác của tốc độ phản ứng, điều này rõ ràng hơn bất kỳ tối ưu hóa trước đây cộng lại.

Năm, năm cái hố tôi đã đạp lên, và có thể anh sẽ làm được.

1. Cứ tưởng bình thường.Không đâu. Tất cả các câu hỏi về "làm sao không thể mở" bắt nguồn từ chuyện này.
2. Hình ảnh và giọng nói... rõ ràng.Không phải định dạng chuẩn. Mỗi đầu trang tập tin là khác nhau hoặc mã hóa. Để được chữa trị riêng, tôi bỏ cuộc — một bản đồ 10 năm với giá trị chiết xuất thấp hơn nhiều.
3. Mã số của loa là số.Nếu bạn không làm điều đó, bạn sẽ phải vẽ một bản đồ vi mô trong MicroMsg.db, và bạn sẽ không đọc nó.
4. Tên của cùng một người thay đổi.Tôi đã thay đổi ghi chú và biệt danh trong 10 năm. Cùng một người có thể có bốn tên trong thư viện của bạn. Nếu không có sự đồng nhất, thì tìm kiếm là sai.
5. Đôi khi có vấn đề về thời gian.Thời gian để ghi âm qua thiết bị để đồng bộ sẽ được định vị, và thông báo lúc 3 giờ sáng. sẽ được sử dụng để nghi ngờ tem thời gian, vì vậy đừng nhầm lẫn.

Giờ nó có thể làm gì?

Một số câu hỏi mà tôi thực sự thắc mắc và trả lời rất hay:

• "Vào năm 2021, khi tôi nói tôi sẽ thay đổi công việc, chính xác thì vấn đề là gì?" - nó làm tôi khác biệt với ba người, trở về ba mối quan tâm lúc đó.
• "Có phải Zhang hứa sẽ làm điều đó cho tôi, và nó có kéo dài?" Nó tìm thấy lời hứa và lời hứa mà tôi đã hỏi 3 tháng sau đó, và anh ta đẩy nó ra.
• "Tôi đã nhắc đến bao nhiêu lần đi Nhật Bản qua năm tháng?"

Đó là một câu trả lời tồi tệ. Mọi thứ liên quan đến những câu hỏi chủ quan về tâm trạng của tôi lúc đó, đó là một tập hợp từ ngữ.Lịch sử trò chuyện có thể phục hồi sự thật chứ không phải cảm xúc.Tại thời điểm này, AI có cùng trải nghiệm với các bản ghi âm nói chuyện cũ -- thậm chí còn tệ hơn, bởi vì nó không do dự.

VII. Có đáng hay không

Ba nhóm.

• Tôi chỉ cố đứng dậy.Đừng đùa nữa. Wi-fi chứa "backup và phục hồi", có sẵn trong thực đơn nhiều hơn ở góc dưới bên trái của Windows/Mac, với một điện thoại di động trong "Tôi đã thiết lập một dữ liệu quản lý dữ liệu nhập khẩu và xuất khẩu". Đã mã hóa bản sao lưu vào ổ cứng của anh, đủ rồi. Điều bạn muốn là không để mất, không phải yêu cầu.
• Để tìm một điều cụ thể:Đừng xây thư viện. Việc tìm kiếm không tệ đối với thông tin vi mô, và từ khóa + địa chỉ bộ lọc thời gian 80% nhu cầu. Đến lượt anh mở đường ống.
• Tôi thực sự muốn biến thập kỷ này thành một bộ nhớ có thể trò chuyện:Làm đi. Nhưng hãy chấp nhận ba điều kiện tiên quyết — đó là dữ liệu bị hủy hoại, các giới hạn pháp lý phải được giữ cho riêng mình, và chất lượng của các câu hỏi và câu trả lời tùy thuộc vào bạn mạnh mẽ đến mức nào, chứ không phải vào mô hình.

Về vấn đề nuôi sống Al, cảm giác lớn nhất của tôi là:Al không phải là cổ chai của bước này.

Điều thực sự khó là xuất khẩu, rửa, chia tay, khớp tên, đối phó với những công việc bẩn thỉu này. Những điều này không thể giúp bạn. Tất cả đều xếp hàng. Khi dữ liệu sạch, mô hình tiếp theo là bước đơn giản nhất.

Vì thế đừng để bị lừa bởi "Tất cả đối với AI." Không phải khoe khoang. Đó là một công việc tay. Năm 3675, có hàng chục ngàn từ đáng để hỏi, tất cả đều là "ha-ha" và "tốt". Nhưng đó là hàng chục ngàn từ đáng giá ba ngày.

Cuối cùng, tình trạng hiện tại của những công cụ như thế rất rõ ràng. Về mặt kỹ thuật, nó không khuyến khích bạn làm điều đó; trước khi làm như vậy, hãy suy nghĩ rõ ràng về những rủi ro, đặc biệt là không truyền dữ liệu xuất khẩu.