76.2 Sepuluh ribu huruf mikro diekspor ke AI: Bagian tersulit bukan AI

Pertama, kesimpulannya adalah:Aku berhasil. 76.2 10.000 pesan, 367,5 juta kata, semua di perpustakaan lokal, dan saya sekarang bisa mengajukan pertanyaan.Tapi saya menghabiskan tiga hari, dua dari mereka tidak berkelahi dengan AI, tapi dengan "Bagaimana untuk mendapatkan data".

Dan aku harus menempatkan kata yang buruk di depannya.Slogan "Data saya adalah milikku" setiap hari pada dasarnya kosong.Rekor Anda pada hard drive Anda sendiri, tidak byte tunggal. Tapi Anda ingin membacanya, Anda harus melewati ambang batas hukum dan ambang batas teknis. Aku pergi melalui teknologi, hukum, orang-orang yang pergi melalui teknologi sekarang memotong perpustakaan.

Satu, hanya setahun yang lalu, alat untuk melakukan hal ini dibersihkan.

Pada 20 Oktober 2025, dua alat data mikrokredit terkenal mengeluarkan pemberitahuan identik pada hari yang sama.

README PyWxDump telah menjadi Pemberitahuan Removal Proyek terhadap efek bahwa ada risiko kepatuhan dengan fungsi inti, yaitu untuk menghindari masalah hukum.Hapus semua kode dan kirimkan riwayatHanya satu catatan yang tersisa di gudang. Penulis akhirnya menulis "kemudian" dan mengubah tanda publik untuk tutorial Python- hanya.

Pada hari yang sama, hanya satu catatan yang tersisa di gudang Chatlog, dan penulis bahasa Sarv hampir identik: menerima korespondensi, kode dan pengajuan sejarah dikosongkan dan tidak ada dukungan lebih lanjut yang disediakan.

Apa skala kedua proyek ini? PyWxDump 9638, chatlog 9177. Ini tidak kecil.

Kemudian, pada bulan Januari 2026, ada berita tentang keluhan satu - off terhadap gudang melalui saluran DMCA di GitHub, dengan lebih dari 30 angka disebutkan dalam laporan publik, yang ribuan bintang yang dewasa, dan pembela langsung menunjukkan bahwa pemeliharaan dihentikan di bawah tekanan hukum.

Untuk menjadi jelas adalah untuk mengatakan:Alat yang membuat Anda membaca Anda sendiri chat catatan secara sistematis dibersihkan.

Jadi jangan terburu-buru pelajaran. Sebagian besar pelajaran "Satu Key Exporting MicroList" yang dapat Anda temukan di Internet adalah rantai mati, mengalir untuk membayar perangkat lunak, atau gudang tua yang seharusnya dihapus beberapa bulan lalu. Saya menulis ini, dan saya berbicara tentang jalan, bukan cara Anda dapat menjalankan sebuah gudang -- karena gudang itu mungkin hilang.

Cari tahu di mana datamu.

Pada Windows, Direktur Data Mikro- Cerdas:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac pada ~/Library/Containers/com.tencent.xinWeChat/ Di sini, struktur serupa. Kami percaya bahwa jalan dan struktur perpustakaan telah disesuaikan sejak 4.x bukannya menggunakan jalur keras dari artikel lama.

Dan kemudian Anda bergegas untuk membuka MSG0.db dan Anda akan mendapatkan ini:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Seperti yang diharapkan.Seluruh pustaka dienkripsi oleh SQLCipher, kunci tidak ada dalam berkas, itu dihitung dari memori ketika micro- mail berjalan. Itulah mengapa langkah inti dari semua alat ini disebut "ambil kunci" -- yang mereka lakukan adalah mengeluarkan kunci itu dari memori proses.

Langkah ini adalah di jantung sengketa kepatuhan. Anda akan membaca data Anda sendiri, tetapi Anda akan melakukannya dengan melewati produsen perlindungan teknis. Kualifikasi hukum dari kedua hal ini, dan naluri Anda, benar-benar berbeda.

Aku tak bisa memberimu pengecualian. Aku hanya bisa membuatnya jelas.Sifat ekspor lokal akun mereka sendiri, yang untuk penggunaan mereka sendiri, dan yang digunakan untuk penyebaran, penjualan dan layanan sama sekali berbeda.Yang di belakang, jangan menyentuhnya.

Pertanyaan praktis lainnya: "Bukankah seluruh buku"

Bahkan jika masalah teknis diselesaikan, Anda punya satu-satunya bagian dari komputer yang disinkronkan. Kami percaya bahwa catatan akhir PC disinkronkan selama login Anda, atau Anda bermigrasi secara manual.

Mereka dihapus dari telepon lain pada tahun-tahun awal, mereka diganti, mereka berada dalam peralatan lama, mereka tidak. Kali ini, saya dipanggil "Sepuluh Tahun", dan tahun ketika saya benar-benar menyusun dialog lengkap adalah sekitar enam atau tujuh tahun, dan bahkan lebih awal, hanya ada fragmen.Jadi "rekor sepuluh tahun" dijahit dalam tumpukan potongan.

Apa konsep tiga, 3675?

Membersihkan adalah 367,5 juta kata, 76.2 juta. Rata-rata 48 kata, yang berhubungan dengan percakapan nyata - kebanyakan "di mana" "baik" "diterima" ha- ha- ha ".

Volume ini, reaksi pertama harus "langsung ke model besar". Aku memikirkannya dan menyerah.

Halo?	Permintaan Konteks	Bisa kau pasang?
Konteks Malex128K	Sekitar 36.75 M karakter	Ini hampir 0,4%.
Konteks 200K	Sekitar 36.75 M karakter	0,6% atau tidak sama sekali.
Cocok dengan Konteks 1M	Sekitar 36.75 M karakter	Ini sekitar 3%, tapi itu akan mahal.

Perhatian, ada perangkap dalam baris 1M konteks:Bukan berarti kau bisa ingat.Semakin lama konteksnya, semakin jelas penurunan fokus model di tengah, yang telah berulang kali disahkan oleh industri. Anda menaruh sepuluh tahun omong kosong di dalamnya, dan Anda bertanya, "Apakah saya mengatakan saya akan mengubah pekerjaan pada bulan Maret 2021?" Dan itu hanya omong kosong serius.

Jadi istilah "semua pakan AI" secara teknis tidak akurat.Apa yang saya lakukan adalah tidak menempatkan 367,5 juta kata ke dalam otak model, tetapi menciptakan sebuah indeks yang dapat diserahkan setiap saat.Itulah perbedaan kuncinya. Semua keputusan teknik datang dari sini.

Keempat, saya menggunakan pipa ini.

Lima langkah, satu langkah tidak akan terhindar.

Langkah 1: Ekspor ke teks terstruktur

Format target sederhana, satu baris pada suatu waktu, speaker, nama sesi. Jangan hasilkan HTML atau PDF -- itu untuk manusia, bukan untuk program. Apa yang saya inginkan adalah struktur yang grep, pemotongan, menghitung waktu.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Langkah ini memiliki sedikit konten teknis, tetapi menentukan kualitas dari semua link yang mengikuti.Jika Anda kehilangan cap waktu, Anda tidak pernah bertanya "waktu itu"; jika Anda kehilangan speaker, Anda tidak tahu siapa yang mengatakannya.

Langkah 2: membersihkan, memotong setengah kebisingan.

Setidaknya 30 persen dari data asli adalah sampah: "Anda telah menambahkan XXX, Anda sekarang dapat mulai mengobrol" dan "sisi lain telah menarik pesan" dan "[photogram]" "[ekspresi]" dan ada set tak berujung relay dan paket merah.

Prinsip perlakuanku adalah:Pesan sistem dihapus, placeholder media murni disimpan tapi tipe ditandai, dan ultra- SMS (kurang dari 4 kata tanpa informasi) digabung ke dalam konteks.

3675 juta kata dipotong hampir 29 juta kata. Jangan khawatir, kata-kata itu hanya mencemari hasilnya.

Langkah 3: segmen - langkah ini adalah yang termudah untuk menghancurkan seluruh proyek

Kesalahan yang paling umum oleh pemula adalah menjadi sulit - dipotong oleh sejumlah kata tetap. Potong sampai 500 kata dan potong menjadi dua untuk memotong percakapan, setengah pertama di tangan Anda dan paruh kedua di berikutnya. Setengah waktu pencarian, AI dimulai.

Caraku.Dengan Pemotongan Dua Jendela Waktu Sesi +: Dalam sesi yang sama, pesan yang berdekatan terputus selama lebih dari 30 menit; blok berisi 400 sampai 600 kata; setiap blok berisi header dari nama sesi + waktu jangkauan + peserta.

Berita utama ini tampaknya berlebihan, sebenarnya bagian yang paling berharga. Karena masalah dengan pengguna sering memakan waktu - "pada akhir kelulusan tahun lalu" - tidak ada waktu jangkar, dan pengambilan vektor tidak benar.

Langkah 4:

Tujuh puluh ribu atau lebih, menjalankannya seluruh. Biaya skala ini cukup dalam dua digit, jauh lebih murah dari yang saya harapkan. Yang sebenarnya adalah berapa kali Anda berlari lagi -- saya mengubah tiga edisi karena strategi split dan berlari tiga kali.

Dimana? Sqlite-vec sudah cukup. Jangan datang ke sini dengan Milvus, Qdrant, puluhan ribu data pada seorang pria, bukan itu.

Langkah 5: penelusuran campuran, bukan hanya sebuah vektor

Pencarian vektor murni adalah ekspresi umum dalam jenis rekaman obrolan. Alasannya jelas:Anda sering mencari nama, nama, jumlah tertentu, yang merupakan pekerjaan yang cocok dan bukan vektor yang bagus.

Jadi langkah terakhir adalah pencarian hibrida: sebuah vektor ingat, kata kunci (BM25 atau langsung SQLLLKE) ingat, bergabung dan menimbang, dan kemudian memberikan model jawabannya. Perubahan ini telah menghasilkan peningkatan dalam akurasi dari tingkat respon, yang lebih jelas daripada gabungan optimasi sebelumnya.

Lima, lima lubang Aku sudah melangkah, dan Anda mungkin akan.

1. Pikir .db adalah sqlite normal.Tidak. Semua pertanyaan dari "bagaimana tidak bisa terbuka" berasal dari ini.
2. Gambar dan suara... dat.Bukan format standar. Setiap header berkas berbeda atau dienkripsi. Untuk mendapatkan pengobatan terpisah, aku menyerah - peta 10 tahun, dengan nilai ekstraksi jauh lebih rendah dari biaya.
3. ID speaker panel adalah nomornya.Jika Anda tidak melakukannya, Anda harus melakukan micromap di MicroMsg.db, dan Anda tidak akan membacanya.
4. Nama orang yang sama berubah.Aku sudah mengubah catatan dan nama panggilanku selama 10 tahun. Orang yang sama mungkin memiliki empat nama di perpustakaan Anda. Jika tidak ada uniformitas, pencarian harus salah.
5. Stempel waktu kadang-kadang masalah.Waktu untuk merekam seluruh perangkat untuk sinkronisasi akan bias, dan pesan di 3: 00 "akan digunakan untuk mencurigai cap waktu, jadi jangan salah.

Apa yang bisa dilakukannya sekarang?

Beberapa pertanyaan yang saya ajukan dan jawab dengan baik:

• "Pada tahun 2021, ketika saya berkata saya akan mengubah pekerjaan, apa sebenarnya yang terjadi?" - itu menempatkan saya bersama-sama pada waktu yang berbeda dengan tiga orang, kembali ke tiga kekhawatiran pada saat itu.
• "Apakah Zhang berjanji untuk melakukannya untuk saya, dan melakukannya terakhir?" - Ia menemukan janji dan satu saya bertanya tiga bulan kemudian, dan ia mendorong off.
• "Berapa kali saya sebutkan pergi ke Jepang selama bertahun-tahun?"

Itu jawaban yang mengerikan. Segala sesuatu yang menyangkut subjektif pertanyaan tentang apa yang saya dalam mood pada saat itu, itu adalah satu set kata.Sebuah rekaman obrolan bisa mengembalikan fakta, bukan perasaan.Pada titik ini, Al memiliki pengalaman yang sama dengan catatan obrolan lama -- bahkan lebih buruk, karena tidak ragu-ragu.

VII. Apakah ini layak atau tidak

Tiga kelompok.

• Aku hanya mencoba untuk bangkit kembali.Berhenti main-main. Wi-fi berisi "backup dan recovery", yang tersedia dalam menu lebih banyak di sudut kiri bawah Windows / Mac, dengan ponsel dalam "I set up a chat record management import and export". Dienkripsi cadangan untuk hard drive Anda sendiri, cukup. Apa yang Anda inginkan adalah tidak kehilangan, tidak bertanya.
• Untuk menemukan sesuatu yang spesifik:Jangan membangun perpustakaan. Pencarian tidak buruk untuk mikro- intelijen, dan kata kunci + waktu filter alamat 80% dari permintaan. Giliranmu menyiapkan pipanya.
• Aku benar-benar ingin mengubah dekade menjadi kenangan yang dapat diperbincangkan:Lakukan. Tapi menerima tiga prasyarat - bahwa data adalah kecelakaan, bahwa batas hukum adalah untuk disimpan pada mereka sendiri, dan bahwa kualitas pertanyaan dan jawaban tergantung pada seberapa kuat Anda, bukan pada model.

Mengenai memberi makan Al itu sendiri, perasaan terbesarku adalah:AI bukan penghalang dari langkah ini.

Apa yang benar-benar sulit adalah untuk mengekspor, mencuci, putus, mencocokkan nama, untuk berurusan dengan tugas-tugas kotor. Tak satu pun dari hal-hal ini dapat membantu Anda. Mereka semua berbaris. Ketika data bersih, model berikutnya adalah langkah paling sederhana.

Jadi jangan tertipu oleh "all-to-AI". Ini bukan pertunjukan. Ini pekerjaan tangan. Pada 3675, mungkin ada puluhan ribu kata yang layak ditanyakan, semuanya adalah "ha-ha" dan "good". Tapi itu adalah puluhan ribu kata senilai tiga hari.

Akhirnya, situasi saat ini alat tersebut jelas. Secara teknis, itu tidak mendorong Anda untuk melakukannya; sebelum melakukannya, silakan berpikir dengan jelas tentang risiko, terutama tidak melewati data yang diekspor.