76.2 Sepuluh ribu mikro-huruf diekspor ke AI: Bagian tersulit bukan AI

Pertama, kesimpulannya adalah:Aku berhasil. 76.2 10.000 pesan, 367.5 juta kata, semua di perpustakaan lokal, dan saya sekarang bisa mengajukan pertanyaan.Tapi aku menghabiskan tiga hari, dua dari mereka tidak berkelahi dengan AI, tapi dengan " Cara mendapatkan data."

Dan aku harus mengatakan hal buruk di depannya.Slogan "Dataku adalah milikku" setiap hari pada dasarnya kosong.Catatanmu ada di hard drivemu sendiri, bukan satu byte. Tapi kau ingin membacanya, kau harus melewati ambang batas hukum dan ambang teknis. Aku memeriksa teknologi, hukum, orang-orang yang melalui teknologi sekarang memotong perpustakaan.

Satu, setahun yang lalu, alat-alat untuk melakukan ini dibersihkan.

^ a b c d e f g h i j k l m n o k l m n o p q r s t u v w x y t u v w x y t u v w x y t u v w x y t u v w x y t u v w x y z a b c d e f g h a b c d e f g h i j k l m e f g h i j k l m n o j k l m j k l m n o j k l m n o j k l m n o j k l m n o j k l m t u u r r u u u u u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u r u

README's PyWxDump's telah menjadi Project Removal Notice terhadap efek bahwa ada risiko kepatuhan dengan fungsi inti, yaitu menghindari masalah hukum.Menghapus semua kode dan sejarah pengirimanHanya satu catatan tersisa di gudang. Penulis akhirnya menulis sebuah "later" dan mengubah tanda publik menjadi tutorial Python-only.

Pada hari yang sama, hanya satu catatan yang tersisa di gudang Chatlog, dan bahasa penulis Sarv hampir sama: menerima korespondensi, kode dan sejarah penyerahan dikosongkan dan tidak ada dukungan lebih lanjut yang disediakan.

Apa skala kedua proyek ini? ^ a b c d e f g h i j k l m n o p q r x dump 9638, chatlog 9177. Ini tidak kecil.

Kemudian, pada bulan Januari 2026, ada berita tentang keluhan satu-off terhadap gudang melalui saluran DMCA di GitHub, dengan lebih dari 30 angka yang disebutkan dalam laporan publik, yang di antaranya ribuan bintang matang, dan pembela secara langsung menunjukkan bahwa pemeliharaan dihentikan di bawah tekanan hukum.

Yang jelas adalah mengatakan:Alat yang membuat Anda membaca catatan obrolan Anda sendiri dibersihkan secara sistematis.

Jadi jangan terburu-buru pelajaran. Sebagian besar "One Key Exporting MicroList" pelajaran yang dapat Anda temukan di Internet adalah rantai mati, mengalir ke perangkat lunak berbayar, atau gudang lama yang seharusnya dihapus beberapa bulan lalu. Saya menulis ini, dan saya berbicara tentang jalan, bukan cara Anda dapat menjalankan gudang -- karena gudang itu mungkin hilang.

Cari tahu di mana datamu.

Di Windows, Direktur Data Intelektual Mikro:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

♪ Mac di ♪ ~/Library/Containers/com.tencent.xinWeChat/ Di sini, strukturnya mirip. Kami percaya bahwa jalan dan struktur perpustakaan telah disesuaikan sejak 4.x daripada menggunakan jalan keras artikel lama.

Struktur Direktori Data Lokal Tanpa Wayar Tanpa Wayar

Dan kemudian Anda bergegas untuk membuka MSG0.db dan Anda akan mendapatkan ini:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Seperti yang diharapkan.Seluruh perpustakaan dienkripsi oleh SQLCipher, kunci tidak ada dalam file, itu dihitung dari memori ketika mikro-mail berjalan. Itulah sebabnya mengapa langkah inti dari semua alat ini disebut "mengambil kunci" -- apa yang mereka lakukan adalah mengeluarkan kunci itu dari memori proses.

Langkah ini adalah di jantung perselisihan kepatuhan. Anda akan membaca data Anda sendiri, tetapi Anda akan melakukannya dengan memotong proteksi teknis produsen. Kelayakan hukum dari dua hal ini, dan naluri Anda, benar-benar berbeda.

Aku tak bisa memberimu pengecualian. Aku hanya bisa menjelaskannya:Wafatnya ekspor lokal dari rekening mereka sendiri, yang untuk penggunaan mereka sendiri, dan yang digunakan untuk diseminasi, penjualan dan layanan sama sekali berbeda.Yang di belakang, jangan menyentuhnya.

Pertanyaan praktis lainnya: "Bukankah seluruh buku"

Bahkan jika masalah teknis diselesaikan, Anda punya satu-satunya bagian dari komputer yang diselaraskan. Kami percaya bahwa catatan akhir PC telah diselaraskan selama log masuk Anda, atau Anda bermigrasi secara manual.

Mereka dihapus dari ponsel lain pada tahun-tahun awal, mereka diganti, mereka berada di peralatan tua, mereka tidak. Kali ini, saya disebut "Ten Years," dan tahun ketika saya benar-benar menyusun dialog penuh adalah sekitar enam atau tujuh tahun, dan bahkan sebelumnya, hanya ada fragmen.Catatan yang disebut "sepanjang tahun" dijahit dalam tumpukan potongan-potongan.

Apa konsep tiga, 3675?

Pembersihan adalah 367.5 juta kata, 76.2 juta. Rata-rata 48 kata, yang berhubungan dengan percakapan nyata - kebanyakan "di mana"baik"diterima"diterima"ha-ha-ha."

Volume ini, reaksi pertama harus "arah ke model besar." Aku memikirkannya dan menyerah.

3675 000 kata dibandingkan dengan ukuran konteks jendela

Halo?	Keperluan Konteks Keserasian	Bisa kau matikan?
Konteks 128K	Sekitar 36.75 M aksara	Hampir 0.4%.
Konteks Mac	Sekitar 36.75 M aksara	0,6% atau tidak sama sekali.
Konteks 1M Match	Sekitar 36.75 M aksara	Ini sekitar 3%, tapi harganya akan mahal.

Perhatian, ada perangkap dalam garis konteks 1M:Bukan berarti kau bisa mengingatnya.Semakin panjang konteksnya, semakin jelas penurunan fokus model di tengah, yang berulang kali divalidasi oleh industri. Anda menempatkan sepuluh tahun omong kosong di dalamnya, dan Anda bertanya, "Apakah saya mengatakan saya akan mengubah pekerjaan di Maret 2021?" Dan itu hanya omong kosong serius.

Jadi istilah "semua pakan AI" secara teknis tidak akurat.Apa yang saya lakukan tidak menempatkan 367,5 juta kata ke dalam otak model, tetapi membuat indeks yang dapat diputar kapan saja.Itu perbedaan utamanya. Semua keputusan teknik berasal dari sini.

Keempat, saya menggunakan pipa ini.

Lima langkah, satu langkah tidak akan terhindar.

pipa lima langkah dari 3675.000 kata ke perpustakaan yang dapat dicari

Langkah ke-1: Ekspor ke teks terstruktur

Format targetnya sederhana, satu baris sekaligus, seorang pembicara, nama sesi. Jangan menghasilkan HTML atau PDF -- itu untuk orang, bukan untuk program. Apa yang saya inginkan adalah struktur yang grip, pemotongan, waktu hitungan.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Langkah ini memiliki sedikit konten teknis, tetapi menentukan kualitas semua tautan yang mengikuti.Jika Anda kehilangan cap waktu, Anda tidak pernah bertanya "waktu itu"; jika Anda kehilangan pembicara, Anda tidak tahu siapa yang mengatakannya.

Bersihkan, potong setengah kebisingan.

Sedikitnya 30 persen dari data asli adalah sampah: "Anda telah menambahkan XXX, Anda sekarang dapat memulai chatting" dan "sisi lain telah menarik pesan" dan "[fotogram]" "[ekspresi]" dan ada set tak berujung dari relay tak terhitung dan paket merah.

Prinsip pengobatanku adalah:Pesan sistem dihapus, pemegang tempat media murni disimpan tetapi jenis ditandai, dan ultra-sMS (kurang dari 4 kata tanpa informasi) digabung ke dalam konteks.

3675 juta kata dipotong menjadi hampir 29 juta kata. Jangan khawatir, kata-kata itu hanya mencemari hasilnya.

Langkah 3: Segmen — langkah ini adalah yang paling mudah untuk menghancurkan seluruh proyek

Kesalahan yang paling sering dilakukan oleh seorang pemula adalah dengan keras dipotong oleh sejumlah kata yang tetap. Potong menjadi 500 kata dan potong menjadi dua untuk memotong percakapan, setengah pertama di tangan Anda dan setengah kedua di berikutnya. Setengah waktu pencarian, AI dimulai.

Caraku.Potongan Ganda Jendela Waktu:Dalam sesi yang sama, pesan yang berdekatan terputus selama lebih dari 30 menit; blok dimuat dalam 400 sampai 600 kata; setiap blok berisi header dari nama sesi + jangkauan waktu + peserta.

Berita utama ini tampaknya berlebihan, sebenarnya bagian yang paling berharga. Karena masalah dengan pengguna sering kali memakan waktu — ” pada akhir tahun lalu lulus ” — tidak ada jangkar waktu, dan pengambilan kembali vektor tidak benar.

Langkah ke - 4 untuk memenuhi syarat

Tujuh puluh ribu atau lebih, jalankan seluruh. Biaya skala ini cukup dalam dua digit, jauh lebih murah dari yang saya harapkan. Saya telah mengubah tiga edisi karena strategi split dan berlari tiga kali.

Dimana? Sudah cukup. Jangan datang ke sini dengan Milvus, Qdrant, puluhan ribu data pada seorang pria, bukan itu.

Langkah 5: Pencarian campuran, bukan hanya vektor

Pencarian vektor murni adalah ungkapan umum dalam perekaman chat semacam ini. Alasannya jelas:Anda sering mencari nama, nama, jumlah tertentu, yang cocok dengan pekerjaan dan bukan vektor yang sangat baik.

Jadi, lari terakhir adalah pencarian hybrid: recall vektor, sebuah kata kunci (BM25 atau langsung SQLLLKE) mengingat kembali, menggabungkan dan menimbang, dan kemudian memberikan jawaban model. Perubahan ini telah mengakibatkan peningkatan pada keakuratan tingkat respon, yang lebih terlihat dari gabungan optimasi sebelumnya.

Lima, lima lubang yang kuinjak, dan kau mungkin akan melakukannya.

Pemikiran .db adalah sqlite normal.Tidak. Semua pertanyaan "bagaimana tidak dapat membuka" berasal dari ini.
Gambar dan suara adalah ... dat.Bukan format standar. Setiap header file berbeda atau dienkripsi. Untuk mendapatkan perawatan terpisah, saya menyerah — peta 10 tahun, dengan nilai ekstraksi yang jauh lebih rendah daripada biaya.
ID speaker panel adalah nomor.Jika Anda tidak melakukan itu, Anda harus melakukan micromap di MicroMsg.db, dan Anda tidak akan membacanya.
Nama orang yang sama berubah.Aku telah mengubah catatan dan julukanku selama 10 tahun. Orang yang sama mungkin memiliki empat nama di perpustakaan Anda. Jika tidak ada keseragaman, pencarian pasti salah.
Perangko waktu kadang-kadang bermasalah.Waktu untuk perekaman di seluruh perangkat untuk sinkronisasi akan bias, dan "pesan pada 3:00 pagi." akan digunakan untuk mencurigai cap waktu, jadi jangan salah.

Apa yang bisa dilakukan sekarang?

Beberapa pertanyaan yang sebenarnya saya tanyakan dan jawab dengan baik:

" Pada tahun 2021, ketika saya mengatakan bahwa saya akan mengubah pekerjaan, apa sebenarnya masalahnya?" — hal itu menyatukan saya pada waktu yang berbeda dengan tiga orang, kembali ke tiga kekhawatiran pada saat itu.
- Apakah Zhang berjanji untuk melakukannya untuk saya, dan melakukannya terakhir?" - Ini menemukan janji dan yang saya minta tiga bulan kemudian, dan ia menolaknya.
Sudah berapa kali saya sebutkan pergi ke Jepang selama bertahun-tahun?" - Menghitung tujuh kali, dengan setiap waktu dan konteks.

Itu jawaban yang buruk. Segala sesuatu yang menyangkut pertanyaan subjektif tentang apa yang saya dalam mood pada saat itu, itu adalah seperangkat kata-kata.Catatan chat dapat memulihkan fakta, bukan perasaan.Pada titik ini, AI memiliki pengalaman yang sama dengan catatan obrolan lama -- bahkan lebih buruk lagi, karena tidak ragu-ragu.

VII. Apakah ini layak atau tidak

3 kelompok.

Aku hanya mencoba untuk bangkit kembali.Berhenti main-main. wi-fi wi-fi berisi "backup dan pemulihan", yang tersedia dalam lebih banyak menu di sudut kiri bawah ujung Windows/Mac, dengan telepon genggam di "I mengatur impor dan ekspor manajemen rekaman obrolan". Cukup. Apa yang Anda inginkan adalah tidak kalah, tidak bertanya.
Untuk menemukan sesuatu yang spesifik:Jangan membangun perpustakaan. Pencarian tidak buruk untuk kecerdasan mikro, dan kata kunci + waktu filter alamat alamat 80% dari permintaan. Sekarang giliranmu untuk memasang pipanya.
Saya benar-benar ingin mengubah dekade menjadi memori yang dapat diperbincangkan:Lakukan. Tetapi, untuk menerima tiga prasyarat — bahwa data itu rusak, bahwa batas hukum harus dijaga sendiri, dan bahwa kualitas pertanyaan dan jawaban bergantung pada seberapa kuat Anda, bukan pada model.

Adapun masalah makan AI sendiri, perasaan terbesar saya adalah:AI bukanlah gundah langkah ini.

Apa yang benar-benar sulit adalah mengekspor, mencuci, putus, mencocokkan nama, untuk menangani tugas kotor ini. Tidak ada yang bisa membantumu. Mereka semua berbaris. Ketika data bersih, model berikutnya adalah langkah yang paling sederhana.

Jadi jangan tertipu oleh "semua-ke-AI." Ini bukan pertunjukan. Ini pekerjaan tangan. Pada tahun 3675, mungkin ada puluhan ribu kata-kata yang patut ditanyakan, yang semuanya adalah "ha-ha" dan "baik". Tapi itu puluhan ribu kata senilai tiga hari.

Akhirnya, situasi alat - alat tersebut sekarang sudah jelas. Secara teknis, hal ini tidak mendorong Anda untuk melakukannya; sebelum melakukannya, silakan pikirkan dengan jelas risikonya, terutama tidak melewati data yang diekspor.