76.2 10 bin mikro-kahraman AI'ya ihraç edilir: En zor kısım AI değil

Birincisi, sonuç şu:Bunu yaptım. 76.2 10.000 mesaj, 367.5 milyon kelime, tüm yerel bir kütüphanede ve şimdi herhangi bir soru sorabilirim.Ama üç gün geçirdim, ikisi AI ile mücadele etmedi, ancak "Veriyi nasıl elde edeceğim."

Ve bunun önünde kötü bir kelime koymak zorundayım."Benim verilerim benim" sloganı her gün temelde boş.Kaydınız kendi sert sürüşünüzde, tek bir oyuncak değil. Ama bunu okumak istersiniz, yasal bir eşiği ve teknik bir eşiği geçmek zorundasınız. Teknolojiden gittim, yasa, teknolojiden geçen insanlar artık kütüphaneyi kesiyor.

Bir yıl önce, bunu yapmak için araçlar temizlendi.

20 Ekim 2025 tarihinde, en ünlü mikro kredili veri araçlarının ikisi aynı gün aynı bildirimleri yayınladı.

PisaWxDump'un OKME, yasal sorunlardan kaçınmak için temel işleve uygun riskin olduğu sonucuna varmıştır.Tüm kodları çıkarın ve tarih gönderinYalnızca bir not depoda bırakılır. Yazar sonunda bir "later" yazdı ve halk işaretini Python-sadece bir öğreticiye değiştirdi.

Aynı gün, sadece bir not Chatlog'un depolarında kaldı ve yazar Sarv'in dili neredeyse aynıydı: yazışmalar, kod ve başvuru tarihi boştu ve daha fazla destek sağlanmadı.

Bu iki projenin ölçeği neydi? PisaWxDump 9638, chatlog 9177. Küçük değil.

Daha sonra, 2026 Ocak'ta, GitHub'daki BTC kanalı aracılığıyla depoya bir şikayet haberi vardı, kamu raporunda bahsedilen 30'dan fazla rakam daha olgun ve savunucuları doğrudan yasal baskı altında durdu.

Açık olmak, söylemektir:Kendi sohbet kayıtlarını okuduğunuz araç sistematik olarak temizlendi.

Bu yüzden dersi acele etmeyin. İnternet'te bulabileceğiniz "One Key Exporting MicroList" derslerinin büyük çoğunluğu ya ölü zincirler, ücretli yazılımlara veya birkaç ay önce silinmesi gereken eski depolar. Bunu yazıyorum ve bu şekilde konuşuyorum, bir depo çalıştırabileceğiniz şekilde değil – çünkü bu depo muhtemelen gitti.

Verilerinizin nerede olduğunu öğrenin.

Windows'da, Micro-Intelligent Data Direktörü:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac on Mac ~/Library/Containers/com.tencent.xinWeChat/ İşte, yapı benzer. Yolun ve kütüphane yapısının eski makalenin zor yolunu kullanmak yerine 4.x'ten beri ayarlandığını düşünüyoruz.

Ve sonra MSG0.db açmak için acele ediyorsunuz ve bunu alacaksınız:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

beklendiği gibi.Tüm kütüphane SQLCipher tarafından şifrelenirAncak anahtar dosyada mevcut değildir, mikro-posta çalışırken hafızadan hesaplanır. Bu yüzden tüm bu araçların temel adımları “ anahtarı almak” olarak adlandırılır - yaptıkları şey aslında süreç hafızasından bu anahtarı elde etmektir.

Bu adım uyum anlaşmazlığının kalbindedir. Kendi verilerinizi okuyacaksınız, ancak üreticinin teknik korumasını atarak bunu yapacaksınız. Bu iki konunun yasal nitelikleri ve içgüdüleriniz tamamen farklıdır.

Size bir uyumluluk muafiyeti veremem. Sadece bunu netleştirebilirim:Kendi kullanımları için olan yerel ihracatın doğası ve bu da yayılma, satış ve hizmet için tamamen farklı.Arkadaki kişi ona dokunmaz.

Başka bir pratik soru: "Tüm kitabı değil"

Teknik sorunlar çözülse bile, senkronize edilen bilgisayarın tek bir parçasına sahipsiniz. PC son kayıtlarının giriş sırasında senkronize edildiğine veya manuel olarak göç ettiğine inanıyoruz.

İlk yıllarda diğer telefonlardan silindiler, değiştirildiler, eski ekipmandaydılar, değillerdi. Bu sefer, "Yıllar" olarak adlandırılırım ve aslında tam bir diyalog bir araya getirdiğim yıl altı veya yedi yaşında ve daha önce, sadece parça vardı.Bu sözde "en-yıl rekoru" bir parça yığınında dikildi.

Üç, 3675 kavramı nedir?

Temizlik 367.5 milyon kelime, 76.2 milyon. Gerçek sohbetlere karşılık gelen ortalama 48 kelime - çoğunlukla "iyi" "received" "ha-ha-ha-ha"

Bu hacim, ilk reaksiyon "büyük modele yönlendirmeli" olmalıdır. Bunu düşündüm ve pes ettim.

Merhaba?	Context Gereksinimler	Onu kapatabilir misiniz?
Mainstream 128K Context	36.75 M karakterleri	Yüzde 0.4'ü zor.
200K Context	36.75 M karakterleri	0.6% veya hiçbir şey.
Maç 1M Context	36.75 M karakterleri	Bu yaklaşık% 3, ama çok pahalıya mal olacak.

Dikkat, 1M bağlam hattında bir tuzak var:Hatırlayabileceğiniz anlamına gelmez.Daha uzun bağlam, ortadaki modelin odağındaki düşüş, endüstri tarafından defalarca doğrulanan. On yıl boyunca bullshit'i koydun ve bunu sordun, "Mart 2021'de işleri değiştirecek miyim?" Ve sadece ciddi bir saçmalık.

Yani "tüm besleme AI" terimi teknik olarak yanlıştır.Yaptığım şey, modelin beynine 367.5 milyon kelime koymaz, ancak herhangi bir zamanda ortaya çıkabilecek bir indeks yaratır.Bu önemli fark. Tüm mühendislik kararları buradan gelir.

Dördüncü olarak, bu boruyu kullanıyorum.

Beş adım, bir adım kurtarılamaz.

Adım 1: Organize metin için ihracat

Hedef formatı basit, bir seferde bir çizgi, bir konuşmacı, bir oturum adı. HTML veya PDF üretmeyin - insanlar için olanlar, programlar için değil. Ne istediğim, grep olan bir yapı, kesintiler, zaman say.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Bu adım biraz teknik içeriğe sahiptir, ancak takip eden tüm bağlantıların kalitesini belirler.Zaman damgasını kaybederseniz, “ o zaman” diye sormazsınız; konuşmacıyı kaybederseniz, bunu kimin söylediğini bilmiyorsunuz.

Adım 2: Temizleyin, gürültünün yarısını kesin.

Orijinal verilerin en az yüzde 30'u çöptür: " XXX'yi ekledin, şimdi sohbete başlayabilirsiniz" ve "[fotoğraflar)" ve "[gengram]" [[Türkçe] ve sayısız röle ve kırmızı paketler vardır.

Tedavi ilkelerim şunlardır:Sistem mesajı silinir, saf medya yeri sahibi tutulur, ancak türü işaretlenir ve ultra-sMS (bilgi olmadan 4 kelimeden az) bağlama bağlanır.

3675 milyon kelime neredeyse 29 milyon kelime kesti. Endişelenmeyin, bu kelimeler sadece sonuçları kirletir.

Adım 3: Segmentler - bu adım tüm projeyi yok etmek için en kolay

Bir rookie tarafından en yaygın hata, sabit sayıda kelime tarafından sert bir şekilde kısaltılmaktır. Bunu 500 kelimeye ayırın ve bir konuşmayı kesmek için yarısını kesin, elinizdeki ilk yarısı ve sonraki ikinci yarısı. Arama zamanı yarısı, AI başlar.

Benim yolum.Oturum + Zaman Pencere Çift Cut: Aynı oturumda, bitişik mesaj 30 dakikadan fazla bir süredir kapanıyor; blok 400 ila 600 kelime arasında yer alıyor; her blok seans adı + zaman aralığı + katılımcının başlığını içeriyor.

Bu başlık kırmızı gibi görünüyor, aslında en değerli kısmı. Çünkü kullanıcılarla sorunlar genellikle zaman alır - “Son yılın mezuniyetinin sonunda” – zaman demir yoktur ve vektör retrieval haklı değildir.

Adım 4: Ölçülenebilmek

Yedi bin veya daha fazla, hepsini çalıştırın. Bu ölçek maliyeti iki basamakta yeterli, beklediğimden çok daha ucuz. Gerçekten maliyetler tekrar çalıştırdığınız zaman sayısı - bölünmüş strateji nedeniyle üç baskı değiştirdim ve üç kez koştum.

Nerede? Sqlite-vec yeterlidir. Burada Milvus, Qdrant, bir erkek üzerinde on binlerce veri, bu değil.

Adım 5: Karma arama, sadece bir vektör değil

Pure vektör arama, bu tür sohbet kaydında ortak bir ifadedir. Sebep açık:Genellikle isimleri, isimleri, belirli miktarlar arıyorsunuz, bu kesin eşleştirme işleri ve çok iyi vektörler değil.

Bu yüzden son koşmak bir hibrit aramadır: bir vektör hatırla, bir anahtar kelime (BM25 veya doğrudan SQLLLKE) hatırla, bir araya ve tart ve sonra cevabı vermek. Bu değişiklik, yanıt oranının doğruluğunda bir gelişme ile sonuçlandı, bu, herhangi bir önceki optimizasyondan daha belirgindir.

Beş, beş pits çıktım ve muhtemelen yapacaksınız.

1. Düşünceler .db normal bir şekilde incelendi.Bu değil. “Nasıl açık olamaz” tüm sorular bundan kaynaklanıyor.
2. Resimler ve ses... dat.Standart bir format değil. Her dosya başlığı farklı veya şifrelidir. Ayrı bir tedavi almak için, pes ettim - 10 yıllık bir harita, maliyetlerden çok daha düşük ekstraksiyon değeri ile.
3. Panel konuşmacı kimliği sayıdır.Bunu yapmazsanız, MicroMsg'de bir mikromap yapmak zorundasınız ve bunu okuyacaksınız.
4. Aynı kişinin adı değişir.Notlarımı ve takmalarımı 10 yıl boyunca değiştirdim. Aynı kişi kütüphanenizde dört ismi olabilir. Üniforma yoksa, arama yanlış olmalıdır.
5. Zaman damgası bazen sorunlar.Cihazın senkronize edilmesi için kayıt zamanı önyargılı olacaktır ve "3:00'de bir.m." zaman damgasından şüphelenilecek, bu yüzden yanlış olmaz.

Şimdi ne yapabilir?

Aslında sorduğum sorulardan bazıları iyi cevap verdi:

• “ 2021 yılında, işleri değiştireceğimi söylediğimde, tam olarak mesele neydi?” – üç kişiyle birlikte bir araya getirdim, o zaman üç endişeye geri döndü.
• “ Zhang bunu benim için yapmaya söz verdi ve son yaptı mı?” Sözünü ve üç ay sonra sorduğum kişiyi buldu ve itti.
• "Yıllar boyunca Japonya'ya kaç kez bahsettim?" - Her zaman ve bağlamda yedi kez sayın.

Bu korkunç bir cevap. O zamanlar ruh halimde ne olduğu hakkında öznel sorularla ilgili her şey, bir dizi kelime.Bir sohbet kaydı gerçekleri geri getirebilir, duygular değil.Bu noktada, AI eski sohbet kayıtları ile sahip olduğunuz aynı deneyime sahiptir - daha da kötüsü, çünkü tereddüt etmez.

VII. Bu buna değer olsun ya da değil

Üç grup.

• Ben sadece geri dönmeye çalışıyorum.Çevreyi bozmayı bırakın. wi-fi, "gerileme ve kurtarma", Windows/Mac'in alt köşesinde daha fazla menüde mevcuttur, "Ben bir sohbet kayıt yönetimi ithalat ve ihracat kurdum." Kendi sert arabanıza şifrelenmiş yedekleme, yeterince. Ne istiyorsun kaybetmek değil, sormak.
• Belirli bir şey bulmak için:Bir kütüphane inşa etmeyin. Arama mikro-intelligence için kötü değildir ve anahtar kelime + zaman filtre talebin %80'ini ele alır. Boruyu kurmak için sırtınız.
• Gerçekten on yılını bir sohbet edilebilir hafızaya dönüştürmek istiyorum:Bunu yapın. Ancak üç önkoşul kabul edin - verilerin bir mahiyet olduğunu, yasal sınırların kendi başlarına tutulması gerektiğini ve soruların ve cevapların kalitesinin model üzerinde ne kadar güçlü olduğuna bağlıdır.

AI'yı beslemenin önemine gelince, en büyük duygum:AI bu adımın şişenck değil.

Gerçekten zor olan şey ihracat yapmak, yıkamak, parçalanmak, bu kirli görevlerle uğraşmak. Bu şeylerin hiçbiri size yardımcı olamaz. Hepsi çizgili. Veriler temiz olduğunda, bir sonraki model en basit adımdır.

Bu yüzden "all-to-AI" tarafından kandırılmamalıdır. Bu bir show-off değil. Bir el işi. 3675 yılında, muhtemelen on binlerce kelime sormaya değer, bunların hepsi "ha-ha" ve "iyi". Ama bu üç gün değerinde olan on binlerce kelime.

Son olarak, bu tür araçların mevcut durumu açık. Teknik olarak, bunu yapmanızı teşvik etmiyor; bunu yapmadan önce, lütfen risklerle ilgili açık düşünün, özellikle ihraç edilen verileri geçme.