76.2 Do AI se vyváží deset tisíc mikropísmen: nejtěžší částí není AI

Za prvé, závěr je, že:Dokázal jsem to. 76,2 10,000 zpráv, 367,5 milionu slov, vše v místní knihovně, a teď se můžu zeptat na cokoliv.Ale strávil jsem tři dny, dva z nich nebojovali s AI, ale s "Jak získat data."

A musím před to říct špatné slovo.Slogan "Moje data jsou moje" každý den je v podstatě prázdný.Váš záznam je na vašem harddisku, ani jeden byte. Ale chcete si to přečíst, musíte překročit právoplatný práh a technický práh. Prošla jsem technologií, zákonem, lidé, kteří procházeli technologií, teď ničí knihovnu.

První, jen před rokem, nástroje k tomu byly vyjasněny.

Dne 20. října 2025 vydaly dva z nejznámějších nástrojů pro mikroúvěry ve stejný den stejná oznámení.

PyWxDump README se stal oznámení o odstranění projektu v tom smyslu, že existuje riziko souladu s hlavní funkcí, což znamená vyhnout se právním problémům.Odstranit všechny kódy a předložit historiiVe skladišti je jen jeden vzkaz. Autor konečně napsal "později" a změnil veřejnou značku na Python- pouze tutorial.

Ve stejném dni zůstala ve skladišti Chatlog pouze jedna poznámka a jazyk autora Sarva byl téměř totožný: byla vyprázdněna korespondence, šifra a historie podání a nebyla poskytnuta žádná další podpora.

Jaký byl rozsah těchto dvou projektů? PyWxDump 9638, Chatlog 9177. Není to malé.

Později, v lednu 2026, se objevily zprávy o jednorázové stížnosti na sklad prostřednictvím kanálu DMCA v GitHubu, s více než 30 číslicemi uvedených ve veřejné zprávě, z nichž tisíce hvězd byly zralé, a obránci přímo naznačili, že údržba byla zastavena pod právním tlakem.

Aby bylo jasno, je říct:Nástroj, který vás donutil číst vaše vlastní chatovací záznamy, byl systematicky čištěn.

Tak tu lekci nespěchej. Převážná většina lekcí "One Key Exporting MicroList", které najdete na internetu, jsou buď mrtvé řetězy, proudící do placeného softwaru, nebo staré sklady, které měly být smazány před několika měsíci. Píšu to a mluvím o cestě, ne o způsobu, jakým můžete vést skladiště -- protože to skladiště je pravděpodobně pryč.

Zjistěte, kde jsou vaše data.

Na Windows, ředitel mikrointeligentních dat:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac on ~/Library/Containers/com.tencent.xinWeChat/ Zde je struktura podobná. Věříme, že cesta a struktura knihovny byly upraveny od 4.x místo použití tvrdé cesty starého článku.

A pak rychle otevřete MSG0.db a dostanete tohle:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Jak jsem čekal.Celá knihovna je zašifrována SQLCipher, Klíč neexistuje v souboru, je počítán z paměti, když mikro-mail běží. Proto se klíčové kroky všech těchto nástrojů nazývají "vzít klíč" -- to, co dělají, je v podstatě dostat ten klíč z paměti procesu.

Tento krok je jádrem sporu o dodržování předpisů. Přečtete si vlastní data, ale uděláte to tak, že obejdete technickou ochranu výrobce. Právní kvalifikace těchto dvou věcí a vašich instinktů jsou naprosto odlišné.

Nemůžu ti dát výjimku. Můžu to jen vyjasnit:Povaha místního vývozu vlastních účtů, které jsou určeny pro vlastní potřebu a které se používají pro šíření, prodej a služby, je zcela odlišná.Ten vzadu, nesahej na to.

Další praktická otázka: "Nebyla celá kniha"

I když jsou technické problémy vyřešeny, máte jedinou část počítače, která je synchronizována. Věříme, že koncové záznamy PC byly synchronizovány během vašeho přihlášení, nebo jste se přesunuli ručně.

Byly vymazány z jiných telefonů v prvních letech, byly nahrazeny, byly ve starém vybavení, nebyly. Tentokrát se mi říká "Deset let", a rok, kdy jsem dal dohromady úplný dialog je asi šest nebo sedm let starý, a dokonce i dříve, tam byly jen fragmenty.Takzvaný "desetiletý rekord" byl zašitý na hromadu kousků.

Jaký je koncept tří, 3675?

Úklid je 367,5 milionu slov, 76,2 milionu. Průměr 48 slov, které odpovídaly skutečným chatům - většinou "kde" "dobrý" "obdržel" "ha- ha- ha- ha".

Tento objem, první reakce musí být "přímo na velký model". Přemýšlel jsem o tom a vzdal jsem to.

3675 000 slov ve srovnání s velikostí kontextového okna

Haló?	Kontextové požadavky	Můžeš to vypnout?
Mainstream 128K Kontext	O 36.75 M znaků	Je to sotva 0,4%.
Kontext 200K	O 36.75 M znaků	0,6% nebo nic.
Shoda 1M Kontext	O 36.75 M znaků	Je to asi 3%, ale bude to stát hodně.

Pozor, v kontextové linii 1M je past.To neznamená, že si to pamatuješ.Čím delší je kontext, tím jasnější je pokles zaměření modelu na střed, který byl opakovaně potvrzen průmyslem. Dal jsi do toho deset let kravin a zeptal se, "Řekl jsem, že v březnu 2021 změním práci?" A je to jen vážná blbost.

Takže termín "all feed AI" je technicky nepřesný.Nevkládám 367,5 milionu slov do mozku modelu, ale vytvářím index, který může být kdykoliv převrácen.To je klíčový rozdíl. Všechna technická rozhodnutí pocházejí odtud.

Za čtvrté, používám tuhle trubku.

Pět kroků, jeden krok nebude ušetřen.

Pětikroková trubka z 3675,000 slov do vyhledávatelné knihovny

Krok 1: Export do strukturovaného textu

Cílový formát je jednoduchý, jeden řádek najednou, reproduktor, název relace. Neprodukujte HTML nebo PDF -- ty jsou pro lidi, ne pro programy. Chci strukturu, která je grep, cut, počítá čas.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Tento krok má malý technický obsah, ale určuje kvalitu všech odkazů, které následují.Pokud ztratíte časový údaj, nikdy se nezeptáte "ten čas"; pokud ztratíte reproduktor, nevíte, kdo to řekl.

Krok 2: Uklidit, snížit polovinu hluku.

Minimálně 30 procent původních dat je odpad: "Přidali jste XXX, můžete začít chatovat" a "druhá strana stáhla zprávu" a "[EPIM]" "[exprese]" a existují nekonečné sady nesčetných relé a červených paketů.

Moje zásady léčby jsou:Systematická zpráva se vymaže, čistý nosič médií zůstane, ale typ je označen a ultrasMS (méně než 4 slova bez informací) se spojí do kontextu.

3675 milionů slov sníženo na téměř 29 milionů slov. Nebojte se, ta slova jen znečišťují výsledky.

Krok 3: Segmenty - tento krok je nejjednodušší zničit celý projekt

Nejčastější chybou nováčka je být tvrdě řezán pevným počtem slov. Přeřízněte to na 500 slov a rozřízněte to na polovinu, abyste přerušili konverzaci, první polovinu v ruce a druhou polovinu v další. Polovina času hledání začíná.

Po mém.Podle session + časové okno Double Cut: Ve stejném relaci je přilehlá zpráva odpojena na více než 30 minut; blok je obsažen v 400 až 600 slovech; každý blok obsahuje hlavičku názvu relace + časový rozsah + účastník.

Tento titulek se zdá být nadbytečný, vlastně nejcennější část. Protože problémy s uživateli často zabírají čas - "na konci loňského promoce" - není tu žádná časová kotva a vyhledávání vektorů není správné.

Krok 4: Vypočte se

Sedmdesát tisíc nebo víc, přejeď to. Cena tohoto měřítka je dost ve dvou číslicích, mnohem levnější, než jsem čekal. Co opravdu stojí, je počet případů, kdy znovu běžíte -- změnil jsem tři edice kvůli rozdělení strategie a běžel třikrát.

Kde? Sqlite- vec je dost. Nechoďte sem s Milvusem, Qdrantem, desetitisícovkami dat o muži, to ne.

Krok 5: Smíšené vyhledávání, nejen vektor

Čisté hledání vektorů je běžný výraz v tomto typu nahrávání chatu. Důvod je jasný:Často hledáte jména, jména, konkrétní částky, které jsou přesně shodné a ne moc dobré vektory.

Takže konečný běh je hybridní vyhledávání: vektorové stažení, klíčové slovo (BM25 nebo přímé SQLLLKE) stažení, sloučení a vážení, a pak dát model odpověď. Tato změna vedla ke zlepšení přesnosti rychlosti odezvy, což je zřejmější než jakákoli předchozí optimalizace kombinovaná.

Pět, pět jamek, na které jsem šlápl, a ty asi jo.

Myslel jsem, že db je normální sqlite.Není. Všechny otázky, jak se neotevřít, z toho vyplývají.
Fotky a hlas jsou...Není to standardní formát. Každý záhlaví souboru je jiné nebo zašifrované. Za účelem samostatné léčby jsem se vzdal desetileté mapy s mnohem nižší hodnotou extrakce než náklady.
Číslo je ID reproduktoru obrazu.Pokud to neuděláte, budete muset udělat mikromapu v MicroMsg.db, a nebudete ji číst.
Jméno stejné osoby se mění.Změnil jsem si poznámky a přezdívky už 10 let. Stejná osoba může mít čtyři jména ve vaší knihovně. Pokud neexistuje jednotnost, hledání musí být špatné.
Časová známka někdy problémy.Čas pro nahrávání přes zařízení k synchronizaci bude zaujatý, a "zpráva ve 3: 00" bude použita k podezření na časové razítko, takže se nepleťte.

Co teď může dělat?

Některé z otázek, které jsem skutečně položil a odpověděl dobře:

"V roce 2021, když jsem řekl, že změním práci, co přesně se stalo?" - dalo mě to dohromady v různých časech se třemi lidmi, kteří se vrátili ke třem obavám v té době.
"Slíbil Zhang, že to pro mě udělá a že to vydrží?" Našel ten slib a ten, na který jsem se ptal o tři měsíce později, a on ho odstrčil.
"Kolikrát jsem se za ty roky zmínil, že jedu do Japonska?" - Odpočítávám sedmkrát, s každým časem a kontextem.

Je to hrozná odpověď. Vše, co se týká subjektivních otázek o tom, co jsem měl v té době v náladě, je soubor slov.Chatovací záznam může obnovit fakta, ne pocity.V tuto chvíli má AI stejné zkušenosti jako vy se starými chaty -- ještě horší, protože neváhá.

VII. Ať už to stojí za to nebo ne.

Tři skupiny.

Jen se snažím vstát.Přestaň blbnout. Wi-fi obsahuje "zálohování a zotavení", které je k dispozici ve více menu v levém dolním rohu konce Windows / Mac, s mobilním telefonem v "Nastavil jsem chat správu záznamů import a export". Zašifrovaná záloha na váš pevný disk, dost. Co chceš, je neprohrát, neptát se.
Najít něco konkrétního:Nestavěj knihovnu. Hledání není špatné pro mikrointeligenci, a klíčové slovo + časový filtr řeší 80% poptávky. Teď je řada na tobě.
Opravdu chci změnit desetiletí v konverzační vzpomínku:Udělej to. Přijměte však tři předpoklady - že data jsou troska, že právní hranice musí být udrženy na vlastní pěst a že kvalita otázek a odpovědí závisí na tom, jak silný jste, ne na modelu.

Co se týče samotné výživy AI, můj největší pocit je:AI není překážkou tohoto kroku.

Co je opravdu obtížné, je vyvážet, mýt, rozejít se, porovnat jména, vypořádat se s těmito špinavými úkoly. Nic z toho ti nepomůže. Všechny jsou seřazené. Když jsou data čistá, dalším modelem je nejjednodušší krok.

Tak se nenechte zmást "all- to-AI". Není to přehlídka. Je to vyhonění. V 3675, tam jsou pravděpodobně desítky tisíc slov stojí za to ptát, z nichž všechny jsou "ha- ha" a "dobrý". Ale to jsou desítky tisíc slov za tři dny.

A konečně, současná situace těchto nástrojů je jasná. Technicky vás to nepodněcuje k tomu, abyste to dělali; před tím se prosím jasně zamyslete nad riziky, zejména pokud neprojdete vyváženými údaji.