76.2 Dziesięć tysięcy mikroliter jest eksportowanych do AI: Najtrudniejszą częścią nie jest AI

Po pierwsze, wniosek jest następujący:Zrobiłem to. 76.2 10 000 wiadomości, 367,5 mln słów, wszystko w lokalnej bibliotece, i teraz mogę zadać mu wszelkie pytania.Ale spędziłem trzy dni, dwóch z nich nie walczyło z AI, ale z "Jak zdobyć dane".

I muszę postawić przed nim złe słowo.Slogan "Moje dane są moje" jest praktycznie pusty.Twój rekord jest na twardym dysku, ani jednego bajtu. Ale chcesz to przeczytać, musisz przekroczyć próg prawny i techniczny. Przeszedłem przez technologię, prawo, ludzie, którzy przeszli przez technologię, teraz przecinają bibliotekę.

Jeden, rok temu, narzędzia do tego zostały wyczyszczone.

W dniu 20 października 2025 r.

ReADME PyWxDump stał się obwieszczeniem o usuwaniu projektu, co oznacza, że istnieje ryzyko zgodności z podstawową funkcją, która ma na celu uniknięcie problemów prawnych.Usuń wszystkie kody i podaj historięW magazynie jest tylko jedna notatka. Autor w końcu napisał "później" i zmienił znak publiczny na tylko Python tutorial.

W tym samym dniu w magazynie Chatlog pozostawiono tylko jedną notatkę, a język autora Sarva był prawie identyczny: otrzymano korespondencję, kod i historię złożenia zostały opróżnione i nie zapewniono dalszego wsparcia.

Jaka była skala tych dwóch projektów? PyWxDump 9638, chatlog 9177. Nie jest mały.

Następnie, w styczniu 2026 roku, pojawiły się wieści o jednorazowej skardze na magazyn za pośrednictwem kanału DMCA w GitHub, z ponad 30 liczbami wymienionymi w raporcie publicznym, z których tysiące gwiazd dojrzewały, a obrońcy bezpośrednio wskazali, że konserwacja została zatrzymana pod presją prawną.

Żeby było jasne, trzeba powiedzieć:Narzędzie, które sprawiło, że przeczytałeś swoje własne nagrania czatu było systematycznie czyszczone.

Więc nie spiesz się z lekcją. Zdecydowana większość lekcji "One Key Exporting MicroList", które można znaleźć w Internecie, to albo martwe łańcuchy, płynące do płatnego oprogramowania, albo stare magazyny, które powinny zostać usunięte kilka miesięcy temu. Piszę to i mówię o sposobie, a nie o sposobie, w jaki można prowadzić magazyn, ponieważ ten magazyn prawdopodobnie zniknął.

Dowiedz się, gdzie są twoje dane.

Na Windows, Dyrektor Mikro-Inteligentnych Danych:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac ~/Library/Containers/com.tencent.xinWeChat/ Tutaj struktura jest podobna. Wierzymy, że ścieżka i struktura biblioteki zostały dostosowane od 4.x zamiast za pomocą twardej ścieżki starego artykułu.

Bezprzewodowa struktura katalogu danych lokalnych

A potem śpieszysz się, by otworzyć MSG0.db i dostaniesz to:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Zgodnie z oczekiwaniami.Cała biblioteka jest szyfrowana przez SQLCipher, klucz nie istnieje w pliku, jest on obliczany z pamięci podczas pracy micro- mail. Dlatego podstawowe kroki wszystkich tych narzędzi nazywamy "weźcie klucz" -- to co robią to zasadniczo wyciągnięcie tego klucza z pamięci procesowej.

Ten krok jest centralnym elementem sporu dotyczącego zgodności. Przeczytasz własne dane, ale ominiesz ochronę techniczną producenta. Kwalifikacje prawne tych dwóch spraw i twoje instynkty są zupełnie inne.

Nie mogę dać ci zwolnienia. Mogę to tylko wyjaśnić:Charakter lokalnego eksportu własnych rachunków, które są przeznaczone na ich własny użytek i które są wykorzystywane do rozpowszechniania, sprzedaży i obsługi, jest zupełnie inny.Nie dotykaj tego z tyłu.

Kolejne praktyczne pytanie: "To nie była cała książka"

Nawet jeśli problemy techniczne zostaną rozwiązane, masz jedyną zsynchronizowaną część komputera. Wierzymy, że rekordy końcowe PC zostały zsynchronizowane podczas logowania, lub migracji ręcznie.

Zostały usunięte z innych telefonów w pierwszych latach, zostały zastąpione, były w starym sprzęcie, nie były. Tym razem nazywam się "Dziesięć lat", a rok, w którym nawiązałem pełny dialog ma około sześciu lub siedmiu lat, a nawet wcześniej, były tylko fragmenty.Tak zwany "dziesięcioletni rekord" został zszyty na stosie kawałków.

Jaka jest koncepcja trzech, 3675?

Sprzątanie to 367,5 miliona słów, 76,2 miliona. Średnio 48 słów, które odpowiadały prawdziwym czatom - głównie "gdzie" "" dobry "" otrzymał "" ha- ha- ha- ha- ha ".

Ta objętość, pierwsza reakcja musi być "bezpośredni do dużego modelu". Myślałem o tym i się poddałem.

3675 000 słów w porównaniu do rozmiaru okna kontekstowego

Halo?	Wymagania kontekstowe	Możesz to podłączyć?
Kontekst głównego nurtu 128K	Około 36,75 M znaków	To zaledwie 0,4%.
Kontekst 200K	Około 36,75 M znaków	0,6% albo nic.
Mecz 1M Kontekst	Około 36,75 M znaków	To około 3%, ale będzie dużo kosztować.

Uwaga, w linii kontekstowej 1M jest pułapka:To nie znaczy, że pamiętasz.Im dłuższy jest kontekst, tym wyraźniejszy jest spadek skupienia modelu na środku, który wielokrotnie był potwierdzany przez przemysł. Włożyłeś w to dziesięć lat bzdur i zapytałeś: "Czy powiedziałem, że zmienię pracę w marcu 2021?" I to tylko poważna bzdura.

Więc termin "wszystkie żywią SI" jest technicznie niedokładny.To, co robię, to nie wkładanie 367,5 miliona słów do mózgu modelu, ale tworzenie indeksu, który można odwrócić w każdej chwili.To kluczowa różnica. Wszystkie decyzje inżynieryjne pochodzą stąd.

Po czwarte, używam tej rury.

Pięć kroków, jeden nie zostanie oszczędzony.

Five-step pipe od 3675 000 słów do wyszukiwarki biblioteki

Etap 1: Eksport do tekstu zorganizowanego

Format docelowy jest prosty, jedna linia na raz, głośnik, nazwa sesji. Nie produkuj HTML ani PDF -- są dla ludzi, nie dla programów. Chcę struktury, która jest grep, cięcia, liczy czas.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Ten krok ma niewiele treści technicznych, ale określa jakość wszystkich linków, które następują.Jeśli stracisz znacznik czasu, nigdy nie zapytasz "ten czas"; jeśli stracisz głośnik, nie wiesz, kto to powiedział.

Krok 2: Posprzątać, odciąć połowę hałasu.

Co najmniej 30 procent oryginalnych danych to śmieci: "Dodałeś XXX, możesz teraz zacząć rozmawiać" i "druga strona wycofała wiadomość" i "[photosm]" "[wyrażenie]" i istnieją nieskończone zestawy niezliczonych przekaźników i czerwonych pakietów.

Moje zasady leczenia to:Komunikat systemowy zostaje usunięty, czysty nośnik multimedialny jest przechowywany, ale typ jest oznaczony, a ultra@-@ sMS (mniej niż 4 słowa bez informacji) jest łączony w kontekst.

3675 milionów słów zredukowanych do prawie 29 milionów słów. Nie martw się, te słowa tylko zanieczyszczają wyniki.

Krok 3: Segmenty - ten krok jest najprostszy do zniszczenia całego projektu

Najczęstszym błędem żółtodzioba jest to, aby być ciężko ciętym przez stałą liczbę słów. Wytnij na 500 słów i przetnij na pół, żeby odciąć rozmowę, pierwszą połowę w twojej ręce, a drugą połowę w następnej. Połowa czasu poszukiwań zaczyna się od SI.

Mój sposób.Przez Sesję + Okno czasu podwójne cięcie: W tej samej sesji sąsiadująca wiadomość jest odłączana przez ponad 30 minut; blok jest zawarty w 400-600 słowach; każdy blok zawiera nagłówek nazwy sesji + przedział czasowy + uczestnik.

Ten nagłówek wydaje się zbędny, właściwie najcenniejszą częścią. Ponieważ problemy z użytkownikami często wymagają czasu - "pod koniec ubiegłorocznego dyplomu" - nie ma kotwicy czasu, a pobieranie wektorów nie jest właściwe.

Etap 4: Do określenia ilościowego

Siedemdziesiąt tysięcy lub więcej, przejedź to wszystko. Koszt tej skali jest wystarczający w dwóch cyfrach, dużo tańszy niż się spodziewałem. Co tak naprawdę kosztuje to liczba razy, kiedy znowu biegasz - zmieniłem trzy wydania z powodu podzielonej strategii i biegłem trzy razy.

Gdzie? Sqlite- vec wystarczy. Nie przychodź tu z Milvusem, Qdrantem, dziesiątkami tysięcy danych o człowieku, nie tym.

Krok 5: Wyszukiwanie mieszane, nie tylko wektor

Czyste wyszukiwanie wektorów jest powszechnym wyrażeniem w tym rodzaju zapisu czatu. Powód jest jasny:Często szukasz imion, nazwisk, konkretnych kwot, które są dokładnie dopasowane do zadań i niezbyt dobre wektory.

Tak więc ostatni ciąg jest wyszukiwanie hybrydowe: wektorowe przypomnienie, słowo kluczowe (BM25 lub bezpośrednio SQLLLKE) odwołanie, połączenie i ważenie, a następnie dać model odpowiedź. Zmiana ta doprowadziła do poprawy dokładności wskaźnika odpowiedzi, co jest bardziej widoczne niż jakakolwiek poprzednia optymalizacja połączona.

Pięć, pięć dołów, na które nadepnąłem i pewnie to zrobisz.

Myślałem, że DB to normalny sqlite.Nie jest. Wszystkie pytania "jak nie otworzyć" wynikają z tego.
Zdjęcia i głos są...Niestandardowy format. Każdy nagłówek pliku jest inny lub zaszyfrowany. W celu uzyskania oddzielnego leczenia, zrezygnowałem - 10-letnia mapa, o znacznie niższej wartości wydobycia niż koszty.
Numer identyfikacyjny głośnika panelu.Jeśli tego nie zrobisz, będziesz musiał zrobić mikromapę w MicroMsg.db i nie będziesz jej czytał.
Ta sama osoba się zmienia.Zmieniłem notatki i ksywki przez 10 lat. Ta sama osoba może mieć cztery nazwiska w twojej bibliotece. Jeśli nie ma jednolitości, przeszukanie musi być błędne.
Czas czasami problemy.Czas nagrywania przez urządzenie synchronizacji będzie stronniczy, a "wiadomość o 3: 00 nad ranem" zostanie użyta do podejrzenia znacznika czasu, więc nie mylcie się.

Co teraz może zrobić?

Niektóre z pytań, które zadałem i odpowiedziałem dobrze:

"W 2021 roku, kiedy powiedziałem, że zamierzam zmienić pracę, co dokładnie było problemem?" - to połączyło mnie w różnych czasach z trzema osobami, powracając do trzech obaw w tym czasie.
"Czy Zhang obiecał, że zrobi to dla mnie i czy to trwało?" - Znalazła obietnicę i tę, o którą prosiłem trzy miesiące później, a on ją odrzucił.
"Ile razy wspominałem o wyjeździe do Japonii przez lata?" - Odliczając siedem razy, z każdym czasem i kontekstem.

To okropna odpowiedź. Wszystko, co dotyczy subiektywnych pytań o to, co byłem wtedy w nastroju, to zbiór słów.Zapis rozmowy może przywrócić fakty, nie uczucia.W tym momencie, AI ma to samo doświadczenie co stare nagrania czatu -- nawet gorzej, ponieważ nie waha się.

VII. Czy to jest tego warte czy nie

Trzy grupy.

Staram się tylko wstać.Przestań się wygłupiać. Wi- fi zawiera "backup i odzysk", który jest dostępny w więcej menu w lewym dolnym rogu końca systemu Windows / Mac, z telefonem komórkowym w "I skonfigurować chat record management import i export". Zaszyfrowane kopie zapasowe na dysk twardy. Nie chcesz stracić, nie pytać.
Znaleźć coś konkretnego:Nie budujcie biblioteki. Wyszukiwanie nie jest złe dla mikrointeligencji, a słowo kluczowe + filtr czasu adresuje 80% popytu. Twoja kolej, żeby ustawić rurę.
Naprawdę chcę zamienić dekadę w pamięć zwrotną:Zrób to. Ale zaakceptuj trzy warunki wstępne - że dane są wrakiem, że granice prawne mają być utrzymywane same w sobie, a jakość pytań i odpowiedzi zależy od tego, jak silny jesteś, a nie od modelu.

Jeśli chodzi o karmienie samej AI, moim największym uczuciem jest:AI nie jest wąskim gardłem tego kroku.

Naprawdę trudno jest eksportować, myć, rozdzielać, dopasowywać nazwiska, zajmować się tymi brudnymi zadaniami. Żadna z tych rzeczy ci nie pomoże. Wszystkie są ustawione. Gdy dane są czyste, następny model jest najprostszym krokiem.

Więc nie daj się nabrać na "AI". To nie jest pokaz. To ręczna robota. W 3675 są prawdopodobnie dziesiątki tysięcy słów, które warto zadać, wszystkie z nich są "ha- ha" i "dobre". Ale to dziesiątki tysięcy słów warte trzy dni.

Wreszcie obecna sytuacja takich narzędzi jest jasna. Technicznie rzecz biorąc, nie zachęca do tego; zanim to zrobisz, zastanów się jasno nad ryzykiem, zwłaszcza nie przekazując eksportowanych danych.