76.2 Sampung libong micro-letters ang iniluluwas sa AI: Ang pinakamahirap na bahagi ay hindi AI

Una, ang konklusyon ay:Ginawa ko iyon. 76.2 10,000 mensahe, 367.5 milyong salita, lahat ay nasa isang lokal na aklatan, at maaari ko na itong tanungin.Subalit gumugol ako ng tatlong araw, dalawa sa kanila ay hindi nakikipag-away sa AI, ngunit may "Kung paano makuha ang datos."

At kailangan kong maglagay ng masamang salita sa harap nito.Walang laman ang sawikaing "My data is my" araw-araw.Ang iyong rekord ay nasa iyong sariling hard drive, walang isa mang byte. Subalit nais mong basahin ito, kailangan mong tumawid sa isang legal na hangganan at isang teknikal na pasukan. Nag - aral ako ng teknolohiya, ang batas, ang mga tao na dumaan sa teknolohiyang ito ay nagbabawas na ngayon ng aklatan.

Ang isa, isang taon lamang ang nakalipas, ang mga kagamitan upang gawin ito ay inalis.

Noong 20 Oktubre 2025, ang dalawa sa pinakatanyag na mga kasangkapang mikro-credit data ay naglabas ng mga magkatulad na notasyon sa parehong araw.

Ang CREME ni PyWxDump ay naging Project Regal Note sa epekto na may panganib na sumunod sa pangunahing tungkulin, na upang maiwasan ang mga suliraning legal.Alisin ang lahat ng kodigo at sumailalim sa kasaysayanIsang nota na lamang ang natitira sa bodega. Sa wakas ay sumulat ang may akda ng isang "huling" at binago ang pampublikong tanda sa isang Python-lamang na tornial.

Sa parehong araw, isang nota lamang ang naiwan sa bodega ng Chatlog, at ang wika ng may akda na si Sarv ay halos magkapareho: natanggap na sulatin, kodigo at supply history ay walang laman at wala nang inilaan pang suporta.

Gaano kalawak ang dalawang proyektong ito? PyWxDump 9638, chatlog 9177. Hindi ito maliit.

Kalaunan, noong Enero 2026, nagkaroon ng balita tungkol sa isang one-off na reklamo laban sa bodega sa pamamagitan ng DMCA channel sa GitHub, na may higit sa 30 mga bilang na nabanggit sa pampublikong ulat, na ang libu-libong mga bituin ay maygulang, at direktang ipinahiwatig ng mga tagapagtanggol na ang pagpapanatili ay itinigil sa ilalim ng legal na panggigipit.

Ang pagiging malinaw ay ang pagsasabi:Ang kasangkapan na nagpabasa sa iyo ng iyong sariling mga plaka sa chat ay sistematikong nilinis.

Kaya huwag madaliin ang leksiyon. Ang karamihan ng "One Key Exporting MicroList" na mga aralin na makikita mo sa Internet ay alinman sa mga patay na kadena, dumadaloy sa mga bayarang software, o mga lumang bodega na dapat sana'y inalis ilang buwan na ang nakalilipas. Isinusulat ko ito, at pinag-uusapan ko ang daan, hindi ang paraan ng pagpapatakbo mo ng bodega - dahil marahil wala na ang bodegang iyon.

Alamin kung nasaan ang iyong datos.

Sa Windows, ang Direktor ng Micro-Intelligent Data:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac on ~/Library/Containers/com.tencent.xinWeChat/ Dito, magkatulad ang kayarian. Naniniwala kami na ang landas at ang kayarian ng aklatan ay binago mula noong 4.x sa halip na gamitin ang matigas na landas ng lumang artikulo.

At pagkatapos ikaw ay nagmamadali upang buksan ang MSG0.db at ikaw ay gonna makakuha nito:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Gaya ng inaasahan.Ang buong aklatan ay inuukit ng SQLCipher, ang susi ay hindi umiiral sa file, ito ay kinakalkula mula sa memorya kapag ang micro-mail ay tumatakbo. Iyan ang dahilan kung bakit ang mahahalagang hakbang ng lahat ng mga kasangkapang ito ay tinatawag na "kumuha ng susi" - ang kanilang ginagawa ay upang makuha ang susing iyon mula sa memorya ng proseso.

Ang hakbang na ito ay nasa puso ng pagsunod na pagtatalo. Ikaw ay magbabasa ng iyong sariling datos, subalit gagawin mo ito sa pamamagitan ng pag - iwas sa teknikal na proteksiyon ng gumawa nito. Ang legal na kuwalipikasyon ng dalawang bagay na ito, at ang iyong katutubong gawi, ay lubhang magkaiba.

Hindi ko kayo maaaring bigyan ng eksemsiyon sa pagsunod. Nilinaw ko lamang:Ang uri ng lokal na pagluluwas ng kanilang sariling mga kuwenta, na para sa kanilang sariling gamit, at na ginagamit sa pamamahagi, pagbebenta at paglilingkod ay lubusang kakaiba.Ang nasa likod, huwag galawin.

Isa pang praktikal na tanong: "Hindi pa ang buong aklat".

Kahit na malutas ang teknikal na mga problema, mayroon kang tanging bahagi ng computer na kasabay. Kami'y naniniwala na ang mga rekord ng katapusan ng PC ay pinagtugma - tugma sa panahon ng inyong login, o kayo'y nandayuhan nang manu - mano.

Ang mga ito ay inalis sa ibang mga telepono noong unang mga taon, pinalitan ang mga ito, ang mga ito ay nasa mga lumang kagamitan, ang mga ito ay hindi. Sa pagkakataong ito, ako'y tinatawag na "Ten Years," at ang taon kung kailan aktuwal na pinagsama - sama ko ang isang buong usapan ay mga anim o pitong taóng gulang, at mas maaga pa rito, may mga piraso lamang.Ang so-tinatawag na "ten-year record" ay tinahi sa isang bunton ng mga piraso.

Ano ang konsepto ng tatlo, 3675?

Ang paglilinis ay 367.5 milyong salita, 76.2 milyon. Katamtamang 48 salita, na katumbas ng tunay na mga chat - karamihan ay "kung saan" "mabuti" "tanggapin" "ha-ha-ha-ha."

Ang volume na ito, ang unang reaksyon ay dapat "nakadirekta sa malaking modelo." Pinag - isipan ko ito at sumuko na ako.

Hello?	Mga Kahilingan	Maaari mo ba itong pigain?
Pangunahing Linyang 128K	Mga 36.75 M karakter	Halos 0.4%.
200K Context	Mga 36.75 M karakter	0.6% o wala.
Match 1M Context	Mga 36.75 M karakter	Ito ay halos 3%, ngunit ito ay gonna mahal.

Atensiyon, may silo sa konteksto ng 1M:Hindi ito nangangahulugan na maaalaala mo ito.Mientras mas matagal ang konteksto, mas malinaw ang pagbaba ng pokus ng modelo sa gitna, na paulit - ulit na pinatutunayan ng industriya. Naglagay ka ng sampung taong bullshit dito, at tinanong mo ito, "Sinasabi ko bang magbabago ako ng trabaho sa Marso 2021?" At isa lamang itong seryosong bullshit.

Kaya ang katagang "lahat ng pagkain ng AI" ay teknikal na hindi tumpak.Ang ginagawa ko ay hindi ang paglalagay ng 367.5 milyong salita sa utak ng modelo, kundi ang paglikha ng isang indise na maaaring baligtarin sa anumang panahon.Iyan ang pangunahing pagkakaiba. Nagmula rito ang lahat ng desisyon sa inhinyeriya.

Ikaapat, ginagamit ko ang pipang ito.

Limang hakbang, isang hakbang ang hindi maiiwasan.

Hakbang 1: Inilakip sa isinaayos na teksto

Ang puntiryang format ay simple, isa-isang linya sa isang panahon, tagapagsalita, pangalan ng sesyon. Huwag gumawa ng HTML o PDF -- para sa mga tao, hindi para sa mga programa. Ang gusto ko ay isang kayarian na grep, mga hiwa, mahalaga ang panahon.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Ang hakbang na ito ay may kaunting teknikal na nilalaman, subalit tinitiyak ang kalidad ng lahat ng kasunod na mga kawing.Kung mawala mo ang tatak ng oras, hindi ka kailanman magtatanong ng "panahong iyon"; kung matalo mo ang nagsasalita, hindi mo alam kung sino ang nagsabi nito.

Hakbang 2: Linisin, bawasan ang kalahati ng ingay.

Hindi bababa sa 30 porsiyento ng orihinal na datos ay basura: "Idinagdag mo na ang XXX, maaari mo na ngayong simulan ang pakikipag-usap" at "ang kabilang panig ay nag-urong ng mensahe" at "[photogram]" "[pagpahayag]" at may walang katapusang set ng di mabilang na mga relay at red packets.

Ang mga prinsipyo ko sa paggamot ay:Ang mensaheng system ay inalis, ang purong media placeholder ay pinananatili ngunit ang tipo ay minarkahan, at ang ultra-sMS (wala pang 4 na salita na walang impormasyon) ay pinagsasama sa konteksto.

3675 milyong salita ang umabot sa halos 29 na milyong salita. Huwag kang mag - alala, ang mga salitang iyon ay nagpaparumi lamang sa mga resulta.

Hakbang 3: Mga Segment — ang hakbang na ito ang pinakamadaling hakbang upang sirain ang buong proyekto

Ang pinakakaraniwang pagkakamali ng isang rookie ay maging hard-cut sa pamamagitan ng isang tiyak na bilang ng mga salita. Hiwain ito sa 500 mga salita at hiwain ng kalahati upang putulin ang isang usapan, ang unang kalahati sa iyong kamay at ang ikalawang kalahati sa susunod. Kalahati ng panahon ng paghahanap, ang AI ay nagsisimula.

Ang daan ko.Sa Pamamagitan ng Sesion + Oras Window Double Cut: Sa parehong sesyon, ang katabing mensahe ay distansya sa loob ng mahigit 30 minuto; ang block ay nakapaloob sa 400 hanggang 600 salita; ang bawat block ay naglalaman ng header ng pangalan ng sesyon + time range + kalahok.

Ang ulong - balitang ito ay waring walang pagbabago, sa katunayan ang pinakamahalagang bahagi. Sapagkat ang mga problema sa mga gumagamit ay kadalasang kumukuha ng panahon — ang “at ang katapusan ng graduation ” — — — — — — — — — — — — — — — — — — — — — — — — — , , , , , , , , , , , , , , , , , , , , , , , ve ve , ve , , , , , , , , ve ve, ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve ve last , , last last last last last last ve ve ve ve ve ve ve ve ve ve ve ve

Hakbang 4: Upang Makalkula

Pitumpung libo o higit pa, patakbuhin ito. Ang halaga ng halagang ito ay sapat sa dalawang numero, mas mura kaysa inaasahan ko. Ang talagang halaga ay ang dami ng beses na pagtakbo mo muli- Ako ay nagbago ng tatlong edisyon dahil sa split stratehiya at tumakbo ng tatlong beses.

Saan? Sapat na ang Sqlite-vec. Huwag kang lumapit dito na kasama si Milvus, Qdrat, sampu - sampung libong impormasyon tungkol sa isang tao, hindi iyan.

Hakbang 5: Pinagsamang paghahanap, hindi lamang isang vector

Ang dalisay na paghahanap ng vector ay karaniwang ekspresyon sa ganitong uri ng pagrerekord ng chat. Maliwanag ang dahilan:Kadalasang naghahanap ka ng mga pangalan, pangalan, espisipikong dami, na eksaktong katugmang trabaho at hindi napakahusay na mga vector.

Kaya ang panghuling pagtakbo ay isang hybrid search: isang vector recalle, isang keyword (BM25 o direktang SQLLKE) na paggunita, pagsasanib at pagtitimbang, at pagkatapos ay ibigay sa modelo ang sagot. Ang pagbabagong ito ay nagbunga ng pagsulong sa katumpakan ng bilis ng pagtugon, na mas maliwanag kaysa sa anumang naunang optimisasyon na pinagsama.

Lima, limang hukay ang aking natapakan, at malamang na ikaw.

1. Ang pag-iisip .db ay normal na slite.Hindi gayon. Lahat ng mga tanong na "paano hindi maaaring buksan" ay mula rito.
2. Mga larawan at tinig ay... dat.Hindi karaniwang format. Ang bawat header ng talaksan ay iba-iba o naka-crypted. Upang makakuha ng bukod na paggamot, sumuko ako — isang 10-year map, na may mas mababang halaga ng pagkuha kaysa sa gastos.
3. Ang tagapagsalita ng panel na ID ang numero.Kung hindi mo gagawin iyan, kailangan mong gumawa ng micromap sa MicroMsg.db, at hindi mo ito babasahin.
4. Nagbabago ang pangalan ng taong din iyon.Binago ko ang aking mga nota at palayaw sa loob ng 10 taon. Ang taong iyon ay maaaring may apat na pangalan sa iyong aklatan. Kung walang pagkakatulad, ang paghahanap ay dapat na mali.
5. Kung minsan ay problema ang panahon.Ang panahon ng pagtatala sa ibayo ng aparato upang magkonsepto ay may kinikilingan, at ang "message sa ganap na 3:00 n.u." ay gagamitin upang suspendihin ang tatak ng oras, kaya't huwag magkamali.

Ano ang magagawa nito ngayon?

Ilan sa mga tanong na talagang itinanong ko at nasagot ko nang husto:

• "Noong 2021, nang sabihin kong magbabago ako ng trabaho, ano ba talaga ang bagay na iyon?" — isinama ako nito sa iba't ibang panahon kasama ang tatlong tao, bumabalik sa tatlong alalahanin noong panahong iyon.
• "Napangako ba si Zhang na gagawin niya ito para sa akin, at ito ba'y nagtagal?" Nasumpungan nito ang pangako at ang isa na hiniling ko pagkalipas ng tatlong buwan, at itinulak niya ito.
• "Ilang beses ko nang binanggit ang pagpunta sa Hapon sa paglipas ng mga taon?" - Pagbibilang ng pitong beses, na may bawat panahon at konteksto.

Isa itong nakatatakot na sagot. Ang lahat ng bagay na may kinalaman sa mga tanong tungkol sa kung ano ang nasa kondisyon ko noon, ito'y isang kalipunan ng mga salita.Maaaring ibalik ng isang rekord sa chat ang mga katotohanan, hindi ang mga damdamin.Sa puntong ito, ang AI ay may parehong karanasan sa mga lumang chat record -- mas masahol pa, dahil hindi ito nag-aalsa.

VII. Sulit man ito o hindi

Tatlong grupo.

• Gusto ko lang bumalik.Huwag kang magkagulo. Ang wi-fi ay naglalaman ng "backup and revival", na makukuha sa mas maraming mga menus sa ilalim na kaliwang sulok ng dulo ng Windows/Mac, na may mobile phone sa "ako ay nagtayo ng isang chat record management na inaangkat at iniluluwas". Kalakip ng iyong sariling hard drive, sapat. Ang ibig mo ay hindi ang mawala, hindi ang magtanong.
• Upang makasumpong ng isang bagay na espesipiko:Huwag magtayo ng aklatan. Ang paghahanap ay hindi masama para sa micro-intelligence, at ang keyword + time filter ay nagreresulta sa 80% ng pangangailangan. Ikaw naman ang maglalagay ng pipa.
• Talagang nais kong gawing isang mapag - uusapang alaala ang dekada:Gawin mo ito. Subalit tanggapin ang tatlong kahilingan — na ang impormasyon ay sira, na ang legal na mga hangganan ay dapat na ingatan sa ganang sarili, at na ang kalidad ng mga tanong at sagot ay depende sa kung gaano ka katibay, hindi sa modelo.

Kung tungkol sa pagpapakain sa AI mismo, ang pinakamalaking damdamin ko ay:Ang AI ay hindi bakterya ng hakbang na ito.

Ang talagang mahirap iluwas, hugasan, hatiin, itugma ang mga pangalan, harapin ang maruruming atas na ito. Wala sa mga bagay na ito ang makatutulong sa iyo. Silang lahat ay nakahanay. Kapag malinis na ang datos, ang susunod na modelo ang pinakasimpleng hakbang.

Kaya huwag kang padaya sa "all-to-AI." Hindi ito palabas-off. Isa itong gawaing pangkamay. Noong 3675, malamang na may sampu-sampung libong mga salitang sulit na hilingin, na lahat ay "ha-ha" at "mabuti". Subalit iyan ang sampu - sampung libong salita na nagkakahalaga ng tatlong araw.

Sa wakas, ang kasalukuyang kalagayan ng gayong mga kasangkapan ay maliwanag. Sa teknikal na paraan, hindi ka nito hinihimok na gawin ito; bago gawin ito, pakisuyong pag - isipang mabuti ang mga panganib, lalo na ang hindi pagpapasa ng iniluluwas na impormasyon.