← Takaisin luetteloon

76.2 Tekoälylle viedään kymmenentuhatta mikrokirjettä: Vaikeinta ei ole tekoäly.

itadol5j

Ensinnäkin päätelmänä on, ettäTein sen. 76,2 10 000 viestiä, 367,5 miljoonaa sanaa, kaikki paikallisessa kirjastossa, ja voin nyt esittää sille kysymyksiä.Mutta vietin kolme päivää, kaksi heistä tappelematta tekoälyn kanssa.

Ja minun täytyy laittaa huono sana sen eteen.Logan "My data is my day" on käytännössä tyhjä.Ennätyksesi on omalla kovalevylläsi. Mutta jos haluat lukea sen, sinun täytyy ylittää oikeudellinen kynnys ja tekninen kynnys. Kävin läpi tekniikan, lain ja sen läpi käyneet ihmiset leikkaavat kirjastoa.

Kymmenen vuotta Twitteriä tekoälyyn.

Yksi, vain vuosi sitten, työkalut tämän tekemiseen oli selvitetty.

Lokakuun 20. päivänä 2025 kaksi kuuluisinta mikroluottotietovälinettä teki samana päivänä samat ilmoitukset.

PyWxDumpin READMEsta on tullut Project Removal Notice -ilmoitus, jonka mukaan ydintoiminnon noudattaminen on riski, eli oikeudellisten ongelmien välttäminen.Poista kaikki koodit ja lähetä historiaVarastossa on vain yksi viesti. Kirjailija kirjoitti lopulta "myöhemmin" ja muutti yleisön merkki Python-vain opetusohjelma.

Samana päivänä Chatlogin varastoon jäi vain yksi nootti, ja kirjailija Sarvin kieli oli lähes identtinen: vastaanotettiin kirjeenvaihtoa, koodia ja lähetyshistoriaa, eikä mitään muuta tukea annettu.

Mikä oli näiden kahden hankkeen laajuus? PyWxDump 9638, chatlog 9177. Se ei ole pieni.

Myöhemmin tammikuussa 2026 GitHubissa sijaitsevan DMCA-kanavan kautta sijaitsevaa varastoa vastaan tehtiin kertaluonteinen valitus, johon sisältyi yli 30 numeroa, joista tuhannet tähdet olivat kypsiä, ja puolustajat ilmoittivat suoraan, että huolto lopetettiin oikeudellisella painostuksella.

Selvyyden vuoksi on sanottava:Työkalu, joka sai sinut lukemaan omia chat levyjäsi, puhdistettiin järjestelmällisesti.

Älkää kiirehtikö oppituntia. Suurin osa "One Key Exporting MicroList" -tunneista, joita löydät Internetistä, ovat joko kuolleita ketjuja, jotka virtaavat maksullisiin ohjelmistoihin tai vanhoja varastoja, jotka olisi pitänyt poistaa muutama kuukausi sitten. Kirjoitan tätä, ja tarkoitan tapaa, ei tapaa jolla voit johtaa varastoa - koska se varasto on luultavasti poissa.

Selvitä missä tietosi ovat.

Windowsissa mikroälykkäiden tietojen johtaja:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文,分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频,一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac! ~/Library/Containers/com.tencent.xinWeChat/ Täällä rakenne on samanlainen. Uskomme, että polkua ja kirjaston rakennetta on muutettu 4.x:stä lähtien vanhan artikkelin kovan polun sijaan.

Langaton paikallinen datahakemistorakenne

Sitten ryntäät avaamaan MSG0.db:n.

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Kuten odotin.SQLCipher salasi koko kirjaston, avainta ei ole tiedostossa, se lasketaan muistista, kun mikromail on käynnissä. Siksi kaikkien näiden työkalujen ydinvaiheita kutsutaan "ota avain" -- se mitä ne tekevät on saada avain pois prosessin muistista.

Tämä askel on sääntöjen noudattamista koskevan kiistan ydin. Luet omat tietosi, mutta teet sen ohittamalla valmistajan teknisen suojan. Näiden kahden asian oikeudellinen pätevyys ja vaistonne ovat täysin erilaisia.

En voi myöntää poikkeusta. Voin vain tehdä sen selväksi:Omien tiliensä paikallisen viennin luonne, joka on tarkoitettu niiden omaan käyttöön ja jota käytetään levitykseen, myyntiin ja palveluun, on täysin erilainen.Älä koske takahuoneeseen.

Toinen käytännön kysymys: "Eikö koko kirja"

Vaikka tekniset ongelmat ratkeaisivat, tietokoneen ainoa osa on synkronoitu. Uskomme, että PC:n päätetiedot synkronoituivat kirjautumisesi aikana tai siirryit manuaalisesti.

Ne poistettiin muista puhelimista alkuvuosina, ne korvattiin, ne olivat vanhoissa laitteissa, ne eivät olleet. Tällä kertaa minua kutsutaan "kymmeneksi vuodeksi," ja vuosi, jolloin itse asiassa kokosin täyden vuoropuhelun, on noin kuusi tai seitsemän vuotta vanha, ja jopa aiemmin, oli vain sirpaleita.Niin sanottu kymmenen vuoden ennätys oli ommeltu palasiksi.

Mikä on kolmen, 3675?

Siivous on 367,5 miljoonaa sanaa, 76,2 miljoonaa. Keskimäärin 48 sanaa, jotka vastasivat oikeita keskusteluja - enimmäkseen "missä" "hyvä" "vastaanotettu" "ha-ha-ha-ha-ha."

Tämä määrä, ensimmäinen reaktio on "suoraan iso malli." Mietin asiaa ja luovutin.

3675 000 sanaa kontekstiikkunan kokoon verrattuna
Haloo?TaustavaatimuksetVoitko sammuttaa sen?
Valtavirta 128K KontekstiNoin 36.75 M merkkiäSe on hädin tuskin 0,4%.
200K KontekstiNoin 36.75 M merkkiä0,6% tai ei mitään.
Match 1M ContextNoin 36.75 M merkkiäNoin 3%, mutta se maksaa paljon.

Huomio, 1M kontekstiviivalla on ansa:Se ei tarkoita, että muistat.Mitä pidempi konteksti, sitä selvempi on mallin painopisteen lasku keskeltä, jota teollisuus on toistuvasti vahvistanut. Panit siihen kymmenen vuotta paskaa ja kysyt: "Sanoinko vaihtavani työpaikkaa maaliskuussa 2021?" Se on pelkkää paskapuhetta.

Eli termi "kaikki rehu tekoäly" on teknisesti virheellinen.En laita 367,5 miljoonaa sanaa mallin aivoihin, vaan luon indeksin, joka voidaan kääntää koska tahansa.Se on tärkein ero. Kaikki tekniset päätökset tulevat täältä.

Neljänneksi, käytän tätä piippua.

Viisi askelta, yksi askel ei säästy.

Viisivaiheinen putki 3675 000 sanasta kirjastoon

Vaihe 1: Vie strukturoituun tekstiin

Kohdemuoto on yksinkertainen, yksi rivi kerrallaan, puhuja, istunnon nimi. Älä tuota HTML:ää tai PDF:ää. Haluan rakenteen, joka on grep, leikkaukset, laskee aikaa.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天,还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Tällä askeleella on vain vähän teknistä sisältöä, mutta se määrittää kaikkien seuraavien linkkien laadun.Jos menetät aikaleiman, et koskaan kysy "sitä aikaa"; jos menetät puhujan, et tiedä kuka sen sanoi.

Vaihe 2: Siivoa, leikkaa puolet melusta.

Ainakin 30 prosenttia alkuperäisistä tiedoista on roskaa: "Olet lisännyt XXX, voit nyt aloittaa chatting" ja "toinen puoli on peruuttanut viestin" ja ""photogrammi]" "[ekspressio]" ja siellä on loputon joukko lukemattomia releitä ja punaisia paketteja.

Hoidon periaatteet ovat:Järjestelmäviesti poistetaan, pelkkä mediapaikan haltija säilytetään, mutta tyyppi on merkitty ja ultra-sMS (alle 4 sanaa ilman tietoa) yhdistetään asiayhteyteen.

3675 miljoonaa sanaa leikattuna lähes 29 miljoonaan sanaan. Älä huoli, nuo sanat saastuttavat vain tuloksia.

Vaihe 3: Segmentit ... Tämä vaihe on helpoin tuhota koko projekti

Alokkaan yleisin virhe on olla kovaa leikkaava tietty määrä sanoja. Leikkaa se 500 sanaan ja leikkaa se kahtia katkaistaksesi keskustelun. Puolet etsinnästä alkaa tekoäly.

Minun tavallani.Istunnon ja aikaikkunan kaksoisleikkauksen mukaan: Samassa istunnossa viereinen viesti katkaistaan yli 30 minuutiksi; lohko on 400-600 sanan sisällä; kussakin lohkossa on istunnon nimi + aikaväli + osallistuja.

Otsikko vaikuttaa tarpeettomalta, itse asiassa arvokkaimmalta. Koska ongelmat käyttäjien usein vie aikaa ... .... viime vuoden valmistumisen lopussa... ei ole aikaa ankkuri, ja vektorin haku ei ole oikein.

Vaihe 4: Määrällinen määrä

70 000 tai enemmän. Tämän asteikon kustannukset riittävät kahdessa numerossa, paljon halvemmalla kuin odotin. Mitä todella maksaa on kuinka monta kertaa juokset uudelleen -- Olen vaihtanut kolme painos koska split strategia ja juoksi kolme kertaa.

Missä? Sqlite-vec riittää. Älä tule tänne Milvusin, Qdrantin, kymmenien tuhansien tietojen kanssa.

Vaihe 5: Sekahaku, ei vain vektori

Puhdas vektorihaku on yleinen ilmaisu tällaisessa chat-tallennuksessa. Syy on selvä:Etsit usein nimiä, nimiä, tiettyjä summia, - jotka ovat täsmääviä töitä eivätkä kovin hyviä vektoreja.

Joten lopullinen juoksu on hybridihaku: vektorin palautus, avainsana (BM25 tai suora SQLLLKE) palauttaa, yhdistää ja punnita, ja sitten antaa mallin vastaus. Tämä muutos on parantanut vasteprosentin tarkkuutta, mikä on selvempää kuin mikään aiempi optimointi yhdessä.

Viisi tai viisi kuoppaa, joille olen astunut.

  1. Luulin, että DB on normaali sqlite.Ei ole. Kaikki kysymykset "miten ei voi avata" johtuvat tästä.
  2. Kuvat ja ääni ovat...Ei vakiomuotoa. Jokainen tiedoston otsikko on erilainen tai salattu. Saadakseni erillisen käsittelyn, luovuin 10 vuoden kartan, jossa on paljon pienempi louhinta-arvo kuin kustannukset.
  3. Paneelin kaiutintunnus on numero.Jos et tee sitä, sinun täytyy tehdä mikrokartta MicroMsg.db:ssä, etkä aio lukea sitä.
  4. Saman henkilön nimi muuttuu.Olen vaihtanut muistiinpanoja ja lempinimiä 10 vuotta. Samalla henkilöllä voi olla neljä nimeä kirjastossasi. Jos yhdenmukaisuutta ei ole, etsinnän täytyy olla väärin.
  5. Aikaleima on joskus ongelma.Aika tallentaa koko laitteen synkronointi on puolueellinen, ja "viesti klo 3:00" käytetään epäillä aikaa leima, joten älä erehdy.

Mitä se nyt voi tehdä?

Osa kysymyksistä, jotka itse asiassa esitin ja vastasin hyvin:

  • "Vuonna 2021, kun sanoin, että aion vaihtaa työpaikkoja, mikä tarkalleen ottaen oli ongelma?" Se kokosi minut eri aikoina kolme ihmistä, palata kolme huolta tuolloin.
  • "Lupasiko Zhang tehdä sen puolestani?" Se löysi lupauksen ja sen, jonka pyysin kolme kuukautta myöhemmin.
  • "Kuinka monta kertaa olen maininnut meneväni Japaniin vuosien varrella?" - Lasken seitsemän kertaa, joka kerta ja asiayhteys.

Se on kamala vastaus. Kaikki subjektiiviset kysymykset siitä, mitä olin sillä tuulella, ovat sanoja.Juttutuokio voi palauttaa tosiasiat, ei tunteet.Tällä hetkellä tekoälyllä on sama kokemus vanhoista chat-levyistä. Vielä pahempaa, koska se ei epäröi.

Kolme johtopäätöstä

VII Onko tämä sen arvoista vai ei?

Kolme ryhmää.

  • Yritän vain nousta ylös.Älä pelleile. Wi-Fi sisältää "backup and recovery," joka on saatavilla enemmän valikot alavasemmassa nurkassa Windows/Mac lopussa, matkapuhelimella "Olen perustanut chat ennätys tuonti ja vienti." Salattu varmuuskopio omalle kovalevyllesi. Et halua hävitä, et kysyä.
  • Etsimään jotain erityistä:Älä rakenna kirjastoa. Haku ei ole huono mikrotiedustelulle, ja avainsana + aikasuodatin vastaa 80% kysynnästä. Sinun vuorosi järjestää putki.
  • Haluan muuttaa vuosikymmenen keskustelukelpoiseksi muistoksi:Tee se. Mutta hyväksyä kolme ehtoa . että tiedot ovat hylättyjä, että oikeudelliset rajat on säilytettävä omillaan ja että kysymysten ja vastausten laatu riippuu siitä, kuinka vahva olet, ei mallista.

Mitä itse tekoälyyn tulee, suurin tunteeni on:Tekoäly ei ole tämän vaiheen pullonkaula.

On todella vaikeaa viedä, pestä, hajottaa, sovittaa nimiä, käsitellä näitä likaisia tehtäviä. Mikään näistä ei voi auttaa sinua. Kaikki ovat valmiina. Kun tiedot ovat puhtaita, seuraava malli on yksinkertaisin askel.

Älkää antako All-to-AI:n hämätä. Se ei ole leveilijä. Se on runkkaus. Vuonna 3675 on kymmeniä tuhansia kysymisen arvoisia sanoja, jotka kaikki ovat "ha-ha" ja "hyvä." Mutta ne ovat kymmeniä tuhansia sanoja kolmen päivän arvoisia.

Lopuksi totean, että tällaisten välineiden nykytilanne on selkeä. Teknisesti se ei kannusta sinua tekemään sitä; ennen kuin teet niin, ajattele selkeästi riskejä, erityisesti ei välitä vietyjä tietoja.