76.2 Diecimila micro-lettere sono esportati in AI: la parte più difficile non è l'IA

Innanzitutto, la conclusione è che:Ce l'ho fatta. 76.2 10.000 messaggi, 367.5 milioni di parole, tutte in una biblioteca locale, e ora posso farle qualsiasi domanda.Ma ho passato tre giorni, due di loro non litigano con l'IA, ma con "Come ottenere i dati".

E devo mettere una brutta parola davanti.Lo slogan "I miei dati sono miei" ogni giorno è praticamente vuoto.Il tuo disco è sul tuo disco rigido, non un solo byte. Ma vuoi leggerlo, devi superare una soglia legale e una soglia tecnica. Ho attraversato la tecnologia, la legge, le persone che hanno attraversato la tecnologia stanno tagliando la biblioteca.

Uno, solo un anno fa, gli strumenti per farlo sono stati ripuliti.

Il 20 ottobre 2025, due dei più famosi strumenti di dati di microcredito emisero notifiche identiche lo stesso giorno.

Il README di PyWxDump è diventato l'Avviso di rimozione del progetto per l'effetto che c'è un rischio di conformità alla funzione principale, che è quello di evitare problemi legali.Rimuovi tutti i codici e invia la cronologiaSolo una nota è lasciata nel magazzino. L'autore ha finalmente scritto un "più tardi" e ha cambiato il segno pubblico in un tutorial solo Python.

Lo stesso giorno, solo una nota è stata lasciata nel magazzino di Chatlog, e la lingua dell'autore Sarv era quasi identica: la corrispondenza ricevuta, il codice e la storia di presentazione sono stati svuotati e nessun ulteriore supporto è stato fornito.

Qual era la portata di questi due progetti? PyWxDump 9638, chatlog 9177. Non è piccolo.

Più tardi, nel gennaio 2026, c'erano notizie di una denuncia one-off contro il magazzino attraverso il canale DMCA a GitHub, con più di 30 figure menzionate nel rapporto pubblico, di cui migliaia di stelle erano mature, e i difensori direttamente hanno indicato che la manutenzione è stata fermata sotto pressione legale.

Essere chiari è dire:Lo strumento che ti ha fatto leggere i tuoi dischi di chat è stato sistematicamente ripulito.

Quindi non correre la lezione. La maggior parte delle lezioni "One Key Exporting MicroList" che si possono trovare su Internet sono catene morte, scorrendo a software pagato, o vecchi magazzini che dovrebbero essere stati eliminati alcuni mesi fa. Sto scrivendo questo, e sto parlando del modo, non del modo in cui puoi gestire un magazzino, perche' quel magazzino e' probabilmente andato.

Scopri dove sono i tuoi dati.

Su Windows, il Direttore di Micro-Intelligent Data:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac su ~/Library/Containers/com.tencent.xinWeChat/ Qui, la struttura è simile. Crediamo che il percorso e la struttura della biblioteca siano stati regolati dal 4.x invece di utilizzare il percorso duro del vecchio articolo.

E poi si sta precipitando ad aprire MSG0.db e si otterrà questo:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Come previsto.L'intera libreria è crittografata da SQLCipher, la chiave non esiste nel file, è calcolato dalla memoria quando la micro-mail è in esecuzione. Ecco perché i passi principali di tutti questi strumenti sono chiamati "prendere la chiave" -- quello che fanno è essenzialmente per ottenere quella chiave dalla memoria di processo.

Questo passo è al centro della controversia di conformità. Leggerai i tuoi dati, ma lo farai bypassando la protezione tecnica del produttore. La qualifica legale di queste due questioni, e il vostro istinto, sono completamente diversi.

Non posso darti un'esenzione per la conformità. Posso solo chiarire:La natura dell'esportazione locale dei propri conti, che sono per loro uso, e che sono utilizzati per la diffusione, la vendita e il servizio è completamente diverso.Quella sul retro, non toccarla.

Un'altra domanda pratica: "Non l'intero libro"

Anche se i problemi tecnici sono risolti, hai l'unica parte del computer sincronizzato. Crediamo che i record di fine PC siano stati sincronizzati durante il login, o migrati manualmente.

Sono stati eliminati da altri telefoni nei primi anni, sono stati sostituiti, erano in attrezzature vecchie, non lo erano. Questa volta, sono chiamato "Ten Years", e l'anno in cui ho effettivamente messo insieme un dialogo completo è di circa sei o sette anni, e anche prima, c'erano solo frammenti.Il cosiddetto "registro di dieci anni" è stato cucito in un mucchio di pezzi.

Qual e' il concetto di tre, 3675?

La pulizia è 367.5 milioni di parole, 76,2 milioni. Una media di 48 parole, che corrispondeva a vere chat - per lo più "dove" "buono" "riceveto" "ha-ha-ha-ha".

Questo volume, la prima reazione deve essere "diretta al grande modello". Ci ho pensato e mi sono arreso.

Pronto?	Requisiti di contesto	Puoi collegarlo?
Contesto principale 128K	Circa 36.75 caratteri M	E' appena lo 0,4%.
Contesto 200K	Circa 36.75 caratteri M	0,6% o niente.
Match 1M Contesto	Circa 36.75 caratteri M	E' circa il 3%, ma costa molto.

Attenzione, c'è una trappola nella linea di contesto 1M:Non significa che te lo ricordi.Più a lungo il contesto, più chiaro il declino del focus del modello sul centro, che è stato ripetutamente convalidato dall'industria. Ci hai messo dieci anni di stronzate e gli hai chiesto: "Ho detto che cambierò lavoro nel marzo 2021?" E sono solo stronzate.

Quindi il termine "all feed AI" è tecnicamente impreciso.Quello che sto facendo non è mettere 367.5 milioni di parole nel cervello del modello, ma creare un indice che può essere trasformato in qualsiasi momento.E' la differenza chiave. Tutte le decisioni di ingegneria provengono da qui.

Quarto, uso questo tubo.

Cinque passi, un passo non sarà risparmiato.

Passo 1: Esportare nel testo strutturato

Il formato di destinazione è semplice, una riga alla volta, un altoparlante, un nome di sessione. Non produrre HTML o PDF -- quelli sono per le persone, non per i programmi. Quello che voglio è una struttura che è grep, tagli, conta il tempo.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Questo passaggio ha poco contenuto tecnico, ma determina la qualità di tutti i link che seguono.Se perdi il timbro del tempo, non chiedi mai "quella volta"; se perdi l'altoparlante, non sai chi l'ha detto.

Passo 2: Pulire, tagliare metà del rumore.

Almeno il 30 per cento dei dati originali è spazzatura: "Hai aggiunto XXX, è ora possibile iniziare a chattare" e "l'altra parte ha ritirato un messaggio" e "[fotografia]" "[espressione]" e ci sono infiniti set di relè innumerevoli e pacchetti rossi.

I miei principi di trattamento sono:Il messaggio di sistema viene cancellato, il segnaposto dei media puri viene mantenuto ma il tipo è marcato, e l'ultra-sMS (meno di 4 parole senza informazioni) viene fuso nel contesto.

3675 milioni di parole tagliate a quasi 29 milioni di parole. Non preoccuparti, quelle parole inquinano solo i risultati.

Fase 3: Segmenti — questo passo è il più facile da distruggere l'intero progetto

L'errore più comune di un novellino è quello di essere tagliato da un numero fisso di parole. Taglialo a 500 parole e taglialo a metà per tagliare una conversazione, la prima metà nella mano e la seconda metà nella successiva. Meta' dei tempi di ricerca, inizia l'IA.

A modo mio.Da Sessione + Finestra Tempo doppio taglio: Nella stessa sessione, il messaggio adiacente è disconnesso per più di 30 minuti; il blocco è contenuto in 400 a 600 parole; ogni blocco contiene l'intestazione del nome della sessione + intervallo di tempo + partecipante.

Questo titolo sembra essere ridondante, in realtà la parte più preziosa. Perché i problemi con gli utenti spesso prendono tempo — “alla fine della laurea dello scorso anno” — non c'è ancora tempo, e il recupero vettoriale non è giusto.

Fase 4: da quantificare

Settantamila o più, passa tutto. Il costo di questa scala è sufficiente in due cifre, molto più economico di quanto mi aspettassi. Ciò che costa veramente è il numero di volte che si corre di nuovo -- Ho cambiato tre edizioni a causa della strategia divisa e ha funzionato tre volte.

Dove? Sqlite-vec è abbastanza. Non venire qui con Milvus, Qdrant, decine di migliaia di dati su un uomo, non quello.

Passo 5: Ricerca mista, non solo un vettore

Ricerca vettoriale pura è un'espressione comune in questo tipo di registrazione di chat. La ragione è chiara:Siete spesso alla ricerca di nomi, nomi, importi specifici, che sono lavori di corrispondenza precisi e non molto buoni vettori.

Quindi il run finale è una ricerca ibrida: un richiamo vettoriale, una parola chiave (BM25 o SQLLLKE diretto) richiamare, unire e pesare, e poi dare al modello la risposta. Questo cambiamento ha portato a un miglioramento dell'accuratezza del tasso di risposta, che è più evidente di qualsiasi precedente ottimizzazione combinata.

Cinque, cinque buche che ho fatto, e probabilmente lo farai.

1. Il pensiero .db era normale sqlite.Non lo e'. Tutte le domande di "come non può aprire" derivano da questo.
2. Le foto e la voce sono... dat.Non un formato standard. Ogni intestazione del file è diversa o crittografata. Per ottenere un trattamento separato, ho rinunciato — una mappa di 10 anni, con un valore di estrazione molto inferiore rispetto ai costi.
3. L'ID del diffusore del pannello è il numero.Se non lo fai, dovrai fare una micromappa in MicroMsg.db e non la leggerai.
4. Il nome della stessa persona cambia.Ho cambiato appunti e soprannomi per 10 anni. La stessa persona potrebbe avere quattro nomi nella tua biblioteca. Se non c'è uniformità, la ricerca deve essere sbagliata.
5. Timbro del tempo a volte problemi.Il tempo per la registrazione attraverso il dispositivo per sincronizzare sarà biased, e il "messaggio alle 3:00 a.m." sarà usato per sospettare il timestamp, quindi non sbagliare.

Cosa può fare ora?

Alcune delle domande che ho effettivamente chiesto e risposto bene:

• "Nel 2021, quando ho detto che avrei cambiato lavoro, che cosa era esattamente la questione?" — mi ha messo insieme in tempi diversi con tre persone, tornando a tre preoccupazioni al momento.
• " Zhang ha promesso di farlo per me, e l'ha fatto per ultimo?" Ha trovato la promessa e quella che ho chiesto tre mesi dopo, e l'ha spinta via.
• "Quante volte ho detto di andare in Giappone nel corso degli anni?" - Contando sette volte, con ogni volta e contesto.

E' una risposta terribile. Tutto quello che riguarda questioni soggettive su quello che ero in vena al momento, è un insieme di parole.Un record di chat può ripristinare i fatti, non i sentimenti.A questo punto, l'IA ha la stessa esperienza che hai con i vecchi record di chat -- ancora peggio, perché non esita.

VII. Se questo vale o no

Tre gruppi.

• Sto solo cercando di alzarmi.Smettila di scherzare. Il wi-fi contiene "backup e recupero", che è disponibile in più menu nell'angolo in basso a sinistra dell'estremità di Windows/Mac, con un telefono cellulare in "Ho impostato un'importazione ed esportazione di gestione record di chat". Ho criptato il backup sul disco rigido, abbastanza. Quello che vuoi è non perdere, non chiedere.
• Per trovare qualcosa di specifico:Non costruire una biblioteca. La ricerca non è male per micro-intelligence, e la parola chiave + time filter indirizzi 80% della domanda. Tocca a te impostare il tubo.
• Voglio davvero trasformare il decennio in una memoria conversabile:Fallo. Ma accetti tre prerequisiti — che i dati sono un relitto, che i confini legali devono essere tenuti da soli, e che la qualità delle domande e delle risposte dipende da quanto forte sei, non dal modello.

Per quanto riguarda l'alimentazione dell'AI, la mia più grande sensazione è:L'IA non è il collo di bottiglia di questo passo.

Ciò che è veramente difficile è esportare, lavare, rompere, abbinare i nomi, affrontare questi compiti sporchi. Nessuna di queste cose può aiutarti. Sono tutti allineati. Quando i dati sono puliti, il modello successivo è il passo più semplice.

Quindi non farti ingannare dal "all-to-AI". Non e' uno spettacolo. E' un lavoro manuale. Nel 3675, ci sono probabilmente decine di migliaia di parole che vale la pena chiedere, tutte "ha-ha" e "buone". Ma sono le decine di migliaia di parole che valgono tre giorni.

Infine, la situazione attuale di tali strumenti à ̈ chiara. Tecnicamente, non vi incoraggia a farlo; prima di farlo, pensate chiaramente ai rischi, soprattutto non passando i dati esportati.