76.2 Dez mil micro-letters são exportados para IA: A parte mais difícil não é IA

Em primeiro lugar, a conclusão é que:Consegui. 76,2 10.000 mensagens, 367,5 milhões de palavras, tudo numa biblioteca local, e agora posso fazer-lhe qualquer pergunta.Mas passei três dias, dois deles não brigando com a IA, mas com "Como obter os dados."

E tenho de pôr uma palavra má à frente dele.O slogan "Meus dados são meus" todos os dias é basicamente vazio.O teu disco está no teu disco rígido, nem um único byte. Mas você quer lê-lo, você tem que cruzar um limite legal e um limite técnico. Passei pela tecnologia, pela lei, as pessoas que passaram pela tecnologia estão agora a cortar a biblioteca.

Uma, há apenas um ano, as ferramentas para fazer isso foram esclarecidas.

Em 20 de outubro de 2025, duas das mais famosas ferramentas de dados de microcrédito emitiram notificações idênticas no mesmo dia.

O README da PyWxDump tornou-se o Aviso de Remoção do Projeto, no sentido de que existe um risco de conformidade com a função principal, que é evitar problemas legais.Remover todos os códigos e enviar o históricoSó resta uma nota no armazém. O autor finalmente escreveu um "mais tarde" e mudou o sinal público para um tutorial somente em Python.

No mesmo dia, apenas uma nota foi deixada no armazém de Chatlog, e a linguagem do autor Sarv era quase idêntica: recebeu correspondência, código e histórico de submissão foram esvaziados e não foi fornecido mais apoio.

Qual era a escala desses dois projetos? PyWxDump 9638, chatlog 9177. Não é pequeno.

Mais tarde, em janeiro de 2026, houve notícias de uma queixa única contra o armazém através do canal DMCA em GitHub, com mais de 30 figuras mencionadas no relatório público, das quais milhares de estrelas eram maduras, e defensores diretamente indicaram que a manutenção foi interrompida sob pressão legal.

Para ser claro é dizer:A ferramenta que te fez ler os teus próprios registos de chat foi sistematicamente limpa.

Por isso, não apresses a lição. A grande maioria das lições "One Key Exporting MicroList" que você pode encontrar na Internet são cadeias mortas, fluindo para software pago, ou armazéns antigos que deveriam ter sido excluídos há alguns meses. Estou a escrever isto, e estou a falar do caminho, não do modo como podes gerir um armazém, porque aquele armazém provavelmente já não existe.

Descubra onde estão os seus dados.

No Windows, o Diretor de Dados Microinteligentes:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac ligado ~/Library/Containers/com.tencent.xinWeChat/ Aqui, a estrutura é semelhante. Acreditamos que o caminho e a estrutura da biblioteca foram ajustados desde 4.x em vez de usar o caminho duro do artigo antigo.

E então você está correndo para abrir MSG0.db e você vai ter isso:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Como esperado.Toda a biblioteca é criptografada pelo SQLCipher, a chave não existe no arquivo, ele é calculado a partir da memória quando micro-mail está em execução. É por isso que os passos centrais de todas essas ferramentas são chamados de "tomar a chave" -- o que eles fazem é essencialmente tirar essa chave da memória do processo.

Este passo está no centro da disputa de conformidade. Você vai ler seus próprios dados, mas você vai fazer isso ignorando a proteção técnica do fabricante. A qualificação legal destes dois assuntos, e seus instintos, são completamente diferentes.

Não posso dar-lhe uma isenção. Só posso deixar claro:A natureza da exportação local das suas próprias contas, que são para uso próprio, e que são utilizadas para divulgação, venda e serviço é completamente diferente.Aquele lá atrás, não lhe toques.

Outra pergunta prática: "Não era todo o livro"

Mesmo que os problemas técnicos sejam resolvidos, você tem a única parte do computador sincronizada. Acreditamos que os registros finais do PC foram sincronizados durante seu login, ou você migrou manualmente.

Foram excluídos de outros telefones nos primeiros anos, foram substituídos, estavam em equipamento antigo, não estavam. Desta vez, eu sou chamado de "Dez Anos", e o ano em que eu realmente montei um diálogo completo tem cerca de seis ou sete anos de idade, e ainda antes, havia apenas fragmentos.O chamado "registro de dez anos" foi costurado em uma pilha de pedaços.

Qual é o conceito de 3, 3675?

Limpeza é 367,5 milhões de palavras, 76,2 milhões. Uma média de 48 palavras, que correspondiam a conversas reais - principalmente "onde" "bom" "recebido" "ha-ha-ha-ha".

Este volume, a primeira reação deve ser "direta ao grande modelo". Pensei nisso e desisti.

Estou?	Requisitos de Contexto	Podes desligar?
Contexto Principal de 128K	Cerca de 36.75 M personagens	Mal são 0,4%.
Contexto de 200K	Cerca de 36.75 M personagens	0,6% ou nada.
Corresponder ao Contexto 1M	Cerca de 36.75 M personagens	Cerca de 3%, mas vai custar muito.

Atenção, há uma armadilha na linha de contexto 1M.Não significa que te lembres.Quanto mais longo o contexto, mais claro o declínio no foco do modelo no meio, que tem sido repetidamente validado pela indústria. Colocaste dez anos de treta e perguntas-lhe: "Eu disse que ia mudar de emprego em Março de 2021?" E é uma grande treta.

Então, o termo "aI de alimentação" é tecnicamente impreciso.O que estou fazendo é não colocar 367,5 milhões de palavras no cérebro do modelo, mas criar um índice que pode ser virado a qualquer momento.Essa é a principal diferença. Todas as decisões de engenharia vêm daqui.

Quarto, uso este cachimbo.

Cinco passos, um passo não será poupado.

Passo 1: Exportar para texto estruturado

O formato alvo é simples, uma linha de cada vez, um alto-falante, um nome de sessão. Não produz HTML ou PDF -- são para pessoas, não para programas. O que eu quero é uma estrutura que é grep, cortes, conta tempo.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Esta etapa tem pouco conteúdo técnico, mas determina a qualidade de todos os links que se seguem.Se você perder o tempo, você nunca perguntar "aquele tempo"; se você perder o alto-falante, você não sabe quem disse isso.

Passo 2: Limpe, corte metade do barulho.

Pelo menos 30 por cento dos dados originais são lixo: "Você adicionou XXX, agora você pode começar a conversar" e "o outro lado retirou uma mensagem" e "[fotograma]" "[expressão]" e há conjuntos infinitos de relés inumeráveis e pacotes vermelhos.

Os meus princípios de tratamento são:A mensagem do sistema é excluída, o placeholder de mídia puro é mantido, mas o tipo é marcado, e o ultra-sMS (menos de 4 palavras sem informação) é fundido no contexto.

3675 milhões de palavras reduzem para quase 29 milhões de palavras. Não te preocupes, essas palavras só poluem os resultados.

Etapa 3: Segmentos — este passo é o mais fácil de destruir todo o projeto

O erro mais comum de um novato é ser duro com um número fixo de palavras. Corta-o a 500 palavras e corta-o ao meio para cortar uma conversa, a primeira metade na mão e a segunda metade na próxima. Metade do tempo de busca, começa a IA.

À minha maneira.Por sessão + janela de tempo corte duplo: Na mesma sessão, a mensagem adjacente é desconectada por mais de 30 minutos; o bloco está contido em 400 a 600 palavras; cada bloco contém o cabeçalho da sessão nome + intervalo de tempo + participante.

Esta manchete parece ser redundante, na verdade a parte mais valiosa. Porque os problemas com os usuários muitas vezes levam tempo – “no final da graduação do ano passado” – não há âncora de tempo, e a recuperação vetorial não está certa.

Passo 4: A quantificar

Setenta mil ou mais, passem tudo. O custo desta escala é suficiente em dois dígitos, muito mais barato do que eu esperava. O que realmente custa é o número de vezes que você corre novamente -- eu mudei três edições por causa da estratégia de divisão e corri três vezes.

Onde? Sqlite-vec é suficiente. Não venhas aqui com Milvus, Qdrant, dezenas de milhares de dados sobre um homem, não isso.

Passo 5: Pesquisa mista, não apenas um vetor

A pesquisa vetorial pura é uma expressão comum neste tipo de gravação de chat. A razão é clara:Você está frequentemente procurando nomes, nomes, quantidades específicas, que são trabalhos precisos de correspondência e não muito bons vetores.

Assim, a execução final é uma busca híbrida: uma evocação vetorial, uma palavra-chave (BM25 ou SQLLLKE direto) recordar, mesclar e pesar, e então dar ao modelo a resposta. Essa mudança resultou em uma melhora na precisão da taxa de resposta, o que é mais evidente do que qualquer otimização anterior combinada.

Cinco, cinco poços em que pisei, e provavelmente vais.

1. Pensei que .db era sqlite normal.Não é. Todas as perguntas de "como não posso abrir" derivam disto.
2. Fotos e voz são...Não é um formato normal. Cada cabeçalho de arquivo é diferente ou criptografado. Para conseguir um tratamento separado, desisti — um mapa de 10 anos, com um valor de extração muito menor do que os custos.
3. O identificador do painel é o número.Se você não fizer isso, você terá que fazer um micromapa em MicroMsg.db, e você não vai lê-lo.
4. O nome da mesma pessoa muda.Mudei as minhas anotações e alcunhas durante 10 anos. A mesma pessoa pode ter quatro nomes na sua biblioteca. Se não há uniformidade, a busca deve estar errada.
5. O horário às vezes é problemático.O tempo para gravar através do dispositivo para sincronizar será tendenciosa, e o "mensagem às 3:00 da manhã" será usado para suspeitar da hora, então não se engane.

O que pode fazer agora?

Algumas das perguntas que eu realmente fiz e respondi bem:

• "Em 2021, quando eu disse que ia mudar de emprego, qual era exatamente o problema?" — isso me uniu em momentos diferentes com três pessoas, voltando a três preocupações na época.
• "O Zhang prometeu fazê-lo por mim e durou?" Encontrou a promessa e a que perguntei três meses depois, e ele empurrou-a.
• "Quantas vezes mencionei ir ao Japão ao longo dos anos?" - Contando sete vezes, com cada vez e contexto.

É uma resposta terrível. Tudo o que diz respeito a perguntas subjetivas sobre o que eu estava no clima na época, é um conjunto de palavras.Um registro de bate-papo pode restaurar os fatos, não os sentimentos.Neste ponto, a IA tem a mesma experiência que você tem com velhos registros de chat -- ainda pior, porque não hesita.

VII. Se vale a pena ou não

Três grupos.

• Só estou a tentar levantar-me.Pára de brincar. O wi-fi contém "backup e recuperação", que está disponível em mais menus no canto inferior esquerdo da extremidade Windows/Mac, com um telefone móvel em "Eu configurei um gerenciamento de registro de chat importação e exportação". Cópia de segurança criptografada para o seu próprio disco rígido, o suficiente. O que queres é não perder, não pedir.
• Para encontrar algo específico:Não construa uma biblioteca. A busca não é ruim para a micro-inteligência, e a palavra-chave + filtro de tempo aborda 80% da demanda. É a tua vez de montar o cano.
• Eu realmente quero transformar a década em uma memória de conversação:Fá-lo. Mas aceite três pré-requisitos — que os dados são um desastre, que os limites legais devem ser mantidos por conta própria, e que a qualidade das perguntas e respostas depende de quão forte você é, não do modelo.

Quanto à questão de alimentar a própria IA, o meu maior sentimento é:A IA não é o gargalo deste passo.

O que é realmente difícil é exportar, lavar, romper, combinar nomes, lidar com essas tarefas sujas. Nada disto te pode ajudar. Estão todos alinhados. Quando os dados estão limpos, o próximo modelo é o passo mais simples.

Portanto, não te deixes enganar pelo "tudo para a IA". Não é uma exibição. É uma punheta. Em 3675, provavelmente há dezenas de milhares de palavras que valem a pena perguntar, todas elas "ha-ha" e "bom". Mas são as dezenas de milhares de palavras que valem três dias.

Por último, a situação actual desses instrumentos é clara. Tecnicamente, não o encoraja a fazê-lo; antes de fazê-lo, por favor pense claramente sobre os riscos, especialmente não passando os dados exportados.