76.2 Se exportan 10.000 microcartas a AI: La parte más difícil no es AI

Primero, la conclusión es que:Lo hice. 76.2 10,000 mensajes, 367,5 millones de palabras, todo en una biblioteca local, y ahora puedo hacerle cualquier pregunta.Pero pasé tres días, dos de ellos no luchando con AI, pero con "Cómo obtener los datos".

Y tengo que poner una mala palabra delante de ella.El lema "Mis datos son míos" todos los días está básicamente vacío.Su registro está en su propio disco duro, no un solo byte. Pero quieres leerlo, tienes que cruzar un umbral legal y un umbral técnico. Pasé por la tecnología, la ley, las personas que pasaron por la tecnología ahora están cortando la biblioteca.

Uno, hace un año, las herramientas para hacer esto fueron limpiadas.

El 20 de octubre de 2025, dos de las herramientas de datos de microcrédito más famosas emitieron notificaciones idénticas el mismo día.

El README de PyWxDump se ha convertido en el Aviso de eliminación de proyectos en el efecto de que existe un riesgo de cumplimiento de la función central, que es evitar problemas legales.Eliminar todos los códigos y enviar historiaSólo queda una nota en el almacén. El autor finalmente escribió un "más tarde" y cambió el signo público a un tutorial solo de Python.

El mismo día, sólo quedaba una nota en el almacén de Chatlog, y el lenguaje del autor Sarv era casi idéntico: se vaciaron la correspondencia, el código y la historia de la sumisión y no se proporcionó más apoyo.

¿Cuál era la escala de estos dos proyectos? PyWxDump 9638, chatlog 9177. No es pequeño.

Más tarde, en enero de 2026, hubo noticias de una denuncia única contra el almacén a través del canal DMCA en GitHub, con más de 30 figuras mencionadas en el informe público, de las cuales miles de estrellas eran maduras, y los defensores indicaron directamente que el mantenimiento se detuvo bajo presión legal.

Ser claro es decir:La herramienta que te hizo leer tus propios registros de chat fue limpiada sistemáticamente.

Así que no aceleres la lección. La gran mayoría de las lecciones "One Key Exporting MicroList" que puedes encontrar en Internet son cadenas muertas, que fluyen a software pagado, o antiguos almacenes que deberían haber sido eliminados hace unos meses. Estoy escribiendo esto, y estoy hablando del camino, no de la forma en que puedes dirigir un almacén... porque ese almacén probablemente se ha ido.

Descubre dónde están tus datos.

En Windows, el Director de Datos MicroIntelligent:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac en ~/Library/Containers/com.tencent.xinWeChat/ Aquí, la estructura es similar. Creemos que el camino y la estructura de la biblioteca se han ajustado desde 4.x en lugar de utilizar el camino duro del artículo anterior.

Y luego te apresuras a abrir MSG0.db y vas a conseguir esto:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Como se esperaba.Toda la biblioteca está encriptada por SQLCipher, la clave no existe en el archivo, se calcula a partir de la memoria cuando se ejecuta el micro-mail. Es por eso que los pasos básicos de todas estas herramientas se llaman "tomar la llave" -- lo que hacen es esencialmente sacar esa clave de la memoria del proceso.

Este paso es el centro de la disputa de cumplimiento. Vas a leer tus propios datos, pero lo vas a hacer superando la protección técnica del fabricante. La calificación legal de estos dos asuntos, y sus instintos, son completamente diferentes.

No puedo darte una exención de cumplimiento. Sólo puedo aclararlo:La naturaleza de la exportación local de sus propias cuentas, que son para su propio uso, y que se utilizan para la difusión, venta y servicio es completamente diferente.El de atrás, no lo toques.

Otra pregunta práctica: "No fue todo el libro"

Incluso si los problemas técnicos se resuelven, tienes la única parte de la computadora sincronizada. Creemos que los registros finales de PC fueron sincronizados durante su login, o migraste manualmente.

They were removed from other phones in the early years, they were replaced, they were in old equipment, they were not. Esta vez, me llaman "Diez años", y el año en que realizo un diálogo completo es de unos seis o siete años, e incluso antes, sólo había fragmentos.El llamado registro de diez años fue cosido en una pila de piezas.

¿Cuál es el concepto de tres, 3675?

La limpieza es de 367,5 millones de palabras, 76,2 millones. Un promedio de 48 palabras, que correspondía a charlas reales - principalmente "donde" "bueno" "recibido" "ha-ha-ha-ha".

Este volumen, la primera reacción debe ser "directa al modelo grande". Lo pensé y me rendí.

¿Hola?	Requisitos de contexto	¿Puedes apagarlo?
Mainstream 128K Context	Sobre 36.75 M caracteres	Apenas es 0,4%.
200K Context	Sobre 36.75 M caracteres	0,6% o nada.
Match 1M Context	Sobre 36.75 M caracteres	Es un 3%, pero va a costar mucho.

Atención, hay una trampa en la línea de contexto 1M:No significa que puedas recordar.Cuanto más tiempo sea el contexto, más clara la disminución del enfoque del modelo en el medio, que ha sido validada repetidamente por la industria. Le pusiste diez años de mierda, y le preguntas: "¿Dije que voy a cambiar de trabajo en marzo de 2021?" Y es sólo una mierda seria.

Así que el término "todo alimento AI" es técnicamente inexacto.Lo que estoy haciendo no es poner 367,5 millones de palabras en el cerebro del modelo, sino crear un índice que se puede convertir en cualquier momento.Esa es la diferencia clave. Todas las decisiones de ingeniería vienen de aquí.

Cuarto, uso esta tubería.

Cinco pasos, un paso no será perdonado.

Paso 1: Exportación al texto estructurado

El formato objetivo es simple, una línea a la vez, un altavoz, un nombre de sesión. No produzcas HTML o PDF, son para personas, no para programas. Lo que quiero es una estructura que es ruidosa, corta, cuenta el tiempo.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Este paso tiene poco contenido técnico, pero determina la calidad de todos los enlaces que siguen.Si pierdes el sello de tiempo, nunca pides "ese tiempo"; si pierdes el altavoz, no sabes quién lo dijo.

Paso 2: Limpiar, cortar la mitad del ruido.

Al menos el 30 por ciento de los datos originales es basura: "Has añadido XXX, ahora puedes empezar a chatear" y "el otro lado ha retirado un mensaje" y "[fotograma]" "[expresión]" y hay interminables conjuntos de innumerables relés y paquetes rojos.

Mis principios de tratamiento son:El mensaje del sistema se elimina, se mantiene el titular de los medios puros pero el tipo está marcado, y el ultra-sMS (menos de 4 palabras sin información) se fusiona en el contexto.

3675 millones de palabras cortadas a casi 29 millones de palabras. No te preocupes, esas palabras sólo contaminan los resultados.

Paso 3: Segmentos: este paso es el más fácil de destruir todo el proyecto

El error más común de un novato es ser duro por un número fijo de palabras. Corta a 500 palabras y corta a la mitad para cortar una conversación, la primera mitad en tu mano y la segunda mitad en la siguiente. La mitad del tiempo de búsqueda, AI comienza.

A mi manera.Por sesión + ventana de tiempo doble corte: En la misma sesión, el mensaje adyacente se desconecta durante más de 30 minutos; el bloque está contenido en 400 a 600 palabras; cada bloque contiene el encabezado del nombre de sesión + rango de tiempo + participante.

Este titular parece ser redundante, en realidad la parte más valiosa. Debido a que los problemas con los usuarios suelen tomar tiempo — “al final de la graduación del año pasado”— no hay ancla de tiempo, y la recuperación vectorial no es correcta.

Paso 4: Para ser cuantificado

Setenta mil o más, hazlo todo. El costo de esta escala es suficiente en dos dígitos, mucho más barato de lo que esperaba. Lo que realmente cuesta es el número de veces que corres de nuevo... He cambiado tres ediciones debido a la estrategia de división y corrí tres veces.

¿Dónde? Sqlite-vec es suficiente. No vengas con Milvus, Qdrant, decenas de miles de datos sobre un hombre, no eso.

Paso 5: Búsqueda mixta, no sólo un vector

La búsqueda pura de vectores es una expresión común en este tipo de grabación de chat. La razón es clara:A menudo estás buscando nombres, nombres, cantidades específicas, que son trabajos precisos y no muy buenos vectores.

Así que la ejecución final es una búsqueda híbrida: un recuerdo vectorial, una palabra clave (BM25 o SQLLLKE directo) recuerda, fusiona y pesa, y luego da al modelo la respuesta. Este cambio ha dado lugar a una mejora de la exactitud de la tasa de respuesta, que es más evidente que cualquier optimización anterior combinada.

Cinco, cinco hoyos que he pisado, y probablemente lo harás.

1. Pensamos que el ADN era normal.No lo es. Todas las preguntas de "cómo no se puede abrir" surgen de esto.
2. Fotos y voz son... dat.No es un formato estándar. Cada encabezado de archivo es diferente o cifrado. Para obtener un tratamiento separado, renuncié — un mapa de 10 años, con un valor de extracción mucho menor que los costos.
3. El ID de altavoz del panel es el número.Si no haces eso, tendrás que hacer una micromapa en MicroMsg.db, y no vas a leerla.
4. El nombre de la misma persona cambia.He cambiado mis notas y apodos por 10 años. La misma persona puede tener cuatro nombres en su biblioteca. Si no hay uniformidad, la búsqueda debe estar equivocada.
5. Estampación de tiempo a veces problemas.El tiempo para grabar a través del dispositivo para sincronizar será parcial, y el "mensaje a las 3:00 a.m." se utilizará para sospechar el sello del tiempo, así que no te equivoques.

¿Qué puede hacer ahora?

Algunas de las preguntas que hice y respondí bien:

• "En 2021, cuando dije que iba a cambiar de trabajo, ¿qué era exactamente el problema?" — me unió en diferentes momentos con tres personas, volviendo a tres preocupaciones en ese momento.
• "¿Prometió Zhang hacerlo por mí, y duró?" Encontró la promesa y la que le pregunté tres meses después, y la empujó.
• "¿Cuántas veces he mencionado ir a Japón a lo largo de los años?" - Contando siete veces, con cada vez y contexto.

Es una respuesta terrible. Todo lo que se refiere a preguntas subjetivas sobre lo que estaba de humor en ese momento, es un conjunto de palabras.Un registro de chat puede restaurar los hechos, no los sentimientos.En este punto, AI tiene la misma experiencia que tienes con viejos registros de chat, incluso peor, porque no vacila.

VII. Si esto vale o no

Tres grupos.

• Sólo intento levantarme.Deja de jugar. El wi-fi contiene "backup and recovery", que está disponible en más menús en la esquina inferior izquierda del extremo Windows/Mac, con un teléfono móvil en "Configurar una gestión de archivos de chat importa y exporta". Copia de seguridad cifrada en su propio disco duro, suficiente. Lo que quieres no es perder, no preguntar.
• Para encontrar algo específico:No construya una biblioteca. La búsqueda no es mala para la microinteligencia, y el filtro palabra clave + tiempo aborda el 80% de la demanda. Es tu turno de configurar la tubería.
• Realmente quiero convertir la década en un recuerdo conversable:Hazlo. Pero acepta tres prerrequisitos: que los datos son un desastre, que los límites legales deben mantenerse por sí mismos, y que la calidad de las preguntas y respuestas depende de lo fuerte que seas, no del modelo.

En cuanto a la alimentación de la propia AI, mi mayor sentimiento es:AI no es el cuello de botella de este paso.

Lo que es realmente difícil es exportar, lavar, romper, emparejar nombres, lidiar con estas tareas sucias. Ninguna de estas cosas puede ayudarte. Están todos alineados. Cuando los datos están limpios, el siguiente modelo es el paso más simple.

Así que no te engañes con el "todo-a-I". No es un espectáculo. Es un trabajo de mano. En 3675, probablemente hay decenas de miles de palabras que vale la pena preguntar, todas ellas "ha-ha" y "buenas". Pero esas son las decenas de miles de palabras que valen tres días.

Por último, la situación actual de esos instrumentos es clara. Técnicamente, no le anima a hacerlo; antes de hacerlo, por favor piense claramente en los riesgos, especialmente no pasando los datos exportados.