76.2 10 천 마이크로 테터는 AI에 수출됩니다 : 가장 어려운 부분은 AI가 아닙니다.

첫째, 결론은 다음과 같다:나는 그것을했다. 76.2 10,000 메시지, 367.5 백만 단어, 모든 로컬 라이브러리, 그리고 나는 지금 어떤 질문을 할 수 있습니다.그러나 나는 3 일을 보냈다. AI와 싸우지 않고 "데이터를 얻는 방법."

그리고 나는 그것을 앞에 나쁜 단어를 넣어.slogan "My data is mine" 매일은 기본적으로 비어 있습니다.기록은 하나의 바이트가 아닌 자체 하드 드라이브에 있습니다. 그러나 당신은 그것을 읽고 싶어, 당신은 법적 임계값과 기술 임계값을 교차해야합니다. 나는 기술을 통해 갔다, 법, 기술을 통해 갔다 사람들은 이제 도서관을 절단.

1, 단지 1 년 전, 이 작업을 수행 할 수있는 도구가 정리되었습니다.

20 10 월 2025에서 가장 유명한 마이크로 인증 데이터 도구 중 두 명이 같은 날에 동일한 알림을 발행했습니다.

PyWxDump의 README는 법적 문제를 피하기 위한 핵심 기능과 준수의 위험이 있는 효과에 대한 Project Removal Notice가 되었습니다.모든 코드를 제거하고 기록을 제출단지 1개의 주는 창고에서 남겨집니다. 저자는 마지막으로 "later"를 썼고 공개 서명을 Python 전용 튜토리얼로 변경했습니다.

같은 날에, 단지 하나의 메모는 Chatlog의 창고에서 왼쪽, 그리고 저자 Sarv의 언어는 거의 동일했다 : 수신 된 대응, 코드 및 제출 기록은 비난하고 더 이상 지원이 제공되지 않았다.

이 두 프로젝트의 규모는 무엇입니까? PyWxDump 9638, 채팅 로그 9177. 그것은 작지 않습니다.

나중에 1 월 2026 년, GitHub에서 DMCA 채널을 통해 창고에 대한 한 오프 불만의 소식이있었습니다. 공개 보고서에 언급 된 30 개 이상의 인물이 있으며 수천 개의 별이 성숙하고 수비수가 직접 법적 압력에서 유지 보수가 중단되었습니다.

명확하게 말한다:자신의 채팅 레코드를 읽은 도구는 체계적으로 정리되었습니다.

그래서 수업을 돌리지 않습니다. 인터넷에서 찾을 수있는 "One Key Exporting MicroList" 레슨의 대다수는 죽은 체인, 유료 소프트웨어로 흐르는, 또는 몇 달 전에 삭제 된 오래된 창고. 나는 이것을 쓰고, 나는 길에 대해 이야기하고, 당신이 창고를 실행 할 수없는 방법 -- 때문에 그 창고가 아마 사라지기 때문에.

데이터가 어디에 있는지 알아보세요.

Windows에서 Micro-Intelligent 데이터 담당 이사:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Mac에서 ~/Library/Containers/com.tencent.xinWeChat/ 여기, 구조는 유사합니다. 우리는 경로와 라이브러리 구조가 이전 문서의 하드 경로를 사용하는 대신 4.x 이후 조정 된 것을 믿는다.

그리고 당신은 MSG0.db를 열고 당신은 이것을 얻을 것이다:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

견적 요청전체 라이브러리는 SQLCipher에 의해 암호화됩니다, 열쇠는 파일에서 존재하지 않습니다, 마이크로 메일이 실행될 때 기억에서 산출됩니다. 즉, 이러한 도구의 핵심 단계는 "키를 잡아"라고합니다 -- 그들은 기본적으로 프로세스 메모리에서 키를 얻는 것입니다.

이 단계는 준수 분쟁의 핵심입니다. 당신은 당신의 자신의 자료를 읽을 것입니다, 그러나 당신은 제조자의 기술적인 보호를 우회해서 그것을 할 것입니다. 이 두 가지 문제의 법적 자격, 그리고 당신의 의도는 완전히 다릅니다.

준수 면제를 줄 수 없습니다. 나는 단지 그것을 명확하게 할 수 있습니다:자신의 계정의 로컬 수출의 자연, 자신의 사용을 위해, 그리고 그것은 dissemination에 사용, 판매 및 서비스는 완전히 다릅니다.뒤에서 하나, 그것을 만지지 않습니다.

또 다른 실용적인 질문: "전체 책"

기술 문제가 해결되면 동기화 된 컴퓨터의 유일한 부분을 가지고 있습니다. PC 엔드 레코드가 로그인 중에 동기화되었거나 수동으로 마이그레이션되었는지 믿는다.

그들은 초기에 다른 전화에서 삭제되었다, 그들은 대체되었다, 그들은 오래된 장비에 있었다, 그들은 아니었다. 이 시간, 나는 "Ten Years,"라고하고 1 년 동안 나는 실제로 전체 대화를 넣을 때 약 6 세 또는 7 세, 심지어 이전, 단지 조각이었다.소위 "ten-year record"는 조각의 더미에서 꿰매어졌습니다.

3, 3675의 개념은 무엇입니까?

청소는 367.5 백만 단어, 76.2 백만입니다. 실제 채팅에 대응하는 48 단어의 평균 - 주로 "무엇" "좋은" "잘게" "하하하하하하하"."

이 볼륨, 첫 번째 반응은 "큰 모델로 이동합니다." 나는 그것에 대해 생각하고 포기.

안녕하세요?	Context 요구 사항	당신은 그것을 아래로 폐쇄할 수 있습니까?
주류 128K 컨텍스트	약 36.75 M 문자	그것은 크게 0.4 %입니다.
200K 콘텍스트	약 36.75 M 문자	0.6% 또는 아무것도.
일치 1M Context	약 36.75 M 문자	약 3 %이지만 비용이 많이 들 것입니다.

주의, 1M 컨텍스트 라인의 함정이 있다:기억할 수 없습니다.더 긴 컨텍스트, 명확한 중간에 모델의 초점에 감소, 이는 반복적으로 업계에 의해 검증. 10 년의 황소를 넣어, 당신은 그것을 물었다, "나는 내가 3 월에 일자리를 변경하려고 생각 2021?" 그리고 그것은 단지 심각한 bullshit.

따라서 "모든 피드 AI"는 기술적으로 inaccurate입니다.내가하는 것은 모델의 두뇌로 367.5 백만 단어를 넣지 않지만 어떤 시간에 걸쳐 돌릴 수있는 인덱스를 만듭니다.그것은 중요한 다름입니다. 모든 공학 결정은 여기에서 온다.

제 4, 나는이 파이프를 사용합니다.

5 단계, 1 단계는 얼지 않을 것입니다.

단계 1: 구조된 원본에 수출

대상 형식은 한 번에 한 줄, 스피커, 세션 이름입니다. HTML 또는 PDF를 생성하지 마십시오. - 사람들이 프로그램하지 않습니다. 나는 grep, 컷, 카운트 시간 인 구조입니다.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

이 단계는 약간 기술적인 내용이, 그러나 따르는 모든 연결의 질을 결정합니다.시간 스탬프를 잃으면 "그 시간"을 묻지 마십시오. 스피커를 잃으면 누가 말했는지 알 수 없습니다.

2 단계 : 청소, 절반의 소음을 잘라.

원본 데이터의 최소 30 %는 쓰레기입니다 : "당신은 XXX를 추가했다, 당신은 지금 채팅을 시작할 수 있습니다"및 "다른 측면은 메시지를 철회"및 "[photogram]" "[expression]"및 무수한 릴레이와 빨간 패킷의 끝없는 세트가있다.

내 치료 원칙은:시스템 메시지는 삭제됩니다, 순수 미디어 위너는 유지되지만 유형은 표시되고, 초-sMS (정보없이 4 단어 미만)은 컨텍스트로 병합됩니다.

3675 백만 단어는 거의 29 백만 단어로 잘라. 걱정하지 마세요, 그 단어는 결과 만 오염.

단계 3: Segments — 이 단계는 전체 프로젝트를 파괴하는 가장 쉬운

rookie의 가장 일반적인 실수는 단어의 고정 수에 의해 열심히 잘라. 500 단어로 잘라 대화를 잘라 반에 잘라, 당신의 손에 첫 번째 반과 다음에서 두 번째 반. 검색 시간 반, AI 시작.

내 길.세션 + 타임 윈도우 더블 컷: 같은 세션에서 인접한 메시지는 30 분 이상 차단됩니다. 블록은 400 ~ 600 단어에 포함되어 있습니다. 각 블록에는 세션 이름 + 시간 범위 + 참가자의 헤더가 포함되어 있습니다.

이 헤드 라인은 중복 될 것 같다, 실제로 가장 소중한 부분. 사용자와 문제가 종종 시간이 걸리기 때문에 — “올해의 졸업의 끝에서” - 시간 앵커가없고, 벡터 검색은 맞지 않습니다.

4 단계 : 자격

Seventy 천 이상, 모두 실행. 이 가늠자의 비용은 2개의 손가락에서 충분히, 내가 예상한 보다는 매우 더 싼 입니다. 실제로 비용은 다시 실행하는 시간의 수입니다 -- 나는 분할 전략과 랜 세 번 때문에 세 가지 버전을 변경했습니다.

어디? Sqlite-vec 충분히. Milvus, Qdrant, 10s의 수천의 데이터로 여기에 올 수 없습니다.

5 단계 : 혼합 검색, 벡터하지

Pure 벡터 검색은 채팅 녹음의이 종류의 일반적인 표현입니다. 이유는 명확합니다:당신은 종종 이름, 이름, 특정 금액을 찾고, 정확한 일치 작업과 매우 좋은 벡터.

그래서 최종 실행은 하이브리드 검색입니다 : 벡터 리콜, 키워드 (BM25 또는 직접 SQLLLKE) 리콜, 병합 및 무게, 그리고 그 다음 모델을 제공합니다 대답. 이 변화는 응답률의 정확성에 대한 개선으로 인해 이전 최적화보다 더 분명합니다.

5, 5 pits 나는 위에 족답하고, 아마 것입니다.

Thought .db는 정상적인 sqlite이었습니다.아니다. "how can't open" 줄기의 모든 질문.
그림과 목소리는... dat.표준 형식이 아닙니다. 각 파일 헤더는 다르거나 암호화됩니다. 별도의 치료를 얻기 위해, 나는 올랐다 - 10 년지도, 비용보다 훨씬 낮은 추출 값.
패널 스피커 ID는 번호입니다.그렇게 하지 않는 경우, MicroMsg.db의 micromap을 수행해야, 당신은 그것을 읽을 필요가 없습니다.
같은 사람의 이름 변경.나는 10 년 동안 메모와 별명을 변경했습니다. 같은 사람이 도서관에서 네 이름을 가질 수 있습니다. 획일하지 않은 경우, 검색은 잘못되어야 합니다.
시간 스탬프 때때로 문제.동기화 할 장치에 대한 기록의 시간은 비스듬하게 될 것이며, "3:00 a.m"의 평균은 시간이 지남에 따라 사용되므로 실수가되지 않습니다.

지금 무엇을 할 수 있습니까?

자주 묻는 질문 중 일부는 잘 답변 :

" 2021 년, 내가 일자리를 변경하려고했을 때, 정확히 무슨 일이 있었는지?"- 그것은 세 사람과 다른 시간에 나를 넣어, 시간에 세 가지 우려로 돌아.
"Did Zhang은 나를 위해 그것을 할 것을 약속하고 마지막으로 했습니까?" - 약속을 발견하고 내가 나중에 3 개월을 물었다, 그는 그것을 밀어.
"일본에 몇 번 언급했습니까?" - 7 번 계산, 각 시간과 상황에 따라.

그것은 끔찍한 대답입니다. 내가 한 시간에 기분에 대해 주제에 관한 모든 것, 그것은 단어 세트입니다.채팅 기록은 사실, 감정을 복원 할 수 있습니다.이 시점에서 AI는 오래된 채팅 레코드를 가지고 동일한 경험을 가지고 있습니다. - 심지어 악화, 그것은 주저하지 않기 때문에.

VII. 이 가치가 있는지 여부 또는 아니

3 그룹.

난 그냥 다시 얻을하려고.관련 기사 Wi-Fi는 Windows / Mac의 하단 왼쪽 모서리에서 더 많은 메뉴에서 사용할 수있는 "백업 및 복구"를 포함, "나는 채팅 기록 관리 가져 오기 및 수출을 설정". 자신의 하드 드라이브에 백업을 암호화, 충분히. 당신이 잃지 않는 것은, 묻지 않습니다.
특정한 것을 찾아내기:도서관을 구축하지 마십시오. 검색은 micro-intelligence에 좋지 않으며, 키워드 + 시간 필터는 수요의 80 %를 요구합니다. 파이프를 설정하기 위해 회전입니다.
대화식 메모리로 수십 년을 돌보고 싶습니다.이름 * 그러나 세 가지 필수 조건을 수락 - 데이터는 wreck이다, 법적 경계는 자신의 것에 보관하는 것입니다, 그리고 질문의 품질 및 답변은 당신이 모델에없는 강한 방법에 따라 달라집니다.

AI 자체를 먹이의 문제에 관해서는, 나의 가장 큰 감각은:AI는 이 단계의 병목이 아닙니다.

정말 어려운 것은 내보내기, 씻기, 끊기, 일치하는 이름, 이러한 더러운 작업을 처리하기 위해. 이 것들의 아무도 당신을 도울 수 있습니다. 그들은 모두 일렬로 세웠습니다. 데이터가 깨끗 할 때, 다음 모델은 가장 간단한 단계입니다.

"all-to-AI"에 속하지 마십시오. 그것은 쇼 떨어져 있지 않습니다. 그것은 손 일입니다. 3675 년, 아마도 당신이 요구 한 수천 단어의 10 가지가있다, "하하"와 "좋은"모든. 그러나 3 일 가치가 수천 단어의 10입니다.

마지막으로, 이러한 도구의 현재 상황은 명확합니다. 기술적으로, 그것은 당신이 그것을 하는 것을 격려하지 않습니다; 이렇게 하기 전에, 특히 수출한 자료를 통과하지 않는 위험에 대해 명확하게 생각하십시오.