76,2 Десять тысяч микробукв экспортируются в ИИ: самая сложная часть - не ИИ

Во-первых, вывод таков:Я сделал это. 76.2 10,000 сообщений, 367.5 миллионов слов, все в местной библиотеке, и теперь я могу задать ему любые вопросы.Но я провел три дня, двое из них боролись не с ИИ, а с "Как получить данные".

И перед этим я должен сказать плохое слово.Слоган «Мои данные — мои» каждый день практически пуст.Ваша запись находится на вашем жестком диске, а не на одном байте. Но если вы хотите прочитать его, вы должны пересечь юридический и технический порог. Я прошел через технологию, закон, люди, которые прошли через технологию, теперь сокращают библиотеку.

Во-первых, всего год назад инструменты для этого были очищены.

20 октября 2025 года два самых известных инструмента микрокредитования в тот же день выпустили идентичные уведомления.

PyWxDump's README стал Уведомлением об удалении проекта о том, что существует риск соблюдения основной функции, которая заключается в том, чтобы избежать юридических проблем.Удалить все коды и отправить историюНа складе осталась только одна записка. Автор, наконец, написал «позже» и изменил публичный знак на учебник только для Python.

В тот же день на складе Chatlog осталась только одна нота, а язык автора Сарва был почти идентичен: полученная корреспонденция, код и история подачи были опустошены и дальнейшей поддержки не было.

Каков масштаб этих двух проектов? PyWxDump 9638, chatlog 9177. Он не маленький.

Позже, в январе 2026 года, появились новости о разовой жалобе на склад через канал DMCA в GitHub, причём в публичном отчёте упоминалось более 30 фигур, из которых тысячи звёзд были зрелыми, а защитники прямо указывали, что техническое обслуживание было остановлено под юридическим давлением.

Чтобы быть ясным, нужно сказать:Инструмент, который заставлял вас читать ваши собственные записи чата, систематически очищался.

Так что не спешите с уроком. Подавляющее большинство уроков «One Key Exporting MicroList», которые вы можете найти в Интернете, являются либо мертвыми цепями, либо старыми складами, которые должны были быть удалены несколько месяцев назад. Я пишу это, и я говорю о пути, а не о том, как вы можете управлять складом - потому что этот склад, вероятно, исчез.

Узнайте, где находятся ваши данные.

В Windows директор по микроинтеллектуальным данным:

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

Мак ~/Library/Containers/com.tencent.xinWeChat/ Здесь структура аналогична. Мы считаем, что путь и структура библиотеки были скорректированы с 4.x вместо того, чтобы использовать жесткий путь старой статьи.

А потом вы спешите открыть MSG0.db и получите вот это:

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

Как и ожидалось.Вся библиотека зашифрована SQLCipherКлюч не существует в файле, он вычисляется из памяти при запуске микро-почты. Вот почему основные шаги всех этих инструментов называются «взять ключ» — то, что они делают, по сути, чтобы получить этот ключ из памяти процесса.

Этот шаг лежит в основе спора о соблюдении. Вы будете читать свои собственные данные, но вы будете делать это, минуя техническую защиту производителя. Юридическая квалификация этих двух вопросов и ваши инстинкты совершенно разные.

Я не могу дать вам освобождение от ответственности. Я могу только прояснить:Характер местного вывоза собственных счетов, которые предназначены для собственного пользования и которые используются для распространения, продажи и обслуживания, совершенно иной.Тот, что сзади, не трогай его.

Еще один практический вопрос: «Не вся ли книга?»

Даже если технические проблемы решены, у вас есть единственная часть компьютера, которая синхронизирована. Мы считаем, что конечные записи ПК были синхронизированы во время входа в систему или вы мигрировали вручную.

Они были удалены с других телефонов в первые годы, их заменили, они были в старом оборудовании, их не было. На этот раз меня называют «Десять лет», а год, когда я фактически собрал полный диалог, — около шести или семи лет, а еще раньше были только фрагменты.Так называемый «десятилетний рекорд» был сшит в кучу кусочков.

Что такое понятие "три", 3675?

Чистка — 367,5 млн слов, 76,2 млн. В среднем 48 слов, что соответствовало реальным чатам — в основном «где» «хороший» «получал» «ха-ха-ха-ха».

В этом томе первая реакция должна быть «прямой к большой модели». Я подумал об этом и сдался.

Алло?	Требования к контексту	Можешь заглушить?
Основная статья: 128K Context	36,75 М персонажей	Едва ли 0,4%.
200K контекст	36,75 М персонажей	0,6% или ничего.
Матч 1М Контекст	36,75 М персонажей	Это около 3%, но это будет стоить дорого.

Внимание, в строке контекста 1М есть ловушка:Это не значит, что ты можешь вспомнить.Чем длиннее контекст, тем яснее снижение фокуса модели на середину, что неоднократно подтверждалось промышленностью. Вы вложили в него десять лет ерунды и спросили: «Я сказал, что собираюсь сменить работу в марте 2021 года?» И это просто серьезное дерьмо.

Таким образом, термин «все кормовые ИИ» технически неточен.Я не вкладываю 367.5 миллионов слов в мозг модели, а создаю индекс, который можно перевернуть в любое время.Это ключевое отличие. Все инженерные решения исходят отсюда.

В-четвертых, я использую эту трубу.

Пять шагов, один шаг не будет пройден.

Шаг 1: Экспорт в структурированный текст

Целевой формат прост, одна строка за раз, динамик, название сессии. Не создавайте HTML или PDF - это для людей, а не для программ. То, что я хочу, это структура, которая грап, сокращает, подсчитывает время.

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

Этот шаг имеет мало технического содержания, но определяет качество всех ссылок, которые следуют.Если вы теряете отметку времени, вы никогда не спрашиваете «это время»; если вы теряете говорящего, вы не знаете, кто это сказал.

Шаг 2: Очистите, вырежьте половину шума.

По крайней мере 30 процентов исходных данных — это мусор: «Вы добавили XXX, теперь вы можете начать общаться» и «другая сторона отозвала сообщение» и «[фотограмма]», и есть бесконечные наборы бесчисленных реле и красных пакетов.

Мои принципы лечения:Системное сообщение удаляется, чистый медиа-заполнитель сохраняется, но тип помечается, а ультра-sMS (менее 4 слов без информации) сливается в контекст.

3675 миллионов слов сократились до 29 миллионов. Не волнуйтесь, эти слова только загрязняют результаты.

Шаг 3: Сегменты — этот шаг проще всего разрушить весь проект

Самая распространенная ошибка новичка состоит в том, чтобы быть жестко вырезанным фиксированным количеством слов. Разрежьте его до 500 слов и разрежьте пополам, чтобы отрезать разговор, первую половину в руке и вторую половину в следующей. В половине поискового времени начинается ИИ.

Мой путь.Сессия + окно времени двойное сокращениеВ одной и той же сессии соседнее сообщение отключается более чем на 30 минут; блок содержит от 400 до 600 слов; каждый блок содержит заголовок названия сессии + временной диапазон + участник.

Этот заголовок кажется излишним, на самом деле самая ценная часть. Поскольку проблемы с пользователями часто требуют времени — «в конце прошлогоднего выпуска» — нет якоря времени, а векторное извлечение неправильно.

Шаг 4: быть количественно

Семьдесят тысяч или больше, проверьте все. Стоимость этой шкалы достаточна в двух цифрах, намного дешевле, чем я ожидал. Что действительно стоит, так это количество повторных пробежек — я изменил три издания из-за стратегии разделения и пробежал три раза.

Где? Sqlite-vec достаточно. Не приходите сюда с Милвусом, Кдрантом, десятками тысяч данных о человеке, не это.

Шаг 5: Смешанный поиск, а не просто вектор

Чистый векторный поиск является распространенным выражением в этом виде записи чата. Причина ясна:Вы часто ищете имена, имена, конкретные суммы, которые точно соответствуют заданиям и не очень хорошие векторы.

Таким образом, конечный запуск - это гибридный поиск: вспоминание вектора, вспоминание ключевого слова (BM25 или прямой SQLLLKE), слияние и взвешивание, а затем ответ на модель. Это изменение привело к повышению точности скорости отклика, что более очевидно, чем любая предыдущая оптимизация.

Пять, пять ям, на которые я ступил, и ты, вероятно, это сделаешь.

1. Мысль .db была обычной.Это не так. Все вопросы о том, как «не открыться», проистекают из этого.
2. Фотографии и голос — это...Не стандартный формат. Каждый заголовок файла отличается или зашифрован. Для того, чтобы получить отдельное лечение, я сдался — 10-летняя карта, с гораздо более низкой добычей, чем затраты.
3. Идентификатор динамика панели - это номер.Если вы этого не сделаете, вам придется сделать микрокарту в MicroMsg.db.
4. Имя одного и того же человека меняется.Я менял свои заметки и прозвища 10 лет. Один и тот же человек может иметь четыре имени в вашей библиотеке. Если нет единообразия, поиск должен быть неправильным.
5. Время штампа иногда проблемы.Время записи по всему устройству для синхронизации будет смещено, и «сообщение в 3:00 утра» будет использоваться, чтобы заподозрить отметку времени, поэтому не ошибитесь.

Что он может сделать сейчас?

Некоторые вопросы, которые я задавал и на которые хорошо отвечал:

• «В 2021 году, когда я сказал, что собираюсь сменить работу, в чем именно дело?» — это свело меня в разное время с тремя людьми, вернувшись к трем заботам того времени.
• «Обещал ли Чжан сделать это для меня, и это длилось?» Он нашел обещание и тот, который я попросил три месяца спустя, и он оттолкнул его.
• «Сколько раз я упоминал о поездке в Японию за эти годы?» — отсчитывая семь раз, с каждым разом и контекстом.

Это ужасный ответ. Все, что касается субъективных вопросов о том, что у меня было в настроении в то время, это набор слов.Запись чата может восстановить факты, а не чувства.На данный момент ИИ имеет тот же опыт, что и в старых записях чата — еще хуже, потому что он не колеблется.

VII. Стоит ли это того или нет

Три группы.

• Я просто пытаюсь встать.Хватит дурачиться. Wi-Fi содержит «резервное копирование и восстановление», которое доступно в большем количестве меню в левом нижнем углу конца Windows / Mac, с мобильным телефоном в «I set up a chat record management import and export». Зашифрованная резервная копия на ваш собственный жесткий диск, достаточно. Чего вы хотите, так это не потерять, не спросить.
• Чтобы найти что-то конкретное:Не стройте библиотеку. Поиск не плох для микро-интеллекта, а фильтр ключевых слов + время удовлетворяет 80% спроса. Твоя очередь устанавливать трубу.
• Я действительно хочу превратить десятилетие в разговорную память:Сделай это. Но примите три предпосылки — что данные — это крушение, что юридические границы должны быть сохранены сами по себе, и что качество вопросов и ответов зависит от того, насколько вы сильны, а не от модели.

Что касается самого искусственного интеллекта, мое самое большое чувство:ИИ не является узким местом этого шага.

Что действительно сложно, так это экспортировать, мыть, разбивать, подбирать имена, решать эти грязные задачи. Ничто из этого не может помочь вам. Они все выстроились в очередь. Когда данные чисты, следующая модель является самым простым шагом.

Так что не обманывайся "все-в-ИИ". Это не шоу-офф. Это ручная работа. В 3675 году, вероятно, есть десятки тысяч слов, которые стоит спросить, все из которых «ха-ха» и «хорошо». Но это десятки тысяч слов, которые стоят трех дней.

Наконец, нынешняя ситуация с такими инструментами ясна. Технически это не побуждает вас делать это; прежде чем делать это, пожалуйста, четко подумайте о рисках, особенно не передавать экспортируемые данные.