76.2 ไมโครอักษร หนึ่งหมื่นตัวถูกส่งไปยัง AI: ส่วนที่ยากที่สุดไม่ใช่ AI

อย่างแรก ข้อสรุปก็คือฉันทําได้ 76.20,000 ข้อความ 36.5 ล้านคํา ทั้งหมดอยู่ในห้องสมุดท้องถิ่น และตอนนี้ผมสามารถถามคําถามใด ๆแต่ผมใช้เวลาสามวัน สองของพวกเขา ไม่ได้ต่อสู้กับ AI แต่กับ "วิธีการรับข้อมูล".

และผมต้องพูดคําหยาบต่อหน้ามันคําขวัญที่ว่า "ข้อมูลของฉันเป็นของฉัน" ทุกๆวันมันว่างเปล่าสถิติของคุณอยู่ในฮาร์ดไดรฟ์ของคุณเอง ไม่ได้เดียว แต่คุณต้องการอ่านมัน คุณต้องข้ามขีดจํากัดทางกฎหมายและเทคนิค ผมผ่านเทคโนโลยี กฎหมาย คนที่ผ่านเทคโนโลยี ตอนนี้กําลังตัดห้องสมุด

หนึ่ง เมื่อปีที่แล้ว เครื่องมือในการทําสิ่งนี้ ได้ถูกเคลียร์

20 October 2025 เครื่องราชอิสริยาภรณ์ที่โด่งดังที่สุด 2 เครื่อง ได้ออกสื่อ แจ้งเตือนที่เหมือนกันในวันเดียวกัน

PyWxDump's readME ได้กลายเป็นโครงการกําจัดการแจ้งเตือนถึงผลกระทบว่า มีความเสี่ยงที่จะปฏิบัติตามกับการทํางานหลักลบรหัสและประวัติการส่งโน้ตเดียวในโกดัง ในที่สุดผู้เขียนก็เขียน "ต่อมา" และเปลี่ยนป้ายสาธารณะเป็น Python เท่านั้น

ในวันเดียวกัน มีจดหมายเพียงฉบับเดียว ที่ทิ้งไว้ในโกดังของแชตล็อก และภาษาของนักประพันธ์ซาร์ฟก็เกือบเหมือนกัน

มาตราของสองโครงการนี้คืออะไร PyWxDoomp 9638 แชตล็อก 9177. มันไม่เล็ก

ต่อ มา ใน เดือน มกราคม 2026 มี ข่าว ว่า มี การ ร้อง เรียน ครั้ง เดียว ต่อ โกดัง ผ่าน ทาง ช่อง DMCA ใน กิตฮุบ โดย มี ตัว เลข มาก กว่า 30 ตัว ที่ กล่าว ถึง ใน รายงาน สาธารณะ ซึ่ง มี ดาว นับ พัน ๆ ดวง เป็น ผู้ ใหญ่ และ ผู้ ปก ป้อง โดย ตรง ระบุ ว่า การ บํารุง รักษา ถูก หยุด โดย ความ กดดัน ทาง กฎหมาย.

พูดให้ชัดเจนคือเครื่อง มือ ที่ ทํา ให้ คุณ อ่าน บันทึก การ สนทนา ของ คุณ เอง ได้ รับ การ ทํา ความ สะอาด อย่าง เป็น ระบบ.

ดังนั้น อย่าเร่งบทเรียน บทเรียนส่วนใหญ่ของ "หนึ่งคีย์ส่งออกจุลจุลภาค" ที่คุณสามารถพบได้บนอินเทอร์เน็ตเป็นทั้งห่วงโซ่ตาย ไหลเพื่อจ่ายซอฟต์แวร์หรือโกดังเก่าที่ควรจะได้รับการลบเมื่อไม่กี่เดือนก่อน ผมเขียนเรื่องนี้ และผมกําลังพูดถึงหนทาง ไม่ใช่วิธีที่คุณสามารถดําเนินกิจการโกดังได้ เพราะโกดังนั่นอาจจะหายไปแล้ว

หาว่าข้อมูลคุณอยู่ที่ไหน

บนวินโดวส์ ผู้อํานวยการของข้อมูลไมโคร ITI

WeChat Files/
└── <你的wxid>/
    ├── Msg/
    │   ├── Multi/MSG0.db      # 聊天正文，分库切片
    │   ├── MicroMsg.db        # 联系人、群、会话列表
    │   └── media/             # 图片、语音、视频，一堆 .dat
    ├── FileStorage/           # 收发的文件
    └── config/                # 账号配置

หมุน & 90 ~/Library/Containers/com.tencent.xinWeChat/ โครงสร้างนี้คล้ายกัน เราเชื่อว่าเส้นทางและโครงสร้างห้องสมุด ได้มีการปรับเปลี่ยนตั้งแต่ 4.x แทนการใช้เส้นทางที่ยากของบทความเก่า

แล้วคุณก็รีบเปิด MSG0.Db และคุณก็จะเข้าใจ

$ sqlite3 MSG0.db ".tables"
Error: file is not a database

อย่างที่คาดไว้ห้องสมุดทั้งหมดถูกเข้ารหัสโดย SQLCiferไม่พบกุญแจในแฟ้ม ซึ่งจะคํานวณจากหน่วยความจํา เมื่อมีการใช้อีเมลขนาดเล็ก นั่นคือเหตุผลว่าทําไมขั้นตอนหลักของเครื่องมือเหล่านี้ จึงเรียกว่า "เอากุญแจไป" -- สิ่งที่พวกเขาทําคือ เอากุญแจออกจากความทรงจํา

ขั้น ตอน นี้ อยู่ ที่ หัวใจ ของ การ โต้ เถียง กัน ตาม ความ เป็น จริง. คุณจะอ่านข้อมูลของคุณเอง แต่คุณจะทํามัน โดยการข้ามการป้องกันทางเทคนิคของผู้ผลิต หลักการทางกฎหมายของสองเรื่องนี้ และสัญชาตญาณของคุณ มันแตกต่างกันอย่างสิ้นเชิง

ผมให้คุณยกเว้นไม่ได้ ฉันพูดให้ชัดนะลักษณะการส่งออกของบัญชีในท้องถิ่นของพวกเขา ซึ่งมีไว้สําหรับใช้ของตนเอง ซึ่งใช้สําหรับการจําหน่าย การขาย และบริการนั้นแตกต่างกันอย่างสิ้นเชิงคนที่อยู่ข้างหลัง อย่าแตะต้องมัน

คําถามที่ใช้ได้อีกอย่างคือ "หนังสือทั้งเล่มไม่ใช่"

แม้ว่าปัญหาทางเทคนิคจะแก้ไขได้ คุณก็มีเฉพาะส่วนหนึ่งของคอมพิวเตอร์ ที่สอดคล้องกัน เราเชื่อว่าบันทึกการสิ้นสุดของพีซี ตรงกัน ระหว่างการล็อกอินของคุณ หรือคุณอพยพออกมาเอง

พวกเขาถูกลบออกจากโทรศัพท์อื่น ในช่วงต้นๆ พวกเขาถูกแทนที่ พวกเขาอยู่ในอุปกรณ์เก่า คราวนี้ ผมถูกเรียกว่า "หลายปีที่ผ่านๆมา" และในปีที่ผมเรียบเรียงบทสนทนาเต็ม ๆ นั้น มีความยาวประมาณ 6-7 ปี"สถิติสิบปี" ถูกเย็บเป็นกองๆ

33675 เป็นอย่างไร

การทําความสะอาดเป็น 36.5 ล้านคํา 76.2 ล้าน ค่าเฉลี่ยของคํา 48 คํา ซึ่งตรงกับการสนทนาจริง ส่วนใหญ่จะเป็น "ที่ไหน" "ดี" "รับ" " ฮ่า ฮ่า ฮ่า ฮ่า"

ปริมาตรนี้ ปฏิกิริยาแรกต้องเป็น "ทิศทางของแบบจําลองขนาดใหญ่" ฉันคิดแล้วยอมแพ้

ฮัลโหล?	เงื่อนไขของคอนเท็กซ์	คุณเสียบปลั๊กได้มั้ย
คอนเท็กซ์หลักของ 128K	ประมาณ 3675 ตัวอักษร	มันเกือบ 0.4%
ปรับแต่งเนื้อหา 200K	ประมาณ 3675 ตัวอักษร	0.6% หรือไม่มีอะไรเลย
ตรงกับคอนเท็กซ์ 1 M	ประมาณ 3675 ตัวอักษร	ประมาณ 3% แต่ต้องแพงแน่ๆ

โปรดทราบ มีกับดักในบริบท 1Mมันไม่ได้หมายความว่าคุณจําได้ยิ่งบริบทยาวขึ้น ยิ่งลดจุดสนใจของโมเดลตรงกลางลงเท่านั้น ซึ่งได้รับการรับรองหลายครั้งจากอุตสาหกรรม คุณใส่ 10 ปีของเรื่องไร้สาระในนั้นและคุณถามมัน "ฉันพูดว่าฉันจะมีการเปลี่ยนแปลงงานในเดือนมีนาคม 2021?" และมันก็แค่เรื่องไร้สาระ

คําว่า "เอไอทั้งหมด" ไม่ถูกต้องในทางเทคนิคสิ่งที่ผมกําลังทําคือไม่ได้ใส่คําจํานวน 36.5 ล้านคําเข้าไปในสมองของโมเดล แต่สร้างดัชนีที่สามารถเปลี่ยนแปลงได้ตลอดเวลานั่นคือความแตกต่างที่สําคัญ การตัดสินใจของวิศวกรรมทั้งหมดมาจากที่นี่

สี่ ฉันใช้ท่อนี้

ห้าขั้นตอนหนึ่งจะไม่เว้น

ขั้นที่ 1: ส่งออกเป็นข้อความที่มีโครงสร้าง

รูปแบบเป้าหมายง่าย, เส้นทีละบรรทัด, ลําโพง, ชื่อวาระ อย่าผลิต HTML หรือ PDF นั่นสําหรับคน ไม่ใช่สําหรับโปรแกรม สิ่งที่ฉันต้องการคือ โครงสร้างที่ฝังอยู่ รอยตัด เวลานับ

2021-03-14 22:17:05 | 老张 | [私聊]
2021-03-14 22:17:41 | 我   | 那个事我想了两天，还是算了
2021-03-14 22:18:02 | 老张 | 早该这样

ขั้น ตอน นี้ แทบ ไม่ มี เนื้อหา ทาง เทคนิค แต่ ก็ เป็น การ กําหนด คุณภาพ ของ ส่วน เชื่อม ทั้ง หมด ที่ ติด ตาม มา.ถ้าคุณเสียเวลาไป อย่าถาม "เวลานั้น" ถ้าคุณเสียลําโพงไป คุณก็ไม่รู้ว่าใครเป็นคนพูด

ขั้นที่ 2: ทําความสะอาด ตัดเสียงครึ่งหนึ่ง

อย่างน้อย 30% ของข้อมูลต้นฉบับเป็นขยะ: "คุณเพิ่ม XXX ตอนนี้คุณสามารถเริ่มพูดคุยได้" และ "ด้านอื่น ๆ ได้ถอนข้อความ" และ "[ภาพ ภาพ]" "[การกดทัศน" และมีชุดที่นับไม่ถ้วนและชุดชุดสีแดง

หลักการการรักษาของผมก็คือข้อความของระบบถูกลบแล้ว, ที่บรรจุสื่อบริสุทธิ์ แต่ชนิดของสื่อถูกทําเครื่องหมายไว้ และตัวพิมพ์เล็กสุด (ไม่มี 4 คําที่ไม่มีข้อมูล) จะถูกรวมเข้ากับบริบทนี้

3675 ล้านคํา ตัดเหลือเกือบ 29 ล้านคํา ไม่ต้องห่วง คําพูดพวกนั้น มีแต่ทําให้ผลเสีย

ขั้น ที่ 3: เซก เซส — ขั้น ตอน นี้ ง่าย ที่ สุด ที่ จะ ทําลาย โครงการ ทั้ง หมด

ความผิดพลาดที่ทั่วไปที่สุดของเด็กใหม่ คือต้องตัดต่อด้วยจํานวนคํา ตัด เหลือ 500 คํา และ ตัด ออก เป็น ครึ่ง ๆ เพื่อ ตัด การ สนทนา ออก ไป ครึ่ง แรก ใน มือ ของ คุณ และ ครึ่ง หลัง ต่อ ไป. ครึ่งเวลาการค้นหา AI เริ่มต้น

วิธีของฉันตามวาระการใช้งาน + เวลาตัดคู่หน้าต่าง– ในวาระเดียวกัน ข้อความชิดถูกตัดมากกว่า 30 นาที บล็อกจะถูกบรรจุอยู่ใน 400 ถึง 600 คํา; แต่ละบล็อกบรรจุหัวของชื่อวาระ + ระยะเวลา + ผู้มีส่วนร่วม

พาดหัวข่าวนี้ดูเหมือนจะซ้ําซ้อน ที่จริงแล้วมีส่วนที่มีค่ามากที่สุด เพราะปัญหากับผู้ใช้มักใช้เวลา -- “ในตอนจบของการสําเร็จการศึกษาของปีที่ผ่านมา" — ไม่มีสมอเวลา และการกู้ตัวของเวกเตอร์ไม่ถูกต้อง

ขั้น ที่ 4: เพื่อ ให้ เป็น ที่ ยอม รับ

เจ็ดหมื่นหรือมากกว่านั้น ตรวจดูให้ทั่ว ราคาของมาตรานี้เพียงพอในสองหลัก ถูกกว่าที่ผมคาดไว้มาก ค่าใช้จ่ายจริง ๆ คือ จํานวนครั้งที่คุณวิ่งอีกครั้ง -- ผมเปลี่ยนไปสามฉบับ เนื่องจากแผนแยกและวิ่งสามครั้ง

ที่ไหน? Sqite-vec ก็พอ อย่าขึ้นมาที่นี่กับมิลวุส, Qdrant, หนึ่งหมื่นของข้อมูลเกี่ยวกับชายคนหนึ่งไม่ได้ที่

ขั้นที่ 5: การค้นหาแบบผสม ไม่ใช่แค่เวกเตอร์

การค้นหาเวกเตอร์บริสุทธิ์เป็นการแสดงออกร่วมกันในชนิดของการบันทึกการสนทนานี้ เหตุ ผล คือ:คุณมักมองหาชื่อ, ชื่อ, ปริมาณเฉพาะ, ซึ่งเป็นงานที่ตรงเป๊ะ และไม่ใช่เวกเตอร์ที่ดีนัก

ดังนั้นการวิ่งรอบสุดท้ายคือการค้นหาลูกผสม: เวกเตอร์เรียกคืนคําสําคัญ (BM25 หรือ SQLLLKE โดยตรง) จํา, รวมตัวและชั่งน้ําหนัก แล้วให้รุ่นคําตอบ การ เปลี่ยน แปลง เช่น นี้ ยัง ผล ให้ มี การ ปรับ ปรุง ความ ถูก ต้อง แม่นยํา ของ อัตรา การ ตอบ รับ ซึ่ง เห็น ได้ ชัด กว่า การ ทํา ให้ ดี ที่ สุด ก่อน หน้า นั้น รวม กัน.

ห้าหลุมห้าหลุมที่ฉันเหยียบ และคุณอาจทําได้

1. คิดว่า .db เป็นตารางปกติมันไม่ใช่ คําถามทั้งหมดของ "ทําไมเปิดไม่ได้"
2. รูปและเสียง...ไม่ใช่รูปแบบมาตรฐาน หัวแฟ้มแต่ละตัวจะแตกต่างกัน หรือถูกเข้ารหัสไว้ เพื่อ จะ ได้ รับ การ รักษา แบบ แยก ต่าง หาก ผม จึง เลิก ใช้ แผนที่ สิบ ปี ซึ่ง มี คุณค่า น้อย กว่า ค่า ใช้ จ่าย.
3. หมายเลขลําโพงของแผงคือหมายเลขถ้าคุณไม่ทําอย่างนั้น คุณต้องทําไมโครแมป ในไมโครเอ็มเอ็มเอสบี และคุณจะไม่อ่านมัน
4. ชื่อเดียวกันเปลี่ยนไปฉันเปลี่ยนโน้ตและชื่อเล่นมา 10 ปี คน เดียว กัน นี้ อาจ มี สี่ ชื่อ ใน ห้อง สมุด ของ คุณ. ถ้าไม่มีความสม่ําเสมอ การค้นหาต้องผิดแน่
5. เวลาประทับ บางครั้งปัญหาเวลาในการบันทึกเสียงผ่านอุปกรณ์ เพื่อประสานความเสมอภาค จะมีความลําเอียง และ "ข้อความ เวลาตีสาม" จะถูกใช้เพื่อสงสัยเวลา ดังนั้นอย่าเข้าใจผิด

มันทําอะไรได้อีก

บางคําถามที่ผมถามและตอบได้ดี

• " ในปี 2021 เมื่อผมพูดว่าผมกําลังจะเปลี่ยนงาน อะไรกันแน่ที่เป็นจริง?" — มันนําผมมารวมกันคนละเวลากับคนสามคน
• "แชงสัญญาว่าจะทําเพื่อข้า และทําครั้งสุดท้ายหรือเปล่า" มันเจอคําสัญญาและอันที่ผมขอไว้ 3 เดือนหลังจากนั้น และเขาผลักมันทิ้ง
• "ผมได้พูดถึงการไปญี่ปุ่นตลอดหลายปีมาแล้วกี่ครั้งแล้ว?" - นับรวม 7 ครั้ง โดยในแต่ละเวลาและบริบท

มันเป็นคําตอบที่แย่มาก ทุกอย่างที่เกี่ยวข้องกับคําถามส่วนตัว เกี่ยวกับสิ่งที่ผมอยู่ในอารมณ์ในขณะนั้น มันเป็นชุดของคําบันทึก การ สนทนา สามารถ ฟื้นฟู ข้อ เท็จ จริง ไม่ ใช่ ความ รู้สึก.ณ จุดนี้ AI ก็มีประสบการณ์แบบเดียวกัน กับประวัติการคุยแบบเก่า แย่กว่า เพราะมันไม่ลังเล

วีไอ ไม่ว่าจะคุ้มค่าหรือไม่

สามกลุ่ม

• ฉันแค่พยายามจะลุกขึ้นเลิกเล่นได้แล้ว Wi-fi มี "สํารองและฟื้นตัว" ซึ่งมีอยู่ในเมนูมากกว่า ที่มุมล่างซ้ายของวินโดวส์/Macend โดยมีโทรศัพท์มือถือใน "ฉันตั้งค่าการนําเข้าและส่งออกของการจัดการแผ่นเสียงในการสนทนา" เข้ารหัสสํารองไว้ในฮาร์ดไดรฟ์ของคุณเองพอ สิ่งที่คุณต้องการไม่ใช่การสูญเสีย ไม่ใช่ขอ
• เพื่อค้นหาบางสิ่งที่เจาะจงอย่าสร้างห้องสมุด การค้นหาในไมโครอินเทลไม่ได้แย่ และคําค้นเวลา + ที่อยู่ 80% ของความต้องการ ตาคุณตั้งท่อ
• ผมอยากเปลี่ยนทศวรรษนี้ ให้กลายเป็นความทรงจําที่คุยด้วยได้ทําสิ แต่ จง ยอม รับ ว่า ปัจจัย สาม อย่าง คือ ข้อมูล นั้น พัง ทลาย, ข้อ จํากัด ทาง กฎหมาย ต้อง รักษา ไว้ ด้วย ตน เอง, และ คุณภาพ ของ คํา ถาม และ คํา ตอบ ขึ้น อยู่ กับ ว่า คุณ เข้ม แข็ง เพียง ไร ไม่ ใช่ ใน แบบ จําลอง.

สําหรับเรื่องการให้อาหาร AI ความรู้สึกที่ดีที่สุดของฉันคือAI ไม่ใช่คอขวดของขั้นตอนนี้

สิ่งที่ยากจริงๆก็คือ การส่งออก ล้าง แยก ชื่อ จับคู่ จัดการกับงานสกปรกเหล่านี้ สิ่งเหล่านี้ช่วยอะไรคุณไม่ได้ มันเรียงแถวหมด เมื่อข้อมูลสะอาด โมเดลต่อไปจะเป็นขั้นตอนที่ง่ายที่สุด

ดังนั้น อย่าหลงคําว่า "All-AI" มันไม่ใช่การแสดง มันเป็นงานถนัด 3675 อาจมีคําพูดมากมายหลายหมื่นคํา ที่ควรถาม ซึ่งทั้งหมดคือ "ฮาฮา" และ "ดี" แต่นั่นคือคําพูดหลายหมื่นคํา ที่มีค่าถึงสามวัน

ใน ที่ สุด สถานการณ์ ปัจจุบัน ของ เครื่อง มือ ดัง กล่าว ก็ ชัดเจน. ใน ทาง หลัก แล้ว มัน ไม่ ได้ สนับสนุน คุณ ให้ ทํา เช่น นั้น; ก่อน จะ ทํา เช่น นั้น โปรด คิด อย่าง ชัดเจน เกี่ยว กับ ความ เสี่ยง โดย เฉพาะ อย่าง ยิ่ง ไม่ ให้ ข้อมูล ที่ ส่ง ออก.