[ Kotak / Gambar di hlm. Petunjuk sistem Claude Fabel 5 bocor. Berapa banyak lagi celana dalam keamanan AI yang tersisa?

Claude Fable 5 ini melon, terlihat seperti AI industri keamanan ketelanjangan publik.

Menurut sejumlah media keamanan dan platform polimer berbahasa Cina, model kelas Mythopic Claude Fable 5, yang terbuka untuk umum, tampaknya telah diprielasikan oleh escapees elder plinius dalam serangan koordinasi multi-intelijen, dan peringatan sistem internal lengkap dikolasi dan diunggah ke GitHub, sekitar 120.000 karakter.

Lebih buruk lagi lagi, kebocoran ini bukan latihan pengaturan peran biasa, tetapi tampaknya mengandung logika inti seperti kontrol keamanan, klasifikasi risiko, penyangkalan perbatasan, panggilan alat, routing strategis, dll. Dengan kata lain, jika laporan itu benar, ini akan menjadi sama dengan memposting catatan konsol keamanan dari model AI garis depan di jalan.

Pertama, kertas ini tidak akan merekapulasi, mengekstrak atau mengajarkan Anda bagaimana menggunakan kebocoran. Kami hanya berbicara tentang mengapa ini serius dan apa artinya untuk keamanan AI.

Mari kita jelas garis waktu untuk acara.

Claude Fable 5 adalah model baru yang diluncurkan oleh Anthropic pada awal Juni. Model ini dilihat oleh dunia luar sebagai versi keamanan publik Mythos 5. Dalam laporan publik, Fable 5 digambarkan sebagai generasi baru Claude, berorientasi ke penalaran kompleks, tugas jangka panjang, aliran kerja profesional.

Tapi itu online dan kontroversial.

Gelombang pertama kontroversi adalah ambang batas keamanan yang berlebihan. Dilaporkan bahwa Fable 5 bahkan menolak menjawab beberapa pertanyaan dasar biologi karena kekhawatiran keamanan. Dengan kata lain, tidak memadai, tetapi terikat pada strategi keamanan.

Ombak kontroversi kedua adalah situs double-platform Microsoft. Akses ke layanan berorientasi klien oleh Fable 5 di satu sisi dan pembatasan pada staf internal di sisi lain dikatakan berhubungan dengan keamanan data dan risiko keluaran model di sisi lain.

Gelombang ketiga, yang merupakan debacle terbanyak kali ini: seorang penyerang mengklaim telah menerima petunjuk sistematis sekitar 120.000 karakter melalui pelarian multi-smart dan mengunggahnya ke GitHub.

Halaman berita resmi Anthropic dapat melihat bahwa Pemerintah Amerika Serikat telah mengeluarkan arahan kontrol ekspor menangguhkan semua kunjungan oleh Fable 5 dan Mythos 5. Sedangkan kebocoran, konfirmasi resmi belum diberikan.

Kenapa serangan ini menakutkan? Ini bukan satu ledakan. Ini strategi serigala.

Kabur tradisional sering bergantung pada petunjuk ajaib: model induksi mengabaikan aturan, berperan, membagi tugas dan melakukan penolakan.

Tapi ada kata berulang dalam cerita ini: taktik serigala.

Ini berarti bahwa penyerang tidak menggunakan pukulan cepat, tetapi sebaliknya dikerahkan sejumlah badan cerdas untuk bekerja sama:

• Agen An Cofford bertanggung jawab untuk mendeteksi batas model.
• Satu, Agen, bertanggung jawab untuk menciptakan varian.
• Agen untuk menilai apakah respon membocorkan informasi struktural.
• Agen Agen A bertanggung jawab untuk mengkolasi sepotong keluaran ke dalam dokumen lengkap.
• Agensi Satu bertanggung jawab untuk penyesuaian terus-menerus strategi serangan.

Ini telah ditingkatkan dari permainan petunjuk ke sistem tim merah otomatis.

Penyerang manusia mungkin lelah mencoba 100 kali, dan AI dapat mencoba 100.000 kali, dan dapat dioptimalkan secara otomatis setiap kali berdasarkan umpan balik. Semakin kuat model garis depan, semakin berbahaya untuk menggunakannya sebagai koordinator serangan.

Dan itulah yang sebenarnya, melanggar kekuatan utama sistem keamanan AI menjadi AI sendiri.

Seberapa seriuskah kebocoran sistem?

Banyak orang akan bertanya, "Bukankah itu masalah?" Jadi apa?

Ini sebenarnya adalah kesalahpahaman sistem model besar modern. Petunjuk sistem saat ini bukan lagi sebuah baris: \"Anda adalah asisten yang berguna\". Ini lebih seperti pernyataan strategi waktu berjalan, yang mungkin berisi:

• Model identitas dan gaya interaktif
• Kriteria identifikasi kandungan berisiko tinggi
• Klasifikasi yang aman
• Refusal template untuk skenario risiko yang berbeda
• Batas Panggilan Alat Fon
• Strategies untuk menangani bidang sensitif seperti kode, keamanan cyber, biologi, kimia, dll.
• Kapan kau akan mencari jawaban yang lebih aman?
• Kapan kau bilang tidak?
• Kapan kau diizinkan untuk memberikan penjelasan tingkat tinggi?

Setelah hal-hal ini dibuat publik, penyerang tidak harus menebak.

Ternyata model serangan itu seperti blacklock: aku tidak tahu tentang struktur inti kunci, tapi aku mencobanya. Ini seperti mendapatkan inti kunci profil setelah kebocoran ujung sistem. Seorang penyerang dapat merancang jalan di setiap aturan dan menemukan celah tertentu di perbatasan.

Itulah sebabnya mengapa bocornya petunjuk bukanlah sebuah \"masalah\", tetapi sebuah insiden keamanan yang nyata.

Apa arti 120.000 karakter?

Nama palsu 120.000 karakter, kira-kira setara dengan novel menengah, atau puluhan halaman dokumen kebijakan keamanan.

Jika ukuran ini benar, itu berarti bahwa Fable 5 kontrol keamanan bukan aturan sederhana, tetapi set kompleks sistem taktis. Hal ini kemungkinan besar untuk memecah berbagai daerah risiko menjadi bagian partikel halus: keamanan cyber, biosafety, kimia, manipulasi psikologis, penipuan keuangan, pengungkapan privasi, hak cipta, kepekaan politik, perlindungan minor, saran medis, dll.

Ada dua kontras.

Pertama, pekerjaan keamanan Anthropic sangat rumit. Karena itulah Fable 5 \"sedikit terlalu aman\" setelah online.

Kedua, semakin rinci aturan, semakin jelas wajah serangan setelah terungkap. Para penyerang bisa melihat kategori mana yang akan memicu penolakan, yang ekspresi akan dirilis dan di mana akan ada daerah abu-abu.

Strategi keamanan yang lebih canggih, lebih seperti sistem perangkat lunak besar. Sistem perangkat lunak akan memiliki bug, dan sistem petunjuk juga akan memiliki kekurangan logis.

Ini bukan pertama kalinya: keamanan AI memasuki era pengungkapan.

Selama dua tahun terakhir, ada lebih banyak insiden seperti AI.

Ada yang membocorkan kode sumber Claude Code, beberapa mengeluarkan petunjuk sistem Agen komersial, beberapa mendapat petunjuk tersembunyi melalui plugin peramban, dan beberapa menggunakan model untuk bertanya satu sama lain tentang aturan sistem.

Alasannya sederhana: aset inti produk model besar semakin bergeser dari kode tradisional ke petunjuk, organisasi alat, routing strategis, sistem memori dan aturan keamanan.

Bisnis dulu takut membocorkan kode sumbernya.

Sekarang, AI takut:

• Kebocoran tip sistem
• Kebocoran skema alat-alat pembuat maka
• Kebocoran Fafetty
• Penilaian internal dari kebocoran
• Tugas Agen Agen Kebocoran. - Lou Lou.
• Kebocoran memori dan preferensi pengguna

Hal-hal ini belum tentu kode tradisional, tetapi mereka menentukan perilaku produk. Mereka adalah kode sumber zaman baru.

Impact pada pengguna perusahaan

Jika kau hanya pengguna biasa, itu raksasa.

Tapi jika kau bertanggung jawab atas keamanan perusahaan, itu berbeda.

Enterprises sedang dalam proses mengintegrasikan model besar ke dalam layanan penumpang, pengauditan kode, analisis data, otomatisasi kantor, basis pengetahuan internal, proses keuangan dan bahkan pusat operasi yang aman. Modelnya bukan lagi hanya robot chat, melainkan operator dengan hak akses alat.

Setelah sistem waspada dan batas alat terpapar, penyerang dapat lebih tepat membangun input untuk memungkinkan model untuk menyalahgunakan alat, membocorkan informasi, persetujuan bypass, dan melakukan tindakan yang salah.

Khususnya, Agen adalah adegan paling berbahaya. Karena Agen bukan hanya jawaban, ia menjalankan file, panggilan API, mengirim pesan, memeriksa database, menjalankan perintah. Ketika petunjuk sistem bocor, penyerang tahu logika dekomposisi dan penolakan misinya, dan dapat merancang rantai serangan yang lebih dekat sejajar dengan kerentanannya.

Jadi, perusahaan tidak bisa lagi menggunakan sistem alert sebagai ” skrip internal ”. Ini harus diintegrasikan ke manajemen aset keamanan.

Bagaimana seharusnya perusahaan membela diri?

Pertama, jangan menekan keamanan sepenuhnya pada petunjuk sistem.

Petunjuk dapat mengikat model, tetapi bukan sebagai garis pertahanan tunggal. Keamanan nyata harus tenggelam ke dalam hak akses alat, API gateway, lapisan akses data, log audit dan izin manual.

Kedua, kurangi hak istimewa alat.

Agen membutuhkan otorisasi yang jelas untuk apa yang dia bisa baca, tulis, hapus dan kirim. Jangan berikan hak administrator global karena terlihat pintar.

Ketiga, harus ada lapisan petunjuk sistem.

Jangan menulis semua strategi dalam program besar. Ini dapat dipecah menjadi lapisan identitas, lapisan tugas, lapisan alat, lapisan keamanan, dan lapisan audit, yang dapat dimuat secara dinamis oleh adegan. Dengan demikian, bahkan jika lapisan bocor, penyerang tidak akan memiliki kontrol penuh.

Keempat, perkenalkan deteksi sampingan output.

Jangan hanya menguji masukan pengguna. Keluaran model ougue juga menjadi subjek pengenalan informasi sensitif, deteksi perilaku ultra vires dan intersepsi perintah bahaya.

Kelima, automat tim merah.

Karena penyerang menggunakan taktik body pack multi-smart, pihak defensif juga menggunakan multi-smart body Reds. Kelompok model secara teratur digunakan untuk menyerang kelompok model lain, secara otomatis menghasilkan sampel tes dan memperbarui garis pertahanan secara terus menerus.

Mengapa aku tidak menyarankan yang asli?

Seseorang di Internet pasti mengatakan, " Beri aku link GitHub.

Tidak disarankan.

Pertama, teks aslinya mungkin berisi rincian yang dapat langsung digunakan untuk memotong strategi keamanan. Menyebarkannya membantu lebih banyak orang untuk memulihkan serangan.

Kedua, keaslian naskah aslinya belum diakui secara resmi, dan transmisi sekunder dapat dengan mudah mengambil isi yang tidak lengkap dan tercemar ke dalam akun.

Ketiga, bagi para peneliti, apa yang benar - benar patut dipelajari adalah titik kegagalan arsitektur keamanan, ketimbang menyalin prompt bocor lainnya.

Lingkaran pengaman harus membahas mengapa kebocoran, bagaimana kerusakan dapat dikurangi dan bagaimana perisai baru harus dibangun, daripada menggunakan petunjuk sebagai pengemasan elektronik.

Pengungkapan terbesar ini.

Claude Fable 5 telah bocor, dari sudut tunggal Antropik, yang sebenarnya menjadi masalah bagi seluruh industri AI.

Kami semakin menyerahkan pengambilan keputusan, operasional dan keamanan perbatasan ke model yang lebih besar. Banyak kontrol kunci dalam sistem model besar terus mengandalkan tips bahasa alami sebagai medium rentan.

Kemanfaatan bahasa alam yang fleksibel dan kerugiannya terlalu fleksibel. Ini tidak kaku seperti kode, sejelas daftar kontrol akses, sekeras kotak pasir.

Jadi keamanan AI masa depan tidak bisa didasarkan semata-mata pada " petunjuk sistem yang lebih lama."

Arah yang benar harus:

• Model pelatihan keamanan internal
• Mesin strategi luar angkasa
• Kotak Pasir Akses Alat Tool Tool
• Log audit mandatori
• Pengumpulan informasi rahasia
• Periksa silang multi-model
• Tes Tim Merah Otomasi

Petunjuk sistem dapat menjadi roda kemudi, tetapi bukan rem.

Pada akhirnya.

Fable 5, ironinya adalah bahwa Anthropic telah menjadi pemain bendera keamanan AI, dan model keselamatan terkuat dilepaskan tak lama setelah peluncuran, dan peringatan sistem yang dicurigai bocor.

Itu tidak berarti Anthropic tidak bisa. Sebaliknya, itu menunjukkan bahwa hal keamanan AI sendiri telah mencapai tahap yang lebih sulit.

Itu serangan manusia AI.

AI serangan AI Organisasi AI AI.

Ketika serangan otomatis, strategi otomatis, dan flash drive otomatis, itu pasti tidak cukup dengan peringatan keamanan berkarakter 120.000.

AI, era mata air aman dan musim gugur sudah berakhir, dan perang negara baru saja dimulai.