120,000 karakter na ang naalis! Claude Fable 5 na sistema ang nagpahiwatig na ito'y tumatagas. Ilan pa ang natitirang mga kasuutang panseguridad ng AI?

Claude Fable 5 nitong melon, ay parang isang industriya ng seguridad ng AI na hubo't hubad.

Ayon sa isang bilang ng Chinese-wika security media at polymer platforms, ang Mythopic grade model na si Claude Fable 5, na bukas sa publiko, ay lumilitaw na pried sa pamamagitan ng escapees elder plinius sa isang multi-intelligence coordinative at ang mga kumpletong internasyunal na system warnings ay collated at uploaded sa GitHub, mga 120,000 character.

Masahol pa, ang tulo na ito ay hindi isang ordinaryong papel-setting na ehersisyo, ngunit lumilitaw na ito ay naglalaman ng mga pangunahing lohika gaya ng mga kontrol sa seguridad, klasipikasyon ng panganib, pagtanggi sa mga hangganan, mga tawag sa kasangkapan, stratehikong paglupig, atbp. Sa ibang salita, kung totoo ang ulat, katumbas ito ng paglalagay ng isang security console note mula sa isang front-line AI model sa kalye.

Una, ang papel na ito ay hindi maaaring mag - recaptula, kumuha o magturo sa iyo kung paano gumamit ng mga tagas. Pinag-uusapan lamang namin kung bakit ito seryoso at kung ano ang ibig sabihin nito sa katiwasayan ng AI.

Ating linawin ang timeline para sa pangyayari.

Ang Claude Fable 5 ay isang bagong modelo na inilunsad ng Anthropic noong unang bahagi ng Hunyo, na nakikita ng panlabas na mundo bilang isang pampublikong seguridad na bersyon ng Mythos 5. Sa isang pampublikong ulat, ang Fable 5 ay inilalarawan bilang isang bagong henerasyon ni Claude, na nakatuon sa mga komplikadong katwiran, long-term na mga atas, propesyonal na mga work sapa.

Pero nag-export ito sa Internet at naging kontrobersiyal.

Ang unang daluyong ng kontrobersiya ay ang labis na seguridad. Iniulat na ang Fable 5 ay tatanggi pa ngang sagutin ang ilang mahalagang biyolohikal na mga katanungan dahil sa mga pagkabahala sa seguridad. Sa ibang salita, hindi ito sapat, kundi nauugnay sa mga estratehiyang panseguridad.

Ang ikalawang daluyong ng kontrobersiya ay ang double-platform site ng Microsoft. Ang pagkuha ng mga serbisyong kliyente-oriente sa pamamagitan ng Fable 5 sa isang panig at mga restriksiyon sa mga panloob na kawani sa kabilang dako ay sinasabing nauugnay sa data security at modelong mga panganib ng output sa kabilang panig.

Ang ikatlong alon, na siyang pinaka-bacle sa pagkakataong ito: ang isang sumasalakay ay nag-aangkin na nakatanggap ng sistematikong pahiwatig ng halos 120,000 character sa pamamagitan ng isang multi-smart escape at download ito sa GitHub.

Makikita ng opisyal na Anthropic news page na ang Pamahalaan ng Estados Unidos ay naglabas ng mga tagubilin sa pagkontrol sa pagluluwas na itigil ang lahat ng pagbisita ng Fable 5 at Mythos 5. Kung tungkol sa tulo, ang opisyal na kumpil ay hindi pa ibinibigay.

Bakit nakatatakot ang pagsalakay na ito? Hindi ito iisang pagsabog. Isa itong estratehiya ng lobo.

Ang tradisyunal na mga pagtakas ay kadalasang umaasa sa isang magic na pahiwatig: ang induction model ay nagwawalang - bahala sa mga tuntunin, gumaganap ng isang papel, nahahati ang mga atas at hinahadlangan ang mga pagtanggi.

Subalit may paulit-ulit na salita sa kuwentong ito: ang mga taktika ng lobo.

Nangangahulugan ito na ang sumasalakay ay hindi gumamit ng isang kagyat na suntok, kundi sa halip ay naglagay ng ilang matatalinong katawan upang gumawang magkakasama:

Ang isang Ahente ay responsable sa pag-unawa ng mga hangganan ng modelo.
Ang isa, ang Ahente, ang may pananagutan sa paglikha ng isang naiibang bagay.
Isang Ahente na hahatol kung baga ang tugon ay naglabas ng impormasyon tungkol sa kayarian.
Ang isang Ahente ang may pananagutan sa paggawa ng isang piraso ng output sa isang kumpletong dokumento.
Isang Ahente ang may pananagutan sa patuloy na pagbabago ng estratehiya ng pagsalakay.

Ito ay na-upgrade mula sa isang splation game sa isang automated red team system.

Ang mga sumasalakay na tao ay maaaring pagod na sa pagsubok nang 100 ulit, at maaaring subukin ng AI nang 100,000 ulit, at maaaring kusang gawin ang lahat ng panahon batay sa impormasyon. Mientras mas malakas ang modelong front-line, mas mapanganib na gamitin ito bilang isang tagapag-ayos ng pag-atake.

At iyan ang talagang kahulugan nito: ang pagsira sa pangunahing kapangyarihan ng sistema ng seguridad ng AI ay nagiging AI mismo.

Gaano kalubha ang mabilis na pag - agos ng sistema?

Maraming tao ang magtatanong, "Hindi ba ito ang problema?" Ano ngayon?

Ito sa katunayan ay isang maling pagkaunawa sa modernong malaking sistema ng modelo. Ang pahiwatig ng kasalukuyang sistema ay hindi na isang linya: “ Ikaw ay isang matulunging assistantific. Mas tulad ito ng isang running time strategy, na maaaring naglalaman ng:

Modelong pagkakakilanlan at interaktibong istilo
High-risk content identification batayan
Kataasan ng ligtas na klasipikasyon
Tumangging template para sa iba't ibang eksena ng panganib
Kapampangan sa Pagtawag
Strategies sa paghawak ng mga sensitibong area tulad ng code, cybersecurity, biyolohiya, kimika, atbp.
Kailan ka babaling sa mas ligtas na sagot?
Kailan mo sinabing hindi?
Kailan ka papayagang magbigay ng high-level na paliwanag?

Minsang ang mga bagay na ito ay maipabatid sa madla, ang mga sumasalakay ay hindi na kailangang manghula.

Lumalabas na ang modelong pang-atake ay parang isang blacklock: hindi ko alam ang tungkol sa lock core structure, ngunit sinubukan ko ito. Para itong pagkuha ng loop core profile kapag ang dulo ng sistema ay tumatagas. Ang isang sumasalakay ay maaaring magdisenyo ng isang paraan sa palibot ng bawat tuntunin at humanap ng isang espesipikong puwang sa hangganan.

Iyan ang dahilan kung bakit ang paglalabas ng pahiwatig ay hindi isang “problemić, kundi isang tunay na insidente ng seguridad.

Ano ang ibig sabihin ng 120,000 tauhan?

120,000 character, halos katumbas ng isang medium novel, o dose-dosenang pahina ng mga dokumento ng seguridad.

Kung totoo ang sukat na ito, nangangahulugan ito na ang Fable 5 mga kontrol sa seguridad ay hindi simpleng mga tuntunin, kundi isang masalimuot na set ng mga sistemang taktikal. Malamang na hatiin nito ang iba't ibang dako ng panganib tungo sa pinong maliliit na bahagi: cybersecurity, biosafety, kimika, sikolohikal na manipulasyon, pandaraya sa pananalapi, paglalantad ng pribadong buhay, copyright, pulitikal na sensitivity, proteksiyon ng mga minor de edad, medikal na payo, atbp.

May dalawang pagkakaiba.

Una, ang gawaing panseguridad ni Anthropic ay talagang napakasalimuot. Kung gaano karaming mga hangganan ang malinaw na binibigyang - kahulugan, ito ang dahilan kung bakit ang Fable 5 ay “ medyo ligtas pagkatapos nitong gumamit ng Internet.

Ikalawa, mientras mas detalyado ang mga alituntunin, mas maliwanag ang mukha ng pagsalakay minsang ito'y mahayag. Nakikita ng mga sumasalakay kung aling kategorya ang pagmumulan ng pagtanggi, kung aling pananalita ang ilalabas at kung saan magkakaroon ng mga lugar na kulay abo.

Mientras mas masalimuot ang estratehiyang panseguridad, mas tulad ng isang malaking sistema ng software. Ang sistema ng software ay magkakaroon ng mga bug, at ang sistema ng pahiwatig ay magkakaroon din ng lohikal na mga depekto.

Hindi ito ang unang pagkakataon: Ang katiwasayan sa AI ay pumapasok sa panahon ng pagsisiwalat.

Sa nakalipas na dalawang taon, nagkaroon ng higit at higit pang mga insidenteng AI-tulad ng.

Ang ilan ay naglabas ng Claude Code source code, ang ilan ay naglabas ng sistema ng komersiyal na Agent 's, ang ilan ay naitago sa pamamagitan ng browser plubin, at ang ilan ay gumamit ng isang modelo upang tanungin ang isa't isa tungkol sa mga tuntunin ng sistema.

Simple lamang ang dahilan: ang pangunahing mga katangian ng malalaking modelong produkto ay patuloy na nagbabago mula sa tradisyunal na mga kodigo tungo sa mga pahiwatig, organisasyon ng kagamitan, estratehikong paglupig, mga sistema ng memorya at mga tuntunin sa seguridad.

Dati - rati ang mga negosyo ay natatakot na tumagas ang kodigo ng pinagmulan.

Ngayon, natatakot ang AI:

Ang dulo ng sistema ay tumatagas
Pagtunaw ng schema na ginagamit
Ligtas na tagas
Internasyunal na pagtantiya ng Pagsisipsip
Ang trabaho ng Agent ay tumatagas. Lou.
Mas gusto ng memorya at ng gumagamit ang tulo

Ang mga bagay na ito ay hindi naman tradisyonal na mga kodigo, kundi tinitiyak nito ang paggawi ng produkto. Ito ang mga kodigo ng pinagmulan ng bagong panahon.

Epekto sa mga gumagamit ng negosyo

Kung isa ka lamang karaniwang gumagamit, ito ay isang higante.

Subalit kung ikaw ang nangangasiwa sa seguridad ng korporasyon, kakaiba ito.

Ang mga Enterprises ay nasa proseso ng pagsasama ng mga malalaking modelo sa serbisyong pampasahero, code auditioning, data analysis, office automation, internasyunal na kaalaman base, mga prosesong pinansiyal at pati na ang mga sekwensiyang operasyon. Ang modelo ay hindi lamang isang chat robot, kundi isang operator na may mga pribilehiyo sa kagamitan.

Minsang mabunyag ang mga hangganan ng sistema at ng mga kagamitan, mas magagawa ng sumasalakay ang input upang pahintulutan ang modelo na gamitin sa maling paraan ang mga kasangkapan, maglabas ng impormasyon, hindi sang - ayunan, at makagawa ng maling mga pagkilos.

Sa partikular, ang Ahente ang pinakamapanganib na tanawin. Dahil ang Agent ay hindi lamang isang sagot, ito ay nagpapatakbo ng mga files, tumawag ng API, nagpapadala ng mga mensahe, tingnan ang database, tumatakbo ng mga utos. Kapag ang sistema ay nagpahiwatig na ito ay tumatagas, nalalaman ng sumasalakay ang lohika ng pagkabulok at pagtanggi sa misyon nito, at maaaring magdisenyo ng isang kawing ng pagsalakay na mas malapit na nauugnay sa kahinaan nito.

Kaya hindi na maaaring gamitin ng mga kompanya ang sistemang alisto bilang “internal scriptić. Ito'y dapat na ilakip sa pangangasiwa ng asset sa seguridad.

Paano dapat ipagtanggol ng kompanya ang kaniyang sarili?

Una, huwag lubusang igiit ang seguridad sa sistema.

Ang isang pahiwatig ay maaaring magtali ng isang modelo, subalit hindi bilang isang depensa. Ang tunay na seguridad ay dapat na mauwi sa mga pribilehiyo sa kagamitan, mga pintuang daan ng API, mga suson ng data access, mga trosong audit at manu - manong paglilinis.

Ikalawa, bawasan ang mga pribilehiyo sa kagamitan.

Ang ahente ay nangangailangan ng malinaw na pahintulot para sa kaniyang mababasa, maisulat, alisin at ipadala. Huwag mo itong bigyan ng mga pribilehiyo sa pangglobong administrador sapagkat ito'y mukhang matalino.

Ikatlo, dapat magkaroon ng patong - patong na sistema.

Huwag isulat ang lahat ng estratehiya sa isang malaking programt. Maaari itong hatiin upang maging isang suson ng pagkakakilanlan, isang task layer, isang suson ng kagamitan, isang suson ng seguridad, at isang audit layer, na maaaring ilulan sa pamamagitan ng eksena sa pamamagitan ng dinamikong paraan. Kaya, kahit na kung ang isang suson ay tumatagas, ang mga sumasalakay ay hindi lubusang masusupil.

Ikaapat, ipakilala ang pagtuklas sa panig ng output.

Huwag lamang subukin ang paggamit ng input. Ang mga nagawang modelo ay napapasailalim din ng sensitibong pagkilala sa impormasyon, labis - labis na pag - uugaling pag - alam at pag - uutos ng mga utos.

Ikalima, komante ang red team.

Yamang ang mga sumasalakay ay gumagamit ng mga taktikang multi-smart body pack, ang panig na defensive ay gumagamit din ng multi-smart body Reds. Isang grupo ng mga modelo ang regular na ginagamit upang salakayin ang isa pang grupo ng mga modelo, awtomatikong gumagawa ng mga sampol ng pagsubok at patuloy na binabago ang hanay ng depensa.

Bakit hindi ko imungkahi ang orihinal?

Tiyak na may nagsabi sa Internet, "Bigyan n'yo ako ng GitHub link.

Hindi inirerekomenda.

Una, ang orihinal na teksto ay maaaring naglalaman ng mga detalye na maaaring tuwirang gamitin upang maiwasan ang mga estratehiyang panseguridad. Ang pagpapalaganap nito ay tumutulong sa mas maraming tao na gumaling sa mga pagsalakay.

Ikalawa, ang pagiging totoo ng orihinal na teksto ay hindi opisyal na kinilala, at ang secondary transmission ay maaaring madaling isaalang - alang ang hindi kumpleto at kontaminadong nilalaman.

Ikatlo, para sa mga mananaliksik, ang talagang karapat - dapat pag - aralan ay ang bigong punto ng arkitekturang panseguridad, sa halip na gayahin ang iba pang tumutulong hakbang.

Dapat talakayin ng pangkaligtasang bilog kung bakit ang tulo, kung paano mababawasan ang pinsala at kung paano dapat gawin ang bagong kalasag, sa halip na gamitin ang mga pahiwatig bilang isang elektronikong pagpiga.

Ang pinakadakilang kapahayagan nito.

Ang Claude Fable 5 ay naka-scled, na sa tingin ay nag-iisang-point flip ng Anthropic, na sa katunayan ay isang problema para sa buong industriya ng AI.

Higit at higit na ibinibigay natin sa mas malalaking modelo ang desisyon-gawa, operasyonal at matatag na mga hangganan. Marami sa mga pangunahing kontrol sa malalaking sistema ng modelo ay patuloy na umaasa sa mga tip sa natural na wika bilang isang mahinang medium.

Ang mga pakinabang ng likas na wika ay naibabagay at ang mga disbentaha ay masyadong madaling makibagay. Hindi ito kasintigas ng kodigo, kasinlinaw ng mga listahan ng kontrol sa pagkuha, na kasintigas ng mga kahon ng buhangin.

Kaya ang panghinaharap na seguridad ng AI ay hindi maaaring ibatay lamang sa "mas mahabang sistemang pahiwatig."

Ang tunay na direksiyon ay:

Modelong pagsasanay sa panloob na seguridad
External strategy engine
Kasangkapang Pagpapahintulot sa Sandbox
Manditoryong trosong audit
Pagbubukod ng kompidensiyal na impormasyon
Multi-model Cross-check
Pagsubok sa Red Team sa Automasyon

Ang pahiwatig ng sistema ay maaaring isang manibela, subalit hindi isang preno.

Sa katapusan.

Access 5, ang irony ay na ang Anthropic ay isang AI security flag player, at ang pinakamalakas na safety model ay inilabas sa sandaling pagkatapos ng paglunsad, at ang pinaghihinalaang sistema babala ay na-screase.

Hindi iyan nangangahulugang Antropiko. Sa kabaligtaran, ipinakikita nito na ang bagay na panseguridad ng AI mismo ay umabot na sa mas mahirap na yugto.

Ito ay ang pagsalakay ng tao AI.

Ngayon ay inaatake ng AI Organisation AI ang AI.

Kapag ang isang pag-atake ay automated, ang stratehiya ay automated, at ang isang flash drive ay automated, ito ay magiging hindi sapat na may isang 120,000-characterized security alisto.

AI, tapos na ang panahon ng ligtas na mga bukal at taglagas, at nagsisimula pa lamang ang mga bansang pandigma.