120 000 merkkiä on poistettu! Claude Fable 5 -järjestelmän vihje vuoti. Montako tekoälyn alusvaatteita on jäljellä?

Claude Fable 5 näyttää tekoälyn turvallisuusalalta.

Useiden kiinankielisten turvallisuusmedia- ja polymeerialustojen mukaan Claude Fable 5 -malli, joka on avoin yleisölle, näyttää tulleen pelastuneiden vanhuspliniuksen tuntemaksi usean tiedustelun koordinoidussa hyökkäyksessä, ja täydelliset sisäiset järjestelmähälytykset kerättiin ja ladattiin GitHubille noin 120 000 merkkiä.

Vielä pahempaa on, että tämä vuoto ei ole tavallinen roolien määrittelyharjoitus, mutta se näyttää sisältävän ydinlogiikkaa, kuten turvavalvonta, riskiluokitus, rajojen kieltäminen, työkalupuhelut, strateginen reititys jne. Toisin sanoen, jos mietintö on totta, se merkitsisi turvakonsoliviestin lähettämistä kadulle tekoälymallista.

Ensinnäkin, tämä paperi ei kerrassaan, poimia tai opeta sinua käyttämään vuotoja. Puhumme vain siitä, miksi tämä on vakavaa ja mitä se merkitsee tekoälyn turvallisuudelle.

Selvitetään tapahtuman aikajana.

Claude Fable 5 on uusi malli, jonka Anthropic käynnisti kesäkuun alussa ja jota ulkomaailma pitää Mythos 5:n yleisenä turvallisuusversiona. Julkisessa raportissa Fable 5 kuvataan uudeksi Clauden sukupolveksi, joka on suuntautunut monimutkaisiin päättelyihin, pitkäaikaisiin tehtäviin ja ammatillisiin työvirtoihin.

Mutta se meni verkkoon ja oli kiistanalainen.

Ensimmäinen kiistan aalto oli liiallinen turvallisuuskynnys. On raportoitu, että Fable 5 kieltäytyisi jopa vastaamasta joihinkin biologisiin peruskysymyksiin turvallisuusongelmien vuoksi. Toisin sanoen se ei ole riittämätön, vaan liittyy turvallisuusstrategioihin.

Toinen kiistan aalto on Microsoftin kaksoisalustasivusto. Toisaalta Fable 5:n asiakaslähtöisten palvelujen ja toisaalta sisäisen henkilöstön rajoitusten sanotaan liittyvän tietoturvaan ja mallituoton riskeihin.

Kolmas aalto, joka oli pahin fiasko tällä kertaa: hyökkääjä väittää saaneensa systemaattisen vihjeen noin 120,000 merkkiä läpi multi-älykäs paeta ja latasi sen GitHub.

Virallinen antrooppinen uutissivu näkee, että Yhdysvaltain hallitus on antanut vientivalvontaohjeita, joilla keskeytetään kaikki Fable 5:n ja Mythos 5:n vierailut. Vuodon osalta virallista vahvistusta ei ole vielä annettu.

Miksi tämä hyökkäys on pelottava? Se ei ole mikään räjähdys. Se on susistrategia.

Perinteiset pakot perustuvat usein taikavihjeeseen: induktiomalli jättää huomiotta säännöt, rooli, jakaa tehtäviä ja kiertää kieltäytymistä.

Mutta tässä tarinassa on toistuva sana: susitaktiikka.

Se tarkoittaa, että hyökkääjä ei käyttänyt nopeaa iskua, vaan lähetti joukon älykkäitä ruumiita toimimaan yhdessä:

• Agentti on vastuussa mallin rajojen havaitsemisesta.
• Yksi on vastuussa variantin luomisesta.
• Agentti, joka arvioi, vuotiko vastaus rakenteellista tietoa.
• Agentti on vastuussa tuotoksen kokoamisesta täydelliseen asiakirjaan.
• Yksi agentti on vastuussa hyökkäysstrategian jatkuvasta mukauttamisesta.

Tämä on päivitetty vihjepelistä automaattiseksi punaiseksi tiimijärjestelmäksi.

Ihmisten hyökkääjät voivat olla kyllästyneet yrittää 100 kertaa, ja tekoäly voi kokeilla 100 000 kertaa, ja voidaan automaattisesti optimoida joka kerta perustuu palautetta. Mitä vahvempi etulinjan malli on, sitä vaarallisempaa on käyttää sitä hyökkäyskoordinaattorina.

Siitä tässä on oikeastaan kyse: tekoälyn turvajärjestelmän päävoiman murtamisesta on tulossa tekoäly.

Kuinka vakava hälytysvuoto on?

Monet kysyisivät: "Eikö se ole ongelma?" Mitä sitten?

Tämä on oikeastaan väärinkäsitys modernista isosta mallijärjestelmästä. Nykyinen järjestelmän vihje ei ole enää rivi: ...Olet avulias avustaja. Se on pikemminkin juokseva aikastrategia, joka voi sisältää:

• Identiteettimalli ja vuorovaikutteinen tyyli
• Riskiaineksen tunnistamiskriteerit
• Turvallisen luokituksen taso
• Eri riskiskenaarioiden hylkäämismalli
• Työkalu Call Border
• Strategiat arkaluonteisten alueiden, kuten koodin, kyberturvallisuuden, biologian, kemian jne. käsittelyä varten
• Milloin käännytte turvallisemman vastauksen puoleen?
• Milloin kieltäydyit?
• Milloin saatte antaa korkean tason selityksen?

Kun nämä asiat julkistetaan, hyökkääjien ei tarvitse arvata.

En tiennyt lukon ydinrakenteesta, mutta kokeilin sitä. Se on kuin saisi lukituksen ydinprofiilin, kun järjestelmän kärki vuotaa. Hyökkääjä voi kiertää jokaisen säännön ja löytää tietyn aukon rajalla.

Siksi vihjeen vuotaminen ei ole ongelma vaan todellinen turvallisuustapaus.

Mitä 120 000 merkkiä tarkoittaa?

120 000 merkkiä, suunnilleen saman verran kuin keskikokoinen romaani tai kymmeniä sivuja turvallisuuspolitiikan asiakirjoja.

Jos tämä koko on totta, se tarkoittaa, että Fable 5 turvavalvonta ei ole yksinkertaisia sääntöjä, vaan monimutkainen joukko taktisia järjestelmiä. Se todennäköisesti hajottaa eri riskialat pieniksi hiukkasiksi: kyberturvallisuus, bioturvallisuus, kemia, psykologinen manipulointi, talouspetokset, yksityisyyden paljastaminen, tekijänoikeudet, poliittinen herkkyys, alaikäisten suojelu, lääkärin neuvonta jne.

On kaksi kontrastia.

Ensinnäkin Anthropicin turvallisuustyö on todella monimutkaista. Niin paljon kuin monet rajat on selvästi määritelty, siksi Fable 5 on hieman liian turvallinen sen jälkeen, kun se menee verkossa.

Toiseksi, mitä yksityiskohtaisemmat säännöt, sitä selvemmät ovat hyökkäyksen kasvot, kun se paljastuu. Hyökkääjät näkivät, mitkä luokat aiheuttaisivat kieltäytymisen, mitkä ilmaisut vapautettaisiin ja missä olisi harmaata aluetta.

Mitä kehittyneempi turvallisuusstrategia, sitä enemmän kuin suuri ohjelmistojärjestelmä. Ohjelmistojärjestelmässä on vikoja, ja vihjejärjestelmässä on myös loogisia puutteita.

Tämä ei ole ensimmäinen kerta: tekoälyn turvallisuus on astumassa julkistamisen aikakauteen.

Kahden viime vuoden aikana on tapahtunut yhä enemmän tekoälyn kaltaisia välikohtauksia.

Jotkut vuotivat Claude koodin lähdekoodi, jotkut veti pois kaupallisen Agent 's järjestelmä vihje, jotkut saivat piilotettu kehotus kautta selaimen plugin, ja jotkut käyttivät mallia kysyä toisilleen järjestelmän sääntöjä.

Syy on yksinkertainen: suurten mallituotteiden perusvarat siirtyvät yhä enemmän perinteisistä koodeista vinkkeihin, työkalujen organisointiin, strategiseen reititykseen, muistijärjestelmiin ja turvallisuussääntöihin.

Liikeasiat pelkäsivät ennen lähdekoodin vuotamista.

Tekoäly pelkää:

• Järjestelmän kärkivuoto
• Työkalun skeemavuoto
• Turvallinen vuoto
• Vuotojen sisäinen arviointi
• Agentin työ vuotaa. Lou.
• Muisti- ja käyttäjävalintavuoto

Nämä eivät välttämättä ole perinteisiä koodeja, mutta ne määräävät tuotekäyttäytymisen. Ne ovat uuden ajan lähdekoodit.

Vaikutukset yritysten käyttäjiin

Jos olet tavallinen käyttäjä, se on jättiläinen.

Mutta jos olet vastuussa yhtiön turvallisuudesta, se on erilaista.

Yritykset integroivat suuria malleja matkustajapalveluun, kooditarkastukseen, tietojen analysointiin, toimistoautomaatioon, sisäiseen tietopohjaan, rahoitusprosesseihin ja jopa turvallisiin toimintakeskuksiin. Malli ei ole enää pelkkä chat robotti, vaan operaattori, jolla on työkaluoikeudet.

Kun järjestelmän hälytykset ja työkalujen rajat on paljastettu, hyökkääjä voi tarkemmin rakentaa syötteen, jotta malli voi käyttää työkaluja, vuotaa tietoa, ohittaa hyväksynnät ja suorittaa vääriä toimia.

Agentti on vaarallisin kohtaus. Koska agentti ei ole vain vastaus, se pyörittää tiedostoja, soittaa API: lle, lähettää viestejä, tarkistaa tietokantoja, suorittaa komentoja. Kun järjestelmän vihje vuotaa, hyökkääjä tuntee tehtävän hajoamisen ja epäämisen logiikan ja voi suunnitella hyökkäysketjun lähemmäksi sen haavoittuvuutta.

Yritykset eivät voi enää käyttää järjestelmän hälytystä sisäisenä skriptinä. Se olisi sisällytettävä arvopaperivarojen hallintaan.

Miten yrityksen pitäisi puolustautua?

Ensinnäkin, älä paina turvallisuutta täysin järjestelmän vihje.

Vihje voi sitoa mallin, mutta ei yhtenä puolustuslinjana. Oikean tietoturvan pitäisi uppoutua työkalu-oikeuksiin, API-portteihin, tietojen käyttökerroksiin, tarkastuslokiin ja manuaaliseen kulkulupaan.

Toiseksi, minimoi työkalujen oikeudet.

Agentti tarvitsee selkeät valtuudet lukemiseen, kirjoittamiseen, poistamiseen ja lähettämiseen. Älä anna sille maailmanlaajuisia järjestelmänvalvojan oikeuksia, koska se näyttää fiksu.

Kolmanneksi, pitäisi olla kerrostuksen järjestelmän vihje.

Älä kirjoita kaikkia strategioita valtava ohjelma. Se voidaan jakaa henkilöllisyyteen, tehtäväkerros, työkalukerros, turvakerros ja tarkastuskerros, joka voidaan ladata dynaamisesti paikalta. Näin, vaikka kerros vuotaa, hyökkääjät eivät ole täysin hallinnassa.

Neljänneksi, ota käyttöön tulostuspuolitunnistus.

Älä testaa vain käyttäjän syötettä. Mallituotoksiin sovelletaan myös arkaluonteisten tietojen tunnustamista, ultravires-käyttäytymisen havaitsemista ja vaaratilanteiden komentojen sieppausta.

Viides: automatisoi punainen joukkue.

Koska hyökkääjät käyttävät moniälyisiä vartalopaketteja, puolustuspuoli käyttää myös moniälyisiä vartalonpunaisia. Ryhmä malleja käytetään säännöllisesti hyökätä toisen ryhmän malleja, automaattisesti luoda näytteitä ja jatkuvasti päivittää linja puolustus.

Miksen ehdota alkuperäistä?

Joku sanoi netissä:

Ei suositella.

Ensinnäkin alkuperäinen teksti voi sisältää yksityiskohtia, joita voidaan käyttää suoraan turvallisuusstrategioiden ohittamiseen. Levittäminen auttaa useampia ihmisiä toipumaan hyökkäyksistä.

Toiseksi alkuperäisen tekstin aitoutta ei ole virallisesti tunnustettu, ja toissijaisessa lähetyksessä voidaan helposti ottaa huomioon epätäydellinen ja saastunut sisältö.

Kolmanneksi, tutkijoille on todella syytä tutkia turvallisuusarkkitehtuurin vikapistettä sen sijaan, että kopioidaan muita vuotaneita hälytyksiä.

Turvaympyrässä olisi keskusteltava siitä, miksi vuotoa, miten vahinkoa voitaisiin vähentää ja miten uusi suoja pitäisi rakentaa, sen sijaan että käytettäisiin vihjeitä sähköisenä puristuksena.

Suurin paljastus tästä.

Claude Fable 5 on vuotanut, näennäisesti yksipisteinen antropiikki, joka on ongelma koko tekoälyteollisuudelle.

Luovutamme yhä useammin päätöksentekoa, operatiivisia ja turvallisia rajoja suuremmille malleille. Monet suurten mallijärjestelmien keskeisistä tarkastuksista perustuvat edelleen luonnonkielivinkkeihin haavoittuvana välineenä.

Luonnollisen kielen edut ovat joustavia ja haitat liian joustavia. Se ei ole yhtä jäykkä kuin koodi, yhtä selkeä kuin kulunvalvontaluettelot, yhtä kova kuin hiekkalaatikot.

Tuleva tekoälyn turvallisuus ei voi perustua vain "pitkimpään vihjeeseen."

Oikea suunta olisi:

• Sisäisen turvallisuuden koulutusmalli
• Ulkoinen strategiamoottori
• Työkalupa Hiekkalaatikko
• Pakollinen tarkastusloki
• Luottamuksellisten tietojen eriyttäminen
• Monimallinen ristiintarkistus
• Automaatio Punaisen Teamin testi

Järjestelmävihje voi olla ohjauspyörä, mutta ei jarru.

Lopussa.

Ironista on, että Anthropic on ollut tekoälyn turvalipun pelaaja. Vahvin turvamalli julkaistiin pian laukaisun jälkeen.

Se ei tarkoita, etteikö Anthropic voisi. Päinvastoin, se osoittaa, että tekoälyjen turvallisuus on itse asiassa edennyt vaikeampaan vaiheeseen.

Se oli ihmisen hyökkäys tekoäly.

Nyt tekoäly hyökkää tekoälyyn.

Kun hyökkäys on automatisoitu, strategia on automatisoitu ja muistitikku automatisoitu, se on varmasti riittämätön 120 000:n turvahälytys.

Al, turvallisten lähteiden ja syksyjen aika on ohi, ja sotavaltiot ovat vasta alussa.