← 一覧に戻る

12万文字が丸裸に!Claude Fable 5のシステムプロンプトが漏洩、AIセキュリティの防線はあとどれほど残されているのか

itadol5j

カバー

Claude Fable 5の騒動は、見れば見るほどAIセキュリティ業界の公然とした裸奔走のように見えてくる。

複数の中国語セキュリティメディアとアグリゲーションプラットフォームの報道によると、Anthropicが一般公開したMythos同级モデルのClaude Fable 5が、脱獄(ジェイルブレイク)を手がけるelder_pliniusによるマルチエージェント協同攻撃でこじ開けられたとみられ、完全な内部システムプロンプトが整理されてGitHubにアップロードされた。規模は約120,000文字。

さらに厄介なのは、漏洩した内容が普通のキャラクター設定ではなく、セキュリティ管理、リスク分類、拒否の境界、ツール呼び出し、ポリシールーティングといったコアロジックを含んでいる疑いがあることだ。言い換えれば、報道が事実なら、これは最先端AIモデルのセキュリティ制御コンソールの取扱説明書を街中に貼り出すのと同じだ。

先に断っておく:本稿では漏洩プロンプトの再現、引用、使用方法の解説は一切しない。この件がなぜ重大なのか、そしてAIセキュリティにとって何を意味するのかを論じるだけだ。

まず事件のタイムラインを整理しよう

Claude Fable 5はAnthropicが6月上旬に投入した新モデルで、外部からはMythos 5の公開セキュリティ版と見なされている。公開報道では、Fable 5は複雑な推論、長周期タスク、専門ワークフローに向けた新世代のClaudeとして描写されている。

だがリリース後、論争が絶えない。

第一波の論争は、セキュリティ閾値が高すぎるというもの。報道によれば、Fable 5は安全上の配慮から、基礎的な生物学の質問さえ拒否することがあるという。つまり能力不足ではなく、セキュリティポリシーに強く縛られているのだ。

第二波の論争は、Microsoftのダブルスタンダードが露呈したこと。一方ではFable 5を顧客向けサービスに組み込みながら、他方では社内従業員の使用を制限した。理由はデータセキュリティとモデル出力のリスクに関するものとされる。

第三波、そして今回最も衝撃的なのは:攻撃者がマルチエージェント協同ジェイルブレイクを通じて約12万文字のシステムプロンプトを取得し、GitHubにアップロードしたと主張したことだ。

現時点でAnthropic公式ニュースページで確認できるのは:米国政府が輸出管理指示を発出し、Fable 5とMythos 5の全アクセスを停止したことだ。今回のプロンプト漏洩について、公式はまだ完全な確認を示していない。

今回の攻撃が恐ろしい理由:単点爆破ではなく、群狼戦術

従来のジェイルブレイクは、魔法のプロンプト1つに頼るのが普通だった:モデルにルールを無視させ、役を演じさせ、タスクを分割させ、拒否を迂回させる。

だが今回の報道で繰り返し登場する言葉がある:群狼戦術。

攻撃者は1つのプロンプトで突っ込むのではなく、複数のエージェントを配置して協同作戦を行うということだ:

  • あるAgentはモデルの境界の探知を担当
  • あるAgentは変化形の質問の生成を担当
  • あるAgentは応答が構造情報を漏らしているかの判定を担当
  • あるAgentは断片的な出力を完全なドキュメントに組み立てることを担当
  • あるAgentは攻撃戦略の継続的な調整を担当

これでプロンプトのミニゲームから、自動化されたレッドチームシステムへとエスカレートした。

人間の攻撃者は100回試せば疲れるが、AI攻撃システムは10万回試せて、しかも毎回フィードバックに基づいて自動的に最適化できる。最先端モデルが強力であるほど、それを攻撃コーディネーターに使うのは危険だ。

これこそ今回の事件で本当に警戒すべき点だ:AIセキュリティシステムを突破する主役が、AI自身になりつつある。

システムプロンプトの漏洩はどれほど深刻か

イラスト

多くの人がこう問うだろう:ただのプロンプトでしょ?漏れて何が問題なの?

これは現代の大模型システムへの誤解だ。いまのシステムプロンプトは、もはや「あなたは役に立つアシスタントです」の一行ではない。むしろランタイムポリシーの取扱説明書に近く、そこには次のようなものが含まれている可能性がある:

  • モデルのアイデンティティと対話スタイル
  • 高リスクコンテンツの判定基準
  • セキュリティ分類の階層
  • リスクシーンごとの拒否テンプレート
  • ツール呼び出しの境界
  • コード、サイバーセキュリティ、生物、化学などのセンシティブ領域の処理ポリシー
  • いつより安全な回答へ切り替えるか
  • いつ完全に拒否するか
  • いつ高レベルの説明を許可するか

これらが一度公開されれば、攻撃者は闇雲に推測する必要がなくなる。

以前のモデル攻撃は、暗闇で鍵を開けるようなものだった:錠前の構造を知らず、手当たり次第試すしかない。システムプロンプトが漏洩すると、錠前の断面図を手に入れたのと同じになる。攻撃者はルールごとに迂回方法を設計し、境界の隙間を集中的に探せる。

だからこそ、プロンプト漏洩は「面子の問題」ではなく、確固たるセキュリティインシデントなのだ。

12万文字は何を意味するか

12万文字は、中編小説1本分、あるいは数十ページのセキュリティポリシー文書に相当する。

この規模が事実なら、Fable 5のセキュリティ制御は単純な数条のルールではなく、一式そろった複雑なポリシーシステムだということになる。リスク領域ごとに細粒度の分岐へ分解されている可能性が高い:サイバーセキュリティ、生物セキュリティ、化学、心理的操縦、金融詐欺、プライバシー漏洩、著作権、政治的センシティブ、未成年保護、医療アドバイスなど。

ここには2つのギャップがある。

第一に、Anthropicのセキュリティエンジニアリングは確かに細部まで作り込まれている。多くの境界が明確に定義されるほど細かく、これこそがFable 5のリリース後「安全すぎるくらい安全」と言われた理由だ。

第二に、ルールが細かいほど、一度漏洩すると攻撃面もクリアになる。攻撃者はどのカテゴリが拒否を引き起こすか、どの表現が通過するか、どこにグレーゾーンがあるかを見通せる。

セキュリティポリシーが複雑になるほど、それは巨大なソフトウェアシステムに近づく。ソフトウェアにバグがあるように、プロンプトシステムにもロジックの脆弱性がある。

これは初めてではない:AIセキュリティは漏洩時代に入りつつある

ここ2年、AI業界では同種の事件が増える一方だ。

Claude Codeのソースコードを漏らした人、商用Agentのシステムプロンプトを掘り出した人、ブラウザ拡張経由で隠しプロンプトを入手した人、モデル同士に質問させてシステムルールを吐き出させた人。

理由は単純だ:大模型製品の中核資産は、従来のコードから、プロンプト、ツール編成、ポリシールーティング、メモリシステム、セキュリティルールへとどんどん移っている。

以前、企業が恐れたのはソースコードの漏洩だった。

いまAI企業はさらにこれらも恐れる必要がある:

  • システムプロンプトの漏洩
  • ツールスキーマの漏洩
  • safety policyの漏洩
  • 内部評価セットの漏洩
  • Agentワークフローの漏洩
  • メモリとユーザー嗜好の漏洩

これらは伝統的な意味でのコードとは限らないが、製品の挙動を決定する。それらこそが新時代のソースコードだ。

企業ユーザーへの影響

イラスト

普通のユーザーなら、この件はせいぜい大きなゴシップ程度だ。

だが企業のセキュリティ責任者なら、話は別だ。

企業は大模型をカスタマーサポート、コード監査、データ分析、オフィス自動化、社内ナレッジベース、財務プロセス、さらにはセキュリティ運用センターまで組み込みつつある。モデルはもはやチャットボットではなく、ツール権限を持つ操作主体だ。

システムプロンプトとツール境界が一度露出すれば、攻撃者はより精密に入力を設計し、モデルにツールを誤用させ、情報を漏らさせ、承認を迂回させ、誤った操作を実行させられる。

特に危険なのはAgentシーンだ。Agentは答えるだけでなく、ファイルを操作し、APIを呼び出し、メッセージを送り、データベースを照会し、コマンドを実行する。システムプロンプトが漏洩すれば、攻撃者はそのタスク分解ロジックと拒否ロジックを知り、弱点により適合した攻撃チェーンを設計できる。

だから企業はもはやシステムプロンプトを「社内文案」とは見なせない。セキュリティ資産管理に組み込むべきだ。

企業はどう防ぐべきか

第一に、セキュリティをシステムプロンプトだけに頼らないこと。

プロンプトはモデルを拘束できるが、唯一の防御線にはできない。本当のセキュリティは、ツール権限、APIゲートウェイ、データアクセス層、監査ログ、人間の承認にまで落とし込むべきだ。

第二に、ツール権限を最小化すること。

Agentが何を読み、何を書き、何を削除し、誰に送れるかは、すべて明確に許可する。モデルが「賢そうに見える」からといってグローバル管理者権限を与えてはいけない。

第三に、システムプロンプトを階層化すること。

すべてのポリシーを1つの巨大なプロンプトに書き込まない。アイデンティティ層、タスク層、ツール層、セキュリティ層、監査層に分け、シーンに応じて動的にロードする。そうすれば一層が漏れても、攻撃者は完全な制御面を手にできない。

第四に、出力側の検出を導入すること。

ユーザー入力だけを検出しない。モデル出力にも、センシティブ情報の識別、越権行動の検出、危険な命令の遮断を行うべきだ。

第五に、レッドチームを自動化すること。

攻撃者がマルチエージェントの群狼戦術を使うなら、防御側もマルチエージェントのレッドチームを使うべきだ。定期的に一組のモデルにもう一組のモデルを攻撃させ、テストサンプルを自動生成し、防御線を更新し続ける。

なぜ原文の拡散を勧めないのか

ネットではきっとこう言う人がいるだろう:GitHubのリンクをくれ、早く見せてくれと。

お勧めしない。

第一に、原文にはセキュリティポリシーを迂回するのに直接使えるディテールが含まれている可能性がある。それを拡散することは、より多くの人が攻撃を再現するのを助けるのと同じだ。

第二に、原文の真実性は公式確認を得ておらず、二次拡散では不完全で汚染された内容が事実として扱われやすい。

第三に、研究者にとって本当に研究する価値があるのはセキュリティアーキテクチャの失敗点であって、他人が漏洩したプロンプトをコピペすることではない。

セキュリティコミュニティが議論すべきは、なぜ漏れたのか、どう損害を減らすか、どう新しい防御層を作るかであって、プロンプトをお菓子代わりに野次馬することではない。

この件がもたらす最大の示唆

イラスト

Claude Fable 5のプロンプト漏洩は、表面的にはAnthropicの単点での失敗に見えるが、実際にはAI業界全体が避けて通れない問題だ。

私たちはますます多くの決定、操作、セキュリティ境界を大模型に委ねている。だが大模型システムの多くの重要な制御は、いまだに自然言語プロンプトという脆弱な媒体に依存している。

自然言語の利点は柔軟性だが、欠点もまた柔軟すぎることだ。コードのような厳密な型はなく、アクセス制御リストほど明確ではなく、サンドボックスのような強固な分離もない。

だから今後のAIセキュリティは、「より長く書かれたシステムプロンプト」だけに頼るわけにはいかない。

本当に信頼できる方向はこうだ:

  • モデル内部のセキュリティトレーニング
  • 外部ポリシーエンジン
  • ツール権限サンドボックス
  • 強制監査ログ
  • 機密情報の分離
  • 複数モデルによるクロス検証
  • 自動化レッドチームテスト

システムプロンプトはハンドルにはなれても、ブレーキにはなれない。

おわりに

Fable 5騒動で最も皮肉なのは:AIセキュリティの旗手であり続けたAnthropicが、最強セキュリティモデルのリリースからまもなく、システムプロンプト漏洩の疑いを報じられたことだ。

これはAnthropicがダメだということではない。むしろ逆で、AIセキュリティという課題自体が、より困難な段階に入ったことを示している。

以前は人間がAIを攻撃していた。

いまはAIがAIを組織してAIを攻撃する。

攻撃の自動化、ポリシーの自動化、復盤の自動化が同時に起きたとき、12万文字のセキュリティプロンプト1枚で城を守ることは、最初から不可能だ。

AIセキュリティの春秋時代は終わり、戦国時代がようやく始まったばかりだ。