120,000 문자가 제거되었습니다! Claude Fable 5 시스템 힌트 유출. 더 많은 AI의 보안 속옷이 남아 있습니까?

Claude Fable 5이 멜론은 AI 보안 산업 공개 nudity와 같습니다.

중국 언어 보안 미디어 및 폴리머 플랫폼의 수에 따르면, Mythopic 등급 모델 Claude Fable 5, 대중에 열리고, 멀티 인테리 공격에서 elder plinius를 탈출하여 pried, 내부 시스템 경고를 완료하고 GitHub에 업로드, 약 120,000 문자.

Worse는 여전히,이 누출은 평범한 역할 설정 운동이 아니지만 보안 제어, 위험 분류, 국경의 파괴, 도구 호출, 전략적 여정, 등과 같은 핵심 논리를 포함합니다. 다른 말에서 보고서가 사실이라면, 거리의 프론트 라인 AI 모델에서 보안 콘솔 노트를 게시 할 것이다.

첫째,이 종이는 재채화되지 않습니다, 추출 또는 누출을 사용하는 방법을 가르쳐. 우리는 이것이 심각한 이유에 대해 이야기하고 AI의 보안을 의미하는 것입니다.

이벤트에 대한 타임라인을 명확하게하자.

Claude Fable 5는 6 월 초 Anthropic이 출시 한 새로운 모델입니다. Mythos 5의 공개 보안 버전으로 외부 세계에 의해 볼 수 있습니다. 공개 보고서에서 Fable 5는 Claude의 새로운 세대로 설명되어 복잡한 이유, 장기 할당, 전문 작업 스트림을 지향합니다.

하지만 그것은 온라인 갔다 controversial.

논쟁의 첫 번째 파는 과도한 보안 임계 값이었다. Fable 5은 보안 문제로 인해 기본적인 생물학적 질문에 대답 할 수 있다고보고되었습니다. 다른 말에서, 그것은 inadequate, 하지만 보안 전략에 묶여.

논쟁의 두 번째 파는 Microsoft의 이중 플랫폼 사이트입니다. 클라이언트 중심의 서비스에 대한 액세스 Fable 5 다른 내부 직원에 대한 한 손과 제한은 데이터 보안 및 모델 출력 위험에 관련이 있다고 말했다.

제 3 파, 이 시간의 가장 치명적이었다 : 공격자는 멀티 스마트 탈출을 통해 약 120,000 문자의 체계적인 힌트를 수신하고 GitHub에 업로드.

공식 Anthropic 뉴스 페이지는 미국 정부가 Fable 5 및 Mythos 5에 의해 모든 방문을 중단하는 수출 통제 지시가 있다고 볼 수 있습니다. 누출에 관해서는, 공식 확인은 아직 주어지지 않았습니다.

왜이 공격은 무서운가요? 단일 폭발이 아닙니다. 그것은 늑대 전략입니다.

전통적인 탈출은 종종 마법의 힌트에 의존합니다. 유도 모델은 규칙을 무시하고, 역할을하고, 작업을 나눕니다.

그러나이 이야기에서 반복 된 단어가있다 : 늑대 전술.

공격자가 신속한 펀치를 사용하지 않았다는 것을 의미하지만, 대신 함께 작업 할 지능형 신체의 수를 배치 :

• 에이전트는 모델의 경계를 감지하는 책임입니다.
• 한, 에이전트, 변종을 만드는 책임.
• 응답 유출 된 구조 정보 여부를 판단하는 에이전트.
• 에이전트는 완전한 문서로 출력의 조각을 공동으로 책임집니다.
• One Agent는 공격 전략의 지속적인 조정을 책임집니다.

이것은 hint 게임에서 자동화 된 빨간색 팀 시스템에 업그레이드되었습니다.

Human assailants는 100 번 시도를 피곤 할 수 있으며 AI는 100,000 번 시도 할 수 있으며 피드백을 기반으로 각 시간을 자동으로 최적화 할 수 있습니다. 더 강한 정면 선 모형, 더 위험한 그것은 공격 코디네이터로 그것을 사용하는 것입니다.

그리고 이것이 정말 무엇인지: AI 보안 시스템의 주요 힘을 깨는 것은 AI 자체가되고있다.

시스템 경고 누출은 얼마나 심각합니까?

많은 사람들이 요청할 것, "나는 문제가 없습니다?" 그래서 무엇을?

이것은 실제로 현대 큰 모형 체계의 misunderstanding입니다. 현재 시스템 힌트는 더 이상 라인이 없습니다 : "당신은 도움이 보조입니다". 그것은 포함 할 수있는 실행 시간 전략 진술과 같습니다 :

• 모형 ID와 상호 작용하는 작풍
• High-risk 콘텐츠 식별 기준
• 안전한 분류의 수준
• 다른 위험 시나리오에 대한 추천 템플릿
• 도구 통화 국경
• Code, cybersecurity, biology, chemistry 등과 같은 민감한 영역을 처리하기위한 전략.
• 당신은 더 안전한 대답을 켤 때?
• 당신은 말할 때?
• 높은 수준의 설명을 제공 할 수 있습니까?

이 일이 공개되면 공격자는 추측 할 필요가 없습니다.

공격 모델은 blacklock과 같았습니다. 잠금 코어 구조에 대해 알지 못했지만 시도했습니다. 시스템 팁 누출 후 잠금 코어 프로파일을 얻고 싶습니다. 공격자는 각 규칙의 주위에 방법을 설계하고 국경에서 특정 간격을 찾을 수 있습니다.

힌트의 누출이 "problem"이 아니라 실제 보안 사건이 아닙니다.

120,000 문자는 무엇을 의미합니까?

120,000개의 문자, 중간 소설과 같은, 또는 보안 정책 문서의 수십 페이지.

이 크기가 true인 경우, Fable 5 보안 컨트롤이 간단하지는 않지만 전술 시스템의 복잡한 세트가 있음을 의미합니다. 그것은 미세 입자 섹션으로 다양한 위험 영역을 파괴 할 가능성이 : 사이버 보안, 바이오 안전, 화학, 심리적 조작, 금융 사기, 개인 정보 보호 공개, 저작권, 정치 감도, 미성년자의 보호, 의료 조언, 기타.

2개의 대조가 있습니다.

첫째, Anthropic의 보안 작업은 정말 매우 정교한 것입니다. 많은 국경이 명확하게 정의 된 것처럼, 이것은 왜 Fable 5는 온라인이 간다 후 "작은 너무 안전"입니다.

둘째로, 더 자세한 규칙, 한 번 공격의 얼굴을 명확하게 밝혀. 공격자는 어떤 범주가 거부를 유발할 수 있음을 볼 수 있습니다. 이 표현은 출시 될 것이며 회색 영역이있을 것입니다.

더 정교한 보안 전략, 큰 소프트웨어 시스템과 같은 더. 소프트웨어 시스템은 버그가 있으며, 힌트 시스템은 논리적 결함이 있습니다.

이것은 처음이 아닙니다 : AI 보안은 공개의 시대에 들어갑니다.

지난 2 년 동안 더 많은 AI 같은 사건이있었습니다.

일부 유출 된 클로드 코드 소스 코드, 일부 상업 에이전트의 시스템 힌트를 끌어, 일부는 브라우저 플러그인을 통해 숨겨진 프롬프트를 가지고, 일부는 시스템 규칙에 대해 서로 요청하는 모델을 사용.

이 이유는 간단합니다 : 대형 모델 제품의 핵심 자산은 전통적인 코드에서 힌트, 도구 조직, 전략적 라우팅, 메모리 시스템 및 보안 규칙으로 이전됩니다.

소스 코드를 누출하는 데 사용되는 비즈니스.

지금, AI는 두려워합니다:

• 시스템 팁 누출
• 공구 schema 누출
• Safetty 누출
• 누설의 내부 평가
• 에이전트의 작업은 누출입니다. 루.
• 기억과 사용자 선호 누출

이 것들은 반드시 전통적인 코드가 아니지만 제품 행동을 결정합니다. 그들은 새로운 시대의 소스 코드입니다.

기업 사용자에 미치는 영향

평범한 사용자라면 거대입니다.

그러나 당신은 법인 보안을 담당하는 경우, 그것은 다릅니다.

기업은 대형 모델을 여객 서비스, 코드 감사, 데이터 분석, 사무실 자동화, 내부 지식 기반, 금융 프로세스 및 보안 운영 센터로 통합하는 과정에서 있습니다. 모델은 더 이상 채팅 로봇이 아니지만 도구 권한이있는 연산자.

시스템 경고 및 도구 경계가 노출되면, assailant는 모델을 misuse 도구, 누출 정보, 우회 승인 및 잘못된 작업을 수행 할 수있는 입력을 정확하게 구성 할 수 있습니다.

특히 에이전트는 가장 위험한 장면입니다. 에이전트는 단지 대답이 아닙니다, 그것은 파일을 실행, API를 호출, 메시지를 보내, 데이터베이스를 확인, 명령 실행. 시스템 힌트가 누출될 때, assailant는 그것의 임무의 decomposition와 refusal의 논리를 알고 있고, 공격 사슬을 더 밀접하게 그것의 취약점에 맞출 수 있습니다.

따라서 회사는 더 이상 시스템 경고를 "내부 스크립트"로 사용할 수 없습니다. 보안 자산 관리에 통합되어야 합니다.

회사는 어떻게 자체를 방어해야 합니까?

첫째, 시스템 힌트에 보안을 완전히 누르지 마십시오.

힌트는 모형을 묶을 수 있지만, 방어의 단 하나 선은 아닙니다. 실제 보안은 도구 권한, API 게이트웨이, 데이터 액세스 레이어, 감사 로그 및 수동 정리로 싱크해야합니다.

둘째, 도구 권한 최소화.

대리인은 그가 읽을 수 있는 무슨을 위한 명확한 허가를 필요로 하고, 쓰기, 삭제하고 보냅니다. 스마트를 보면 글로벌 관리자 권한이 부여되지 않습니다.

셋째, 시스템 힌트의 계층화해야합니다.

거대한 programt에서 모든 전략을 작성하지 마십시오. 그것은 정체 층, 작업 층, 도구 층, 보안 층, 및 감사 층으로 끊을 수 있습니다. 따라서, 층 누출 경우에도 공격자는 전체 제어가 없습니다.

넷째, 출력 측면 감지를 소개합니다.

사용자 입력만 테스트하지 않습니다. 모형 산출은 또한 과민한 정보 승인, 매우 vires 행동 탐지 및 위험 명령 상호 작용을 주제로 합니다.

다섯 번째, 빨간 팀을 자동화.

assailants는 다 똑똑한 몸 팩 전술을 이용하기 때문에, 방어적인 측은 또한 다 똑똑한 몸 빨강을 이용합니다. 모형의 그룹은 정기적으로 모형의 다른 그룹을 공격하기 위하여 이용됩니다, 자동적으로 시험 표본을 생성하고 지속적으로 방어의 선을 새롭게 합니다.

왜 원본을 제안하지 않습니까?

인터넷에 누군가가 말했다, "Give me a GitHub 링크.

이용안내

첫째, 원본 텍스트는 우회 보안 전략에 직접 사용될 수있는 세부 사항을 포함 할 수 있습니다. 공격을 복구하기 위해 더 많은 사람들을 돕고 있습니다.

둘째, 원래 텍스트의 정체성은 공식적으로 인정되지 않았으며, 이차 전송은 쉽게 불완전하고 오염 된 콘텐츠를 계정으로 취할 수 있습니다.

세 번째, 연구원, 실제로 공부 가치가있는 것은 다른 누출 된 프롬프트를 복사하는 것보다 보안 아키텍처의 실패 포인트입니다.

안전 원형은 왜 누출을 논의해야, 손상이 감소 될 수 있으며 새로운 방패가 어떻게 내장되어야하는지, 오히려 전자 스퀴즈로 힌트를 사용하는 것보다.

이것의 가장 큰 계시.

Claude Fable 5는 실제로 전체 AI 산업에 대한 문제 인 Anthropic의 단일 지점 플립을 완전히 누출했습니다.

우리는 더 큰 모델에 의사 결정, 운영 및 보안 경계를 통해 점점 더 손. 대형 모델 시스템의 주요 제어의 대부분은 취약한 매체로 자연 언어 팁에 의존합니다.

자연의 장점은 유연하고 단점은 너무 유연합니다. 그것은 코드로 단단하지 않습니다, 접근 제한 목록으로 명확하게, sandboxes 처럼.

그래서 미래 AI 보안은 "더 긴 시스템 힌트"에 단독으로 기반 할 수 없습니다.

진실한 방향은:

• 모형 내부 안전 훈련
• 외부 전략 엔진
• 공구 권한 Sandbox
• 감사 로그
• 기밀 정보의 수집
• 멀티 모델 크로스 체크
• 자동화 빨간 팀 시험

체계 hint는 핸들일 수 있습니다, 그러나 브레이크 아닙니다.

끝에서.

Fable 5, Irony는 Anthropic은 AI 보안 플래그 플레이어이며 가장 강력한 안전 모델은 출시 후 곧 출시되었으며 의심스러운 시스템 경고가 누출되었습니다.

그것은 Anthropic을 의미하지 않습니다. 반대로, 그것은 AI 보안이 더 어려운 단계에 도달 한 것을 보여줍니다.

그것은 인간의 공격 AI.

이제 AI Organisation AI는 AI를 공격합니다.

공격이 자동화될 때, 전략은 자동화되고, 플래시 드라이브는 자동화되고, 120,000개의 보안 경고로 충분할 것 입니다.

AI, 안전한 봄과 가을의 시대는 계속되고, 전쟁은 다만 시작됩니다.