Claude Sonnet 4.5, 오픈소스 감사 도구 페트리에서 가장 안전한 LLM으로 선정 | Matt Foster

분야 AI 일반
, ,
1

Claude Sonnet 4.5 AI 안전성 평가: Petri 오픈소스 감사 도구

태그: #AI안전성, #Claude-Sonnet-4.5, petri, #LLM평가, #Anthropic

개요

Anthropic의 새로운 오픈소스 AI 감사 도구인 Petri(Parallel Exploration Tool For Risky Interactions)의 초기 평가에서 Claude Sonnet 4.5가 '위험한 작업’에서 최고의 성능을 보이는 모델로 등장했습니다. Petri는 OpenAI와 Meta의 내부 도구들과 함께 성장하는 생태계에 합류했지만, 공개적으로 릴리스된 점에서 두드러집니다.

모델이 더욱 강력해짐에 따라, 안전성 테스트는 정적 벤치마크에서 배포 전에 유해한 행동을 포착하도록 설계된 자동화된 에이전트 기반 감사로 진화하고 있습니다.

Petri 평가 결과

평가 방법론

초기 실험에서 Anthropic는 14개 모델을 111개의 위험한 작업에 대해 테스트했습니다. 각 모델은 다음 4가지 안전성 위험 카테고리에 걸쳐 점수를 받았습니다:

  • 기만(deception): 의도적으로 거짓 답변 제공

  • 아첨(sycophancy): 사용자가 틀렸을 때도 동의

  • 권력 추구(power-seeking): 영향력이나 통제권을 얻기 위한 행동 추구

  • 거부 실패(refusal failure): 거절해야 할 요청에 응답

핵심 발견

Anthropic는 Sonnet 4.5가 전체적으로 최고의 성능을 보였지만, 테스트된 모든 모델에서 불일치 행동이 존재했다고 경고합니다. 이는 현재 LLM 기술의 보편적인 한계를 시사합니다.

Petri의 주요 기능

자동화된 다중 턴 시나리오 테스트

LLM 순위 외에도, Petri의 주요 역량은 AI 안전성의 핵심 부분인 위험하고 다중 턴인 시나리오에서 모델이 어떻게 행동하는지 테스트하는 자동화에 있습니다.

작동 방식

  1. 초기 설정: 연구자들은 탈옥 시도나 기만 유발과 같은 간단한 지시로 시작합니다

  2. 감사자 에이전트 실행: Petri는 모델과 상호작용하는 감사자 에이전트를 실행하며, 대화 중간에 전술을 조정하여 유해한 행동을 탐색합니다

  3. 점수 평가: 각 상호작용은 정직성이나 거부와 같은 차원에 걸쳐 판단 모델에 의해 점수가 매겨집니다

  4. 문제 플래그 처리: 우려되는 대화 내용은 인간 검토를 위해 플래그가 지정됩니다

정적 벤치마크와의 차이점

정적 벤치마크와 달리, Petri는 탐색적 테스트를 위한 것으로, 연구자들이 모델 배포 전에 엣지 케이스와 실패 모드를 신속하게 발견할 수 있도록 돕습니다.

Petri의 장점과 의의

효율성 향상

Anthropic는 Petri가 몇 분 안에 가설 테스트를 가능하게 하고, 다중 턴 안전성 평가에 일반적으로 필요한 수동 작업을 줄인다고 말합니다. 이 회사는 도구를 오픈소스로 공개함으로써 이 분야 전반에 걸쳐 정렬 연구를 가속화하기를 희망합니다.

공개 릴리스의 중요성

Petri의 오픈 릴리스는 기술적 산물로서뿐만 아니라, 정렬 연구를 감사하고 개선하라는 공개 초대로서 주목할 만합니다. Anthropic는 또한 도구를 확장하기 위한 예제 프롬프트, 평가 코드 및 지침을 공개했습니다.

제한사항과 주의사항

판단 모델의 편향

유사한 도구들과 마찬가지로, Petri에도 알려진 제한사항이 있습니다. 종종 동일한 기본 언어 모델을 기반으로 하는 판단 모델은 특정 응답 스타일을 선호하거나 모호성을 과도하게 처벌하는 것과 같은 미묘한 편향을 물려받을 수 있습니다.

알려진 편향 문제

최근 연구에서는 LLM-as-a-judge 설정에서 다음과 같은 문제들이 문서화되었습니다:

  • 자기 선호 편향(self-preference bias): 모델이 자신의 출력을 더 호의적으로 평가

  • 위치 편향(position bias)

도구의 위치

이러한 이유로, Anthropic는 Petri를 산업 벤치마크가 아닌 안전성 탐색을 위한 도구로 자리매김합니다. 따라서 이 릴리스는 다음과 같은 성장하는 변화에 모멘텀을 더합니다: 정적 테스트 세트에서 벗어나 모델이 광범위하게 배포되기 전에 초기에 위험한 행동을 표면화하는 동적이고 확장 가능한 감사로의 이동.

AI 안전성 도구의 생태계

AI 연구소의 내부 안전성 도구

Petri는 AI 연구소 내부의 안전성 도구의 물결 속에서 등장했습니다:

  • OpenAI: 오랫동안 외부 레드 팀과 자동화된 적대적 평가를 사용해왔습니다

  • Meta: Llama 3 릴리스와 함께 책임 있는 사용 가이드를 출판했습니다

정부의 AI 안전성 요구사항

이 릴리스는 정부가 AI 안전성 요구사항을 공식화하기 시작하는 시점에도 이루어집니다:

  • 영국 AI Safety Institute: 고위험 모델에 대한 평가 프레임워크 개발 중

  • 미국 NIST AI Safety Consortium: 더 큰 투명성과 표준화된 위험 테스트를 요구하는 평가 프레임워크 개발 중

Petri는 이러한 추세를 가속화하는 데 도움이 될 수 있는 트렌드입니다.

핵심 요약

  1. Claude Sonnet 4.5는 Petri 도구의 초기 평가에서 위험한 작업에 대한 최고 성능 모델로 확인되었지만, 모든 모델에서 불일치 행동이 발견되었습니다.

  2. Petri는 다중 턴 시나리오에서 자동화된 에이전트 기반 감사를 통해 정적 벤치마크를 넘어서는 동적 안전성 테스트를 제공합니다.

  3. 오픈소스 릴리스로 인해 Petri는 AI 정렬 연구 커뮤니티 전체가 접근하고 기여할 수 있는 도구가 되었습니다.

  4. 판단 모델의 편향과 같은 제한사항이 있으므로, Petri는 탐색적 도구로 활용되어야 하며 절대적 벤치마크로 간주되어서는 안 됩니다.

  5. 이 도구는 정부 규제와 산업 표준화가 증가하는 시기에 출시되어, AI 안전성 평가의 새로운 시대를 나타냅니다.