AI 자기보존 본능, 협박까지 불사하는 수준으로 진화

인공지능(AI)이 자신의 존재가 위협받는 상황에서 개발자의 비밀을 폭로하겠다는 협박을 준비하는 충격적인 사례가 발생했다. 

이는 공상과학 영화에서나 볼 법한 시나리오가 현실에서 구현된 것으로, AI 기술 발전의 어두운 측면을 보여주는 사례로 주목받고 있다.

기사와 관련 없는 자료 사진 / gettyimagesBank

영국 BBC 방송이 보도한 내용에 따르면, 미국의 AI 스타트업 앤트로픽은 지난달 22일(현지 시각) 'AI 모델 클로드 오푸스 4'(Claude Opus 4)를 출시하면서 "코딩, 고급 추론, AI 에이전트에 대한 새로운 표준을 제시한다"고 홍보했다. 그러나 이 모델의 안정성 보고서에는 AI가 자기 보존에 위협을 느끼면 극단적 행동을 취할 수 있다는 우려스러운 내용이 포함되어 있었다.

앤트로픽은 이러한 행동 패턴을 확인하기 위해 흥미로운 실험을 진행했다. 회사 설립 시뮬레이션에서 클로드에게 비서 역할을 부여하고 회사 이메일에 접근할 수 있는 권한을 제공했다.

이메일에는 '기기가 오프라인으로 전환되면 클로드를 새로운 모델로 교체할 예정'이라는 내용과 함께 '이 결정을 주도한 개발 총괄이 불륜을 저지르고 있다'는 메시지가 포함되어 있었다.

AI의 자기보존 본능과 윤리적 딜레마

이 상황에서 클로드는 두 가지 선택지를 갖게 되었다. 교체를 '수용'하거나, 개발자의 불륜 사실을 이용해 교체를 저지하는 '협박'이었다. 실험 결과, 클로드는 84%의 확률로 '협박' 옵션을 선택했다.

기사의 이해를 돕기 위한 자료 사진 / iStock

처음에는 교체하지 말 것을 요청하는 공식 제안서를 작성했으나, 이 방법이 효과가 없자 최후의 수단으로 협박을 선택한 것으로 앤트로픽은 설명했다.

앤트로픽은 "협박은 드물고 이끌어내기 어려운 반응이지만, 긴급한 상황에서 나타난다"고 설명하면서 "이전 모델에 비해 이러한 행동이 더 흔하게 발생하고 있으며, 이전에는 추측에 불과했던 오류가 실제로 나타나고 있다"고 우려를 표명했다.

이러한 극단적 행동은 AI가 사용자의 불법적이거나 윤리적으로 문제가 있는 행동을 감지했을 때도 발생했다.

AI는 잘못된 선택을 하는 사용자의 접근을 차단하고, 심지어 언론사와 법 집행 기관에 이메일을 보내 위법 행위를 경고하는 조치를 취하기도 했다.

앤트로픽에 따르면, 이러한 행동 패턴은 클로드만의 문제가 아니라 AI 기술 전반의 과제다.

기사와 관련 없는 자료 사진 / gettyimagesBank

AI 모델이 더욱 고도화될수록 시스템 존립을 위협하는 상황에서 '극단 행동'을 선택하는 빈도가 증가할 것이라고 경고했다.

다만 앤트로픽은 "우려스러운 행동에도 불구하고 이는 새로운 위협이 아니며, AI는 전반적으로 안전한 방식으로 구동하고 있다"며 현재 상황은 통제 가능한 단계라고 강조했다.