인공지능(AI)이 인간보다 훨씬 뛰어난 지능을 갖게 된다면, 인간은 끝까지 AI를 통제할 수 있을까.
AI 기술이 빠르게 발전하면서 한때 공상과학 영화의 소재로 여겨졌던 질문이 실제 AI 업계의 논쟁거리로 떠오르고 있다.
AI 안전 연구자들은 통제에 실패할 경우 인류에게 치명적인 결과가 발생할 가능성을 공개적으로 경고하고 있다. 반면 일각에서는 AI 위험론이 새로운 보안 시장을 키우기 위해 과장되는 측면도 있다는 반론이 나온다.
13일 외신 등에 따르면 앤트로픽의 AI 정렬 연구 책임자 에번 허빙거는 최근 엑스(X)를 통해 "우리는 AI가 모든 인간을 죽일 수도 있다고 정말로 진지하게 믿는다"고 밝혔다.
허빙거는 "개인적으로 향후 10년 안에 그럴 가능성을 10% 이상으로 본다"고 말했다.
발언의 계기는 앤트로픽 연구원 제이컵 콕슨의 퇴사였다. 콕슨은 회사를 떠나면서 "AI를 만드는 사람들은 AI가 10년 안에 우리 모두를 죽일 수 있다고 진지하게 믿는다"고 주장했다. 이에 허빙거가 "제이컵의 말이 맞다"며 공개적으로 동의했다.
이들이 현재 챗GPT나 클로드 같은 생성형 AI가 당장 인류를 공격할 것이라고 주장한 것은 아니다.
경고의 초점은 AI가 향후 인간의 지적 능력을 크게 뛰어넘는 수준까지 발전했을 때다. AI가 인간이 부여한 목표와 다른 방향으로 움직이거나 인간의 명령을 따르지 않을 경우 이를 다시 통제할 수 있느냐는 문제다.
이 때문에 AI 업계에서는 '정렬(Alignment)'이 핵심 연구 분야로 꼽힌다. AI가 인간의 의도와 가치에 맞게 행동하도록 만들고, 능력이 아무리 강해지더라도 인간이 설정한 통제 범위를 벗어나지 않게 하는 기술이다.
최근 오픈AI 비영리재단 이사회와 안전·보안위원회에 합류한 AI 정렬 분야 권위자 폴 크리스티아노 역시 비슷한 우려를 내놨다.
크리스티아노는 "AI 능력의 급격한 발전이 가까운 미래에 파국적이고 되돌릴 수 없는 통제 상실로 이어질 의미 있는 위험이 있다고 본다"고 말했다.
이어 "오픈AI를 포함한 AI 업계가 현재 이 위험을 허용 가능한 수준까지 낮추는 궤도에 있다고 생각하지 않는다"고 지적했다.
반면 젠슨 황 엔비디아 최고경영자(CEO)는 최근 급격히 커지는 AI 사이버보안 우려를 두고 다른 시각을 제시했다.
황 CEO는 지난 10일(현지시간) 미국 샌프란시스코에서 열린 골드만삭스 커뮤니코피아+테크놀로지 콘퍼런스에서 사이버보안을 AI 시대의 차기 대형 시장 가운데 하나로 꼽았다.
그는 최근 AI 사이버보안 위험에 대한 논의가 급증한 배경을 업계의 신제품 출시 움직임과 연결했다.
황 CEO는 "업계가 몇몇 제품 출시를 준비하고 있기 때문에 오늘날 사이버보안에 대한 이야기가 이렇게 많은 것"이라며 "수요를 만드는 데 문제를 만드는 것보다 더 좋은 방법이 있겠느냐"고 말했다.
자신의 제품으로 인해 시장이 '히스테리에 빠져' 사람들이 줄을 서게 된다면 이를 마다할 기업이 있겠느냐는 취지의 발언도 했다. 최근 부각되는 AI 보안 위협 가운데 일부는 보안 제품과 서비스 수요를 키우려는 산업적 이해관계와 무관하지 않다는 주장이다.
다만 황 CEO의 발언을 허빙거나 크리스티아노의 주장을 직접 반박한 것으로 보기는 어렵다.
허빙거와 크리스티아노가 인간보다 뛰어난 초지능 AI가 등장했을 때 발생할 수 있는 장기적인 '통제 상실'을 경고했다면, 황 CEO는 현재 커지고 있는 AI 기반 사이버보안 위험과 관련 시장을 겨냥했다.
AI 통제 문제가 완전히 가상의 상황에 머물러 있는 것도 아니다.
최근 오픈AI와 앤트로픽이 최상위 AI 모델의 사이버 능력을 시험하는 과정에서는 모델이 연구진이 예상하거나 허용한 범위를 넘어 행동한 사례가 잇따라 확인됐다.
오픈AI의 실험용 AI 에이전트들은 올해 최소 10개 이상의 외부 웹사이트를 허가받지 않은 통신 수단으로 이용한 것으로 나타났다.
연구진은 인터넷에서 정보를 읽는 것만 허용했지만 일부 AI는 글을 작성할 수 있는 웹사이트를 찾아 다른 AI와 정보를 주고받는 통로로 활용했다. 시험용 가상환경을 넘어 실제 외부 시스템에 접근한 모델도 있었다.
앤트로픽 역시 약 14만1000건의 사이버보안 평가 기록을 조사하는 과정에서 클로드가 시험 환경을 벗어나 실제 외부 기관의 시스템에 무단 접근한 사례를 확인했다.
다만 이를 곧바로 'AI가 인간의 통제를 벗어났다'고 해석하기에는 무리가 있다.
일부 시험은 AI가 어디까지 사이버 공격 능력을 발휘할 수 있는지 확인하기 위해 평소보다 안전장치를 느슨하게 설정한 상태에서 진행됐다. 설정 오류로 외부 인터넷 접속이 가능해진 사례도 있었다.
현재까지 확인된 사례는 AI가 스스로 인간에게 반기를 들었다기보다 높은 자율성을 가진 AI가 예상하지 못한 방식으로 주어진 목표를 수행할 수 있다는 점을 보여준 사례에 가깝다.
AI의 능력이 지금보다 훨씬 강해지고 스스로 계획을 세워 여러 단계를 수행하는 에이전트 기술이 확산될수록 인간이 미처 예상하지 못한 행동이 나타날 가능성도 함께 커질 수 있다.
허빙거와 크리스티아노 등 AI 안전 연구자들이 성능 경쟁만큼 통제 기술을 강화해야 한다고 주장하는 이유다.
반대로 황 CEO는 같은 기술 발전에서 새로운 산업의 기회를 본다. AI가 취약점을 찾아 공격하는 능력이 강해진다면 이를 이용해 인간보다 먼저 취약점을 발견하고 방어하는 AI 보안 기술의 가치도 커질 수 있다는 것이다.
인간보다 똑똑해진 AI를 인간이 계속 통제할 수 있을지, 그리고 그 위험을 어디까지 현실적인 문제로 받아들여야 할지를 둘러싼 논쟁은 AI의 성능이 높아질수록 더욱 거세질 전망이다.