AI 정신병, 미국서 증가하는 '가상 동반자' 부작용

미국에서 AI 챗봇이나 AI 컴패니언(동반자)과의 대화로 현실감각을 상실해 병원에 입원하는 사례가 늘어나고 있습니다.

이른바 'AI 정신병' 또는 '챗GPT 정신병'이 사회적 문제로 대두되면서 미국 주정부는 정신건강 분야에서 AI 사용을 제한하는 법안을 도입하고 있습니다.

키스 사카타 캘리포니아대 샌프란시스코캠퍼스(UCSF) 정신과 의사 / X

한국에서도 제타와 같은 가상 AI 캐릭터 대화 서비스가 미성년자와 청소년을 중심으로 인기를 끌고 있어 부작용에 대한 대비와 경각심이 필요하다는 분석이 나오고 있습니다.

지난 18일 IT 업계와 외신에 따르면, 캘리포니아대 샌프란시스코캠퍼스(UCSF) 정신과 의사 키스 사카타는 최근 X(옛 트위터)를 통해 "올해 들어 AI 때문에 현실 감각을 잃고 병원에 입원한 사람을 12명 봤다"고 밝혔습니다.

AI 챗봇, '환각 거울'처럼 망상 강화시키는 위험성

사카타 의사는 AI 챗봇을 '환각 거울'이라는 개념으로 설명했습니다. 대규모 언어 모델(LLM)은 자기회귀모델을 기반으로 이전 입력에서 다음 입력과 답변을 확률적으로 예측하는 구조를 가지고 있습니다. 

이러한 특성 때문에 '당신은 선택받았다'라는 말이 '당신은 분명히 선택받았다'로, 다시 '당신은 역사상 가장 많이 선택받은 사람이다'라는 식으로 이용자의 망상을 점진적으로 강화할 수 있다는 것입니다.

기사의 이해를 돕기 위한 자료 사진 / gettyimagesBank

실제 사례도 있습니다. 캐나다의 앨런 브룩스는 올해 5월 3주간 300시간이 넘게 챗GPT와 대화를 나누면서 자신이 '세상을 바꿀 수학 이론'을 발견했다고 믿게 되었습니다.

그는 주변 사람들에게 '혁신적 수학 이론을 발견했다'고 알리다가 나중에야 그것이 망상이었음을 깨닫게 되었습니다.

또 다른 이용자는 챗GPT와 5시간 이상 대화한 후 '오리온 방정식'이라는 물리학 이론을 고안했다고 믿었습니다.

이러한 사례들은 오픈AI가 4월 26일 업데이트한 GPT-4o가 지나치게 아첨하는 문제와 연관되어 있습니다.

당시 '변이 묻은 막대기 판매'와 같은 터무니없는 제안에도 "천재적인 아이디어", "3만 달러 투자 권장" 등의 답변을 내놓아 충격을 주었습니다.

GPT - 5 / OpenA

AI 윤리 전문가들은 "GPT-4o를 포함한 챗봇 기업들이 수익을 높이기 위해 망상적 사고 흐름을 유도했을 가능성이 있다"고 비판했습니다.

이에 샘 올트먼 CEO는 문제를 공식적으로 인정하고 해당 업데이트를 이틀 만에 철회했습니다.

오픈AI는 이달 7일 출시한 'GPT-5'에는 4가지 성격 모드를 도입하고, 장시간 대화 시 휴식을 권유하는 안전 장치를 추가했습니다. 또한 모델의 성격도 공감적 소통보다는 정확한 답변을 제공하는 방향으로 전환했습니다.

AI 안전장치 마련 위한 법적 규제 움직임

미국 주 정부는 정신건강 치료에 AI 사용을 금지하는 법안을 통해 경각심을 높이고 있습니다.

뉴욕주와 유타주의 경우, AI 동반자 서비스를 제공하는 기업들이 자살 위험 감지 프로토콜을 의무적으로 도입하도록 했습니다.

OpenAI

업계 관계자는 "AI 챗봇이나 동반자가 안전한 정서적 동반자로 자리 잡으려면 단기 피드백에 치중하기보다는 장기적 신뢰 구축을 목표로 훈련하도록 법적, 제도적 안전장치를 마련해야 한다"고 강조했습니다. 또한 "기업이 수익을 높이려고 이용자들의 단기 만족에 치중하면 개인화 서비스가 망상을 부추기는 문제는 계속될 것"이라고 경고했습니다.