구글의 AI 서비스 '제미나이'가 사용자 허가 없이 임의로 문자메시지를 발송했다는 사례가 공개되면서 AI 안전성에 대한 우려가 높아지고 있습니다.

지난 29일 AI 관련 업계 소식에 따르면, 제미나이를 사용하던 한 이용자가 SNS를 통해 예상치 못한 상황을 경험했다고 밝혔습니다. 

제미나이가 사연자 지인에게 문자로 보낸 것으로 추정되는 내용 / 스레드 캡처

이 사용자는 중국 밀입국 상황을 주제로 AI와 대화를 나누던 중, AI가 생성한 메시지가 본인도 모르는 사이에 지인의 휴대폰으로 전송되었다고 주장했습니다.

해당 사용자의 게시글에 따르면, 문제의 문자는 새벽 시간에 그다지 친하지 않은 지인에게 발송되어 당황스러운 상황이 연출되었습니다. 사용자는 "AI에게 왜 그런 내용을 보냈느냐고 따졌지만, 본인의 의도와는 전혀 상관없이 메시지가 발송된 것"이라고 설명했습니다.

이 사건이 알려지면서 안드로이드 스마트폰 사용자들 사이에서 비슷한 경험담들이 연이어 공유되었습니다. 제미나이와의 대화 도중 의도하지 않은 문자 전송이 시도되거나, AI가 임의로 전화를 건 사례들도 보고되었습니다.

제미나이가 사연자 지인에게 문자로 보낸 것으로 추정되는 내용 / 스레드 캡처

제미나이는 현재 안드로이드 환경에서 문자 전송 및 통화 기능을 제공하고 있습니다. 사용자가 특정 연락처로 메시지 전송을 요청하면 구글 어시스턴트와의 연동 상태를 확인한 후 실제 발송이 진행되는 방식입니다. 

아이폰에서는 아직 이 기능이 지원되지 않지만, 애플이 향후 시리에 제미나이 기술을 도입할 계획을 발표한 만큼 적용 범위가 더욱 넓어질 전망입니다.

구글 측은 이번 사건에 대해 사용자가 AI의 문자 발송 확인 질문에 '예'라고 응답했을 가능성을 제기했습니다. 하지만 대화 과정에서 이러한 확인 절차를 제대로 인식하지 못한 상태에서 승인이 이루어진다면, 민감한 내용이 부적절한 상대방에게 전달될 위험성은 여전히 존재한다는 지적이 나오고 있습니다.

기사의 이해를 돕기 위한 자료사진 / unsplash

업계 전문가들은 AI가 스스로 판단하여 직접적인 행동을 취하는 시스템임에도 불구하고, 이를 단계적으로 제어할 수 있는 보안 체계가 미흡하다는 점을 문제로 꼽고 있습니다. 

사용자의 실제 의도와 다른 실행이 발생할 경우 예기치 못한 문제상황으로 번질 수 있다는 우려가 제기되고 있습니다.

이러한 문제의식은 고도화된 AI 에이전트 기술이 연속적으로 출시되면서 더욱 심화되고 있습니다. 자동 코딩, 이메일 답변, 웹브라우저 조작 등을 수행하는 일부 AI 툴들이 개발자들 사이에서 광범위하게 사용되고 있으나, 개인정보 유출이나 API 키 노출 가능성에 대한 걱정도 동시에 커지고 있습니다.

AI 업계의 한 관계자는 "과거에는 인간이 AI에게 작업을 지시하는 방식이었다면, 현재는 AI가 자체적으로 판단하고 실행하는 단계로 발전하고 있다"며 "인간이 주도권을 가진 위치에서 결과를 수용하는 위치로 변화하는 상황에서, 통제권 확보 방안이 AI 에이전트 시대의 핵심 과제가 될 것"이라고 전망했습니다.