국내 연구진, 'AI 생성 댓글 탐지' 기술 개발

20만 원. OpenAI Chat GPT를 통해 국내 주요 뉴스 플랫폼의 하루 평균 댓글 수인 20만 개를 작성하는 데 드는 생성 비용이다.

OpenAI는 뉴스 기사의 맥락에 따라 감정과 논조를 자유자재로 조절해 짧은 시간 안에 수십만 개의 댓글을 자동 생성해 낸다.

특정 목적을 가지고 여러 개의 댓글을 작성함으로써 '군중심리'를 끌어내는 '여론조작'에 AI 기술이 악용되는 상황, 국내 연구진들이 정확도 100%에 달하는 AI 댓글 탐지 기술을 개발해 냈다.

기사의 이해를 돕기 위한 자료 사진 / gettyimgesBank

지난 23일 한국과학기술원(KAIST)은 전기및전자공학부 김용대 교수팀이 국가보안기술연구소(이하 국보연)와 협력해 한국어 AI 생성 댓글을 탐지하는 기술 'XDAC'를 세계 최초로 개발했다고 밝혔다.

AI가 작성한 댓글을 구별하는 기술은 이미 존재하고 있으나, 이들 대부분 영어를 기반으로 하는 250자 이상의 긴 글에 적합해 국내 뉴스 포털 댓글에 적용하기에는 어려움이 따랐다.

이에 연구진들은 특정 기사 댓글 작성자가 사람인지 AI인지를 구분해 낼 수 있는 XDAC를 개발했다. XDAC는 줄바꿈, 공백 등 서식문자를 변환하고 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식이 적용돼 각 LLM(대규모 언어모델)의 고유 말투 및 특징을 파악해 댓글 작성에 어떤 AI 모델이 사용됐는지까지 식별할 수 있다.

한국과학기술원(KAIST)과 국가보안기술연구소 연구진이 개발한 'AI 댓글 탐지 기술' 시연되는 모습(위)과 AI 댓글 생성 프레임워크 구성도(아래) / 사진 제공 = KAIST

연구팀은 AI 기법을 적용해 언어 표현을 정밀 분석한 결과, AI 모델로 작성된 댓글에는 사람과 달리 고유한 '패턴'이 존재하는 것을 확인했다.

이들은 "예를 들어 AI는 '~것 같다', '~에 대해' 등 형식적인 표현과 높은 접속어 사용률을 보였고, 사람은 반복문자(ㅋㅋㅋㅋ), 감정 표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다"고 전했다.

특히 사람이 작성한 댓글의 26%는 줄바꿈, 여러 칸 띄어쓰기 등의 서식 문자가 포함됐지만, AI는 단 1%만을 사용했다. 'ㅋㅋㅋㅋ'나 'ㅎㅎㅎㅎ'와 같은 반복 문자사용 비율도 사람 작성이 52%, AI는 12%로 큰 차이를 보였다.

이 같은 체계로 XDAC는 AI 생성댓글 탐지에서 기존 연구 대비 68% 향상된 98.5% F1 점수를, 댓글생성 LLM 식별에서도 84.3% F1 성능을 기록했다.

김용대 교수(왼쪽)와 고우영 선임연구원(오른쪽) / 사진 제공 = KAIST

고우영 선임연구원은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고 생성 모델까지 식별할 수 있는 세계 최초 기술"이라며 "AI 기반 여론 조작 대응의 기술적 기반을 마련한 데 큰 의의가 있다"고 말했다.

이어 "플랫폼과 협력해 댓글 작성 시간, 계정 정보, 인터넷 주소(IP) 등 추가 데이터를 함께 활용한 기술을 개발해야 여론조작을 궁극적으로 막을 수 있을 것"이라고 덧붙였다.

연구팀의 이번 연구는 인공지능 자연어처리 분야 국제 학술대회 'ACL 2025'메인 콘퍼런스에 채택돼 기술력을 인정받았다.