"AI로 여론 조작?…한국어 'AI 생성' 댓글 탐지로 방지"

인공지능(AI)이 생성한 한국어 댓글을 탐지·식별할 수 있는 기술이 국내에서 개발됐다. 생성형 AI 기술의 발전과 함께 이를 악용한 온라인 여론 조작 우려가 커지는 상황임을 고려할 때 해당 기술이 향후 여론조작 방지에 기여할 수 있을 것으로 기대된다.

KAIST는 전기 및 전자공학부 김용대 교수 연구팀과 국가보안기술연구소(이하 국보연)가 한국어 AI 생성 댓글을 탐지하는 기술(XDAC)을 개발했다고 23일 밝혔다.

(왼쪽부터) KAIST 전기 및 전자공학부 김용대 교수, 국가보안기술연구소 고우영 선임연구원(KAIST 박사과정). KAIST 제공

공동연구팀에 따르면 최근 생성형 AI는 뉴스 기사 맥락에 맞춰 감정과 논조까지 조절할 수 있는 단계에 올랐다. 특히 몇 시간 만에 수십만 개의 댓글을 자동 생성할 수 있어 여론 조작에 악용될 여지가 높아졌다.

실례로 OpenAI의 GPT-4o API 기준 댓글 1개당 생성 비용은 1원가량으로, 국내 주요 뉴스 플랫폼의 일평균 댓글(20만개)을 생성하는 데 소요되는 비용은 20만원에 불과하다. 그나마도 공개 LLM과 자체 GPU 인프라를 이용하면 사실상 무상으로도 대량의 댓글 생성이 가능하다.

AI를 이용한 대량의 댓글 생성은 손쉬워졌지만 구별은 쉽지 않은 상황이다.

공동연구팀은 AI가 생성한 댓글과 사람이 작성한 댓글을 사람이 구별할 수 있는지를 210개의 댓글로 실험했을 때 AI 생성 댓글의 67%를 사람이 작성한 것으로 착각했고, 실제 사람이 작성한 댓글도 73%만 정확하게 구분됐다는 결과를 얻었다. AI 생성 댓글을 걸러내는 것이 쉽지 않다는 것을 방증한 결과다.

AI 생성 댓글은 오히려 기사 맥락 관련성, 문장 유창성, 편향성 인식에서 사람이 작성한 댓글보다 높은 평가를 받기도 했다.

이를 악용한 AI 생성 댓글을 탐지하기 위한 기술개발도 꾸준히 이어져 왔다. 다만 기존 기술 대부분은 영어로 된 장문의 정형화된 글을 기반으로 개발돼 한국어 특유의 짧은 댓글에 적용하는 데는 한계가 따랐다.

짧은 댓글은 통계적 특징이 불충분하고, 이모지·비속어·반복 문자 등 비정형 구어 표현이 많아 기존 탐지 모델이 효과적으로 작동하지 않는 까닭이다. 또 한국어 AI 생성 댓글 데이터셋의 부족과 기존의 단순한 프롬프팅 방식도 한국어 AI 생성 댓글을 탐지하는 데 어려움으로 작용했다.

AI 댓글 생성 프레임워크 구성도. KAIST 제공

이에 공동연구팀은 14종의 다양한 LLM 활용과 자연스러움 강화, 세밀한 감정 제어, 참조 자료를 통한 증강 생성의 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발해 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축하고 일부를 벤치마크 데이터셋으로 공개했다.

또 설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀 분석했을 때 AI 생성 댓글에는 사람과 다른 고유의 패턴(말투)이 있음을 확인했다.

예컨대 AI는 '~것 같다', '~에 대해' 등 형식적 표현과 높은 접속어 사용률을 보인 반면 사람은 반복 문자(ㅋㅋㅋㅋ), 감정 표현, 줄 바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다.

특수문자 사용에서도 AI는 세계적으로 통용되는 표준화된 이모지를 주로 사용했지만, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(♡, ★ 등) 등 문화적 특수성이 담긴 다양한 문자를 활용해 AI 생성 글과 구별됐다.

특히 사람이 작성한 댓글의 26%는 줄 바꿈과 여러 칸 띄어쓰기 등 서식 문자를 포함했지만, AI 생성 댓글에서는 사용율이 1%에 불과한 것도 차이점으로 부각됐다. 반복 문자사용 비율도 사람이 작성한 댓글은 52%로, AI 생성 댓글(12%)보다 4배 높았다.

공동연구팀은 이러한 차이를 정교하게 반영해 XDAC의 탐지 성능을 높였다. 줄 바꿈, 공백 등 서식 문자를 변환하고, 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식을 적용한 것이다. 또 LLM별 고유의 특징(말투)을 파악해 어떤 AI 모델이 댓글을 생성했는지를 식별할 수 있게 설계했다.

이를 토대로 공동연구팀은 XDAC의 탐지 기술이 AI 생성 댓글을 단순 판별하는 것에 그치지 않고, 심리적 억제 장치로 이용될 수 있다고 강조했다. 마치 음주단속, 마약 검사, CCTV 설치 등이 범죄 억제 효과를 가지듯 정밀 탐지 기술의 존재 자체가 AI 악용 시도를 줄일 수 있다는 것이다.

특히 공동연구팀은 향후 플랫폼 사업자가 의심스러운 계정이나 조직적 여론 조작 시도를 정밀 감시·대응하는 데 XDAC를 활용할 수 있을 것으로 내다본다. XDAC는 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장될 가능성도 큰 것으로 평가받는다.

국보연 고우영 선임연구원(KAIST 박사과정)은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델을 식별할 수 있는 세계 최초의 기술"이라며 "AI 기반의 여론 조작에 대응할 수 있는 기술적 기반을 마련했다는 점에서 이번 연구에 의미를 부여할 수 있다"고 말했다.

대전=정일웅 기자 jiw3061@asiae.co.kr