딥페이크, AI로 잡는다…정부 분석모델 개발

행안부-국과수, AI 딥페이크 분석모델 개발
2개월간 선거 관련 13건·성범죄 2건 감정

#SNS에 올라온 지인의 얼굴 사진을 나체 이미지에 합성해 온라인 메신저에 유포한 사건이 발생했다. 국립과학수사연구원은 'AI 딥페이크 분석모델'로 해당 유포물에서 합성된 얼굴의 경계면에 나타나는 왜곡을 포착해 '딥페이크'임을 규명했다. 이 감정 결과는 허위 영상 차단, 수사 착수를 위한 결정적인 과학 증거로 활용됐다.

앞으로 딥페이크로 의심되는 이미지·영상의 진위 판별을 위해 정부가 개발한 AI 모델이 널리 활용될 전망이다.

행정안전부는 국과수와 함께 AI 기술을 접목해 딥페이크 진위를 판별하는 'AI 딥페이크 분석모델'을 지난 4월 개발·검증을 마치고 딥페이크 범죄 수사에 2개월간 활용한 성과를 30일 공개했다. 행안부와 국과수는 분석모델을 딥페이크 증거물 감정에 투입함으로써 딥페이크 범죄 수사에 획기적인 전환점이 마련될 것으로 기대한다.

분석모델은 경찰청 등 수사기관의 감정 의뢰를 받아 지난 5~6월 증거물 60종, 총 15건의 딥페이크 감정에 성공했다. 이 중 13건은 제21대 대선 기간 중 대통령 후보 관련 사건, 2건은 디지털 성범죄 사건이다. 또 대선 기간 중 중앙선거관리위원회에 분석모델을 공유함으로써 유튜브 등 온라인에서 불법 딥페이크 선거물 1만여건을 탐지해 삭제하는 데 기여했다.

AI 딥페이크 분석모델 활용 프로세스. 행안부

분석모델은 최근 딥페이크 범죄가 폭발적으로 증가하는 반면, 판별 기술이 부족해 수사기관이 관련 증거물 분석에 어려움을 상황을 극복하기 위해 개발됐다. 방송통신심의위원회에 따르면 딥페이크 성범죄영상물 시정 요구는 2022년 3574건, 2023년 7187건에서 지난해 2만3107건으로 급증했다.

모델 개발에는 공개 데이터셋, 자체 제작 콘텐츠 등 약 231만건에 달하는 딥페이크 데이터가 활용됐다. 아울러 최신 딥러닝 알고리즘에 방대한 데이터를 학습시키고, 지속적인 피드백과 성능 개선 작업을 거쳐 탐지 성능을 향상시켰다.

이렇게 개발된 분석모델은 딥페이크 흔적을 자동으로 탐지하고, 변조 의심 파일에 대해 합성 확률 및 시간별 변조율을 예측해 딥페이크 여부를 신속히 판단하도록 돕는다. 얼굴 이목구비 등 특정 부위별 변조 탐지 능력, 반복된 업·다운로드로 일부 데이터가 손실된 증거물에 대해서도 분석 능력을 갖췄다.

이번 분석모델 개발은 과거 기술적 한계로 수행하지 못했던 딥페이크 감정을 국내 최초로 공식화했다는 점에서 의미가 크다. 분석모델이 개발되면서 과학적 증거에 기반한 수사체계도 마련됐다. 행안부와 국과수는 이번 분석모델 성과를 2023년 행안부가 개발한 '보이스피싱 음성 분석모델'과 연계해 시너지를 창출할 계획이다.

분석모델의 활용 범위도 더 확대해 나갈 예정이다. 국과수 내부에서는 현재 독립형 방식으로 운영 중인 모델을 향후 디지털증거물인증시스템(DAS)에 통합할 방침이다. 또 여성가족부, 방송통신위원회 등에도 모델을 단계적으로 확산해 각 기관의 딥페이크 콘텐츠 탐지 및 대응 역량 강화를 추진한다.

이봉우 국립과학수사연구원장은 "AI 기술 기반의 과학수사 역량 강화를 통해 감정의 신속성과 정확성을 높이는 데 최선을 다하겠다"며 "빠르게 변화하는 첨단 기술 환경에 선제적으로 대응해 국민이 신뢰할 수 있는 과학수사 체계를 구축하겠다"고 말했다.

이용석 행안부 디지털정부혁신실장은 "앞으로도 행안부는 AI와 데이터분석을 국민의 안전과 민생 안정을 위한 행정 분야에 적극적으로 도입해 나갈 것"이라고 전했다.

김영원 기자 forever@asiae.co.kr