스위프트 딥페이크, 커뮤니티 회원들의 '무모한 도전'에서 시작됐다

'AI 이미지 제작사 규제 무력화' 동기
"피해자, 법적 도움 받기 쉽지 않아"

세계적인 팝스타 테일러 스위프트의 이미지를 악의적으로 합성해 만든 이른바 '음란 딥페이크(AI 기술을 기반으로 만들어낸 가짜 이미지)'가 한 차례 논란이 된 가운데 이 딥페이크는 미국의 유해성 온라인 커뮤니티에서 회원들이 '챌린지'로 시작했다는 분석이 나왔다.

'음란 딥페이크'는 인종차별적·성차별적 콘텐츠 공유하는 미국 A 커뮤니티 發

세계적인 팝스타 테일러 스위프트. [이미지출처=AFP연합뉴스]

5일(현지시간) 뉴욕타임스(NYT)는 허위정보 연구 회사인 그래피카가 유해 온라인 커뮤니티 A 커뮤니티에서 스위프트 딥페이크를 추적해 이 같은 잠정 결론을 내렸다고 전했다. A 커뮤니티는 증오 표현, 음모론, 인공지능(AI)을 사용해 생성된 인종차별적이고 공격적인 콘텐츠를 공유하는 것으로 악명이 높다. 이곳은 지난해 한국 등 동맹국들에 대한 미국 정보기관의 도청 활동 등 민감한 내용이 담긴 미국 기밀문건이 대량으로 온라인에 유포됐을 당시에도 유포 창구로 지목되기도 했다.

그래피카는 이 커뮤니티 내에서 오픈AI의 '달리'나 마이크로소프트의 '마이크로소프트 디자이너', '빙 이미지 크리에이터'와 같은 이미지 생성 AI가 설정해놓은 안전장치를 피하려는 시도가 있었다고 밝혔다. 이용자들은 게시판에서 "필터를 우회하는 새로운 방법을 찾기 위한 팁과 요령을 공유하라"는 지시를 받았고, "행운을 빈다, 창의력을 발휘하라"는 말도 들었다. A 커뮤니티 이용자들은 AI로 유명한 여성이 등장하는 음란 이미지를 만들 수 있을지 시험해보는 일종의 '게임'·'챌린지'를 하며 딥페이크를 생성했다. 이 A 커뮤니티에는 AI로 생성된 노골적인 성적 이미지를 금지하는 규칙이 없는 상태다.

AI 이미지 생성 도구가 설정한 보호 장치 무력화하기 위한 '도전 정신'과 이용자들의 칭찬에 힘입어

이후 스위프트 딥페이크가 지난 1월 6일 A 커뮤니티에 처음 올라왔다. 규제를 우회한 이들은 칭찬을 들었다. 이어 커뮤니티 내에서 이미지 생성에 사용된 명령 언어를 공유해달라는 요청이 있었다. 11일 후엔 텔레그램에 등장했으며, 그다음 날부터 엑스(X·옛 트위터)를 통해 공유됐다. 엑스는 이미지 확산을 막기 위해 지난달 27일부터 엑스에서 '테일러 스위프트' 또는 '테일러 스위프트 AI' 등으로 검색하지 못하게 하고 딥페이크 이미지를 삭제했다. 이름 검색 제한 조치는 29일 해제된 상태다.

크리스티나 로페즈 그래피사 수석연구원은 "이런 이미지들은 AI 제품의 안전장치를 우회하는 '도전'에 동기를 느낀 사람들이 모인 커뮤니티에서 나왔으며, (이곳에서) 새로운 규제는 굴복시켜야 하는 또 다른 장애물로 여겨지고 있다"라고 설명하며 "스위프트가 유일한 피해자는 아니다"라고 강조했다. A 커뮤니티에 다수의 배우, 가수, 정치인 등을 대상으로 하는 딥페이크 이미지가 있었다는 의미다.

외신은 "소프트웨어로 생성된 가짜 포르노는 적어도 2017년부터 문제가 되어왔고, 원치도 않는 유명인, 정부 인사, 트위치 스트리머, 학생 등에게 충격을 줬다"며 "허술한 규제로 법적 도움을 받을 수 있는 피해자가 거의 없고, 스위프트처럼 가짜 이미지를 물리칠 수 있는 강력한 팬을 보유한 사람도 드물다"라고 지적했다.