[가상인간2.0]10분 안에 나를 닮은 ‘가상인간’이 탄생한다

AI 스타트업 클레온 '클론' 서비스
얼굴·목소리 입힌 가상인간 제작에 10분
가상인간 제작 기술 고도화

[아시아경제 이승진 기자] “안녕하세요. 나는 당신의 클론입니다.”

사진 단 한 장만으로 나를 닮은 가상인간이 화면에 나타났다. 화면 속의 내가 내 목소리로 인사말을 건넨다. 표정과 몸짓을 보니 영락없는 나다. 사진 한 장, 몇 마디의 음성에서 나를 닮은 가상인간이 탄생하기까지 걸린 시간은 불과 10분이었다. 기업에서 광고 등에 활용하기 위해 만들던 가상인간이 일상으로 다가왔다.

얼굴 사진 1장＋30초 분량 음성=10분 만에 가상인간 탄생

인공지능(AI) 스타트업 클레온은 독일 베를린에서 열린 유럽 최대 가전 전시회 'IFA 2022'에서 한 장의 사진과 30초짜리 음성만으로 나와 똑같은 사람을 만들어 내는 딥 휴먼 기술 ‘카멜로’를 선보였다. 우리에게 익숙한 딥페이크가 얼굴을 합성하는 개념이라면, 딥 휴먼은 얼굴뿐 아니라 체형과 음성 등 외형을 바꿀 수 있는 기술이다.

클레온은 가상인간의 대중화를 표방하고 있다. 향후 펼쳐질 메타버스 세계에 자신의 아바타 역할을 할 가상인간을 누구나 손쉽게 만들 수 있는 가상인간 제작 서비스를 개발하고 있다.

현재 클레온은 누구나 가상인간 제작을 체험해볼 수 있는 ‘클론’을 베타 서비스 중이다. 클론은 사진 단 한 장만으로 자신과 유사한 얼굴의 가상인간을 10분 만에 창조해낼 수 있다. 해당 가상인간에게 대본을 입력하면 10분 내외의 발표 영상 등을 만들 수 있으며, 가상인간은 표정을 바꾸고 인간처럼 여러 몸짓을 하며 몸짓을 한다.

실제 클론 서비스를 이용해보니 사진 단 한 장으로 1분 내외로 나를 닮은 가상인간이 탄생했다. 현재는 타인의 사진이 무단으로 악용되는 점 등을 막기 위해 미리 주어져 있는 모델의 얼굴에 사진의 얼굴을 덧입히는 방식으로 운영되고 있다.

클론 서비스의 가장 큰 특징은 기존 수천만원에서 많게는 수억원에 들어가던 가상인간 제작비용을 500만원 내외로 획기적으로 줄였다는 점이다. 이 배경에는 ‘제로 샷 러닝(대규모 데이터에 따른 학습의 불필요)’ 기술이 있다. 얼굴 인식의 경우 딥러닝을 통해 수많은 사람의 얼굴을 여러 번 그리도록 해, 정면 얼굴 사진만 봐도 옆모습이 어떻게 생겼는지 예측 가능할 수 있도록 학습하는 식이다. 이를 통해 단 한 장의 사진만으로도 내 모습을 닮은 가상인간 제작이 가능해졌고, 제작비용도 크게 주일 수 있었다.

또 클론 서비스에는 얼굴·음성 합성 기술과 입 모양 생성 기술이 적용돼 문자를 입력하면 실제 사람이 발음하는 모습을 연출한다. 성별, 언어, 음역, 배경 등을 자유롭게 선택할 수 있으며 체형 생성 기술을 통해 간단한 몸짓 표현도 가능하다. 이 모든 과정이 불과 10분 만에 완료됐다.

클론 서비스 실제 활용 사례. 원하는 외모, 성별, 나이, 인종, 체형 등의 모델을 선택한 뒤 모델에 합성할 얼굴 업로드 해 생선된 가상인간을 동영상으로 활용한 모습.

도슨트·기자·전문교육도 가상인간 활약…시공간 뛰어넘는다

가상인간은 현재 사회관계망서비스(SNS)나 광고에서 특정 기업이나 제품을 홍보하는 역할이 대부분이다. 하지만 기술이 발전하며 빠르게 활동 영역을 넓히고 있다.

클레온의 경우 국내 여러 언론사에 가상 기자를 제공하고 있다. 속보가 필요한 상황에 인력이 부족할 경우 가상 기자에 원고를 입력해 뉴스를 제공하는 식이다. 특정한 내용을 단순 반복적으로 전달해야 하는 곳에도 사용되고 있다. 기업의 챗봇 서비스를 비롯해, 싱가포르 박물관에서는 인간 도슨트 대신 AI 도슨트가 박물관 안내를 돕고 있기도 하다.

가상인간의 활용은 앞으로 더욱 무궁무진할 것으로 평가된다. 클레온은 올해 IFA에서 AI 영상 자동 더빙 솔루션 ‘클링'을 처음 공개했다. 클링은 영상 속 인물의 목소리를 그대로 활용하여 대사를 다국어로 더빙할 수 있고, 입 모양을 대사에 맞춰 움직이게 동기화하는 더빙 솔루션이다. 앞서 데모 버전으로 CES 2022의 소프트웨어&모바일 앱 부문에서 혁신상을 받은 바 있다.

이를 가상인간에 적용해 활용하면 해외에 물건을 납품하는 기업이 해외 바이어를 여러 언어로 동시에 상대하는 것이 가능해진다. 예를 들어 의류업체일 경우 해외 바이어가 공통으로 묻는 원단에 대한 설명, 디자인 콘셉트에 대한 내용을 하나의 가상인간이 영어, 중국어, 스페인어 등으로 동시에 서비스할 수 있다. 클레온은 기술 혁신과 함께 여러 기업과의 협업을 통해 다양한 분야에 가상인간 서비스를 제공한다는 계획이다.