[마니아]글로벌 인플루언서 되볼까...AI로 입모양까지 자연스럽게

AI 휴먼 영상 제작·자동 더빙 서비스
이스트소프트 페르소닷에이아이 써보니

페르소닷에이아이의 자동 더빙 서비스인 AI 비디오 트랜슬레이터. 이스트소프트 제공

"'위, 로봇(We, Robot)' 파티에 오신 걸 환영합니다. 보시다시피 저는 로보택시를 타고 왔어요." 일론 머스크 테슬라 최고경영자(CEO)가 운전대와 페달이 없는 로보택시 '사이버캡'을 한국어로 소개한다. 더빙 영상이라고 하기에는 머스크 특유의 목소리와 자신감 있는 어투가 그대로다. 한국어로 말하는 입 모양까지 딱 맞아떨어진다. 머스크를 '언어 능력자'로 만들어 준 것은 이스트소프트의 '페르소닷에이아이(PERSO.ai)'다. 인공지능(AI) 휴먼 영상 제작 및 자동 더빙 서비스 페르소닷에이아이를 써봤다.

자동 더빙 서비스 'AI 비디오 트랜슬레이터'로 테스트를 시작했다. 유튜브, 틱톡 등에 올라온 영상 링크를 입력하거나 휴대폰으로 찍은 영상 파일을 올린 후 번역을 원하는 언어를 지정하면 끝이다. 번역 가능한 언어는 한국어, 영어, 스페인어, 프랑스어, 중국어, 일본어 등 29가지다.

유튜브에서 본 젠슨 황 엔비디아 CEO의 토크쇼 영상을 올리니 손쉽게 더빙 영상이 만들어졌다. 입 모양이 한국어 더빙에 맞춰 자연스럽게 움직였다. 영상 중간 관중의 웃음소리와 황 CEO의 목소리가 섞이는 것도 어색하지 않았다. 덕분에 자막이나 입 모양과 따로 노는 음성 더빙이 없이 영상에 온전히 집중할 수 있었다.

이를 가능하게 하는 것은 AI다. 이스트소프트는 음성 인식부터 번역, 음성 생성, 영상 생성까지 다양한 기술을 녹였다. 오픈소스 거대언어모델(LLM)을 활용한 자체 모델과 외부 모델을 함께 활용했다. 마이크로소프트(MS)의 클라우드 애저를 기반으로 서비스를 제공한다.

이번에는 아이가 동화책 읽는 영상으로 더빙 영상을 만들어봤다. 상대적으로 아이 음성 데이터가 부족한 탓인지 아이다운 목소리를 생성할 뿐 개인 특성까진 담아내지 못했다. 발음이 부정확할 때는 번역 정확도가 떨어지기도 했다. 또 입 모양까지 맞추는 기능을 추가하면 1분 남짓한 더빙 영상을 만드는 데 20분 가까이 걸리기도 했다.

다만 일반적인 더빙 작업에 최소 하루 이상이 걸린다는 것을 감안하면 영상 제작자의 생산성을 크게 높여줄 것으로 보인다. 실제로 페르소닷에이아이는 창작자에게 좋은 반응을 얻고 있다. 유튜버와 진행한 테스트 결과 해외 시청자를 위한 영상 제작에 필요했던 시간을 최대 70%까지 줄일 수 있었다. 먹방 유튜버 '보경', 축구 유튜버 '슛포러브' 등 유명 창작자들이 이스트소프트와 파트너십을 맺고 글로벌 콘텐츠 제작에 나섰다. 외국어를 못해도 전 세계 이용자와 소통하는 글로벌 인플루언서가 가능해진 셈이다.

AI 휴먼 영상 생성 기능 'AI 스튜디오'도 돋보인다. 시작은 성별, 인종, 목소리, 언어 등에 따라 원하는 AI 휴먼을 선택하는 것이다. 다음으로 텍스트를 입력하면 AI 휴먼이 이를 구현한다. 손을 들거나 몸을 가볍게 움직이는 간단한 동작 삽입도 가능하다. 복잡한 편집 과정을 거치지 않아도 몇 번의 클릭과 입력만으로 영상을 뚝딱 만들 수 있다.

일일이 조건을 조정하는 것도 번거롭다면 템플릿 기능을 활용하면 된다. 뉴스, 마케팅, 교육 등 용도에 따라 일종의 모범 답안을 만들어 둔 것이다. 원하는 템플릿을 선택해 스크립트만 손보면 된다. 행사 발표 영상이나 교육용 시청각물 등 활용도가 무궁무진해 보였다. 서비스형소프트웨어(SaaS)로 사용할 수 있는 페르소닷에이아이의 구독료는 월 29~109달러(15~60크레딧)다. 3크레딧으로 1분가량의 영상을 만들 수 있다.

최유리 기자 yrchoi@asiae.co.kr