[AI혁명](86)음악을 사랑한 서울 공대 교수가 만든 AI 음성기술

음악과 과학 모두 전공한 서울대 교수가 만든 기업
'신무기 2종'으로 음악,드라마,영화 이어 게임 진출
텍스트만 입력하면 캐릭터 목소리로 실시간 더빙

지난달 부산에서 열린 '2023 지스타' 당시 엔터사인 하이브도 참가했다. 정확히는 하이브의 자회사인 AI(인공지능) 오디오 기업 '수퍼톤'이었다. 게임인들의 축제인 지스타에 엔터사가 참여한 것은 매우 이례적인 일이었기 때문에 업계 관계자들의 많은 관심을 받았다. 하이브는 '미래 먹거리'로 음악 산업과 기술의 융합을 위해 지난 1월 수퍼톤을 인수했다.

현직 서울대 교수인 이교구 수퍼톤 대표[사진제공=하이브]

2020년 문을 연 수퍼톤은 세계 최고 수준의 AI 음성 기술을 토대로 다양한 분야에서 오디오 기술을 선보이고 있는 기업이다. 대표적으로 지난해 드라마 '카지노'에서 주인공 최민식의 젊은 시절 목소리를 구현했고, 올해 드라마 '마스크걸'에서 나나와 이한별의 목소리를 조합해 BJ 마스크걸만의 새로운 목소리를 만들어냈다. 그간 음악, 드라마, 영화를 중심으로 활동해왔던 수퍼톤은 '신무기 2종'을 앞세워 게임 분야까지 '영토 확장'에 나섰고, 그 기술을 지스타에 선보인 것이다.

텍스트만 입력하면 'AI 더빙' 구현

2023 지스타 당시 프로젝트 시프트를 시연하는 모습[사진제공=하이브]

수퍼톤의 신무기 2종은 ‘프로젝트 스크린플레이(Screenplay)’와 ‘프로젝트 시프트’(Shift)다. 프로젝트 스크린플레이는 텍스트를 음성으로 변환하는 TTS(Text-to-Speech) 기술에 기반한 AI 음성 서비스다. 텍스트로 대사만 입력하면 캐릭터 목소리를 만들어낼 수 있다. 수퍼톤의 기술력으로 '기계 말투'가 아닌 감정 표현이 담긴 '인간 말투'를 구현한다는 것이 특징이다. 서비스의 인터페이스가 단순하고 직관적이어서 제작 난이도가 매우 낮은 편이다.

수퍼톤은 이 기술로 게임 분야의 '더빙 생태계'를 확장할 수 있을 것으로 기대하고 있다. 현재 게임사들은 주요 캐릭터에만 더빙 작업을 한다. 모든 캐릭터의 모든 대사에 '풀 더빙'을 하려면 성우 섭외 등에 너무 큰 비용이 들어가기 때문이다. 그러나 중요한 부분엔 성우를 쓰고, 나머지 부분엔 수퍼톤의 기술을 활용한다면 풀 더빙이 어렵지 않다는 것이 수퍼톤의 설명이다. 더빙이 중요한 해외 시장 진출을 위해 장점을 가진 기술인 셈이다. 한국어와 영어, 일본어 등 3가지 언어로 활용이 가능하다.

또 다른 신무기는 단 1초 만에 실시간으로 음성을 변환하는 기술인 '프로젝트 시프트'다. 대표적인 음성 채팅 서비스인 '디스코드'처럼 게임 안에서 유저 간의 음성 대화를 도와줄 수 있는 서비스다. 디스코드와 다른 점은 게임 유저가 목소리 스타일을 자유롭게 설정해 캐릭터 목소리로 실시간 대화를 즐길 수 있다는 점이다. 자신의 목소리와 캐릭터 목소리를 얼마나 섞을지도 조절할 수 있다. 이 서비스는 게임 밖의 오프라인 공간에서도 고객 이벤트 등에서 활용될 수 있을 것으로 기대된다. 가령 이벤트 진행 MC가 게임 캐릭터의 목소리를 활용하는 식이다.

음악을 사랑하는 '공돌이'가 만든 기업

수퍼톤은 기술력 경쟁 강화를 위해 영샹음향 전문 기업 '라이브톤'과도 손을 잡았다[사진제공=하이브]

수퍼톤은 음악을 사랑하는 '공돌이'가 만든 기업이다. 현직 서울대 교수인 이교구 수퍼톤 대표는 대학 시절 밴드에서 보컬로 활동했다. 서울대 전기공학부를 졸업하고 뉴욕대에서 'Music Technology' 석사학위를, 그리고 스탠퍼드대에서 전기공학 석사와 컴퓨터음악 및 음향학 박사학위를 각각 받았다. 음악을 좋아하지만, 과학기술에도 관심이 많았던 이 대표는 두 분야를 같이 할 수 없을까 고민하다가 음악을 분석하는 연구를 했고, 연구팀을 거쳐 탄생한 것이 지금의 수퍼톤이다.

이 대표뿐만이 아니라 수퍼톤 직원 상당수가 악기 하나씩은 다룰 줄 안다. 수퍼톤은 모든 창작 영역에 목소리로 가능한 콘텐츠를 만드는 것을 지향한다. 아무도 가지 않은 길이다. 개발자와 뮤지션, 2가지 정체성을 모두 갖고 있기 때문에 가능한 방향이다. 수퍼톤은 지스타에 선보인 신무기 2종을 가다듬어 내년 중에 상용화할 계획이다. 이 대표는 "게임 영역까지 적용 가능한 기술을 확보해 엔터 산업 전반에서 AI 오디오 기업으로서 독보적 입지를 구축하고, 콘텐츠 산업 내 보이스 기술의 퀀텀 점프를 이끌 것”이라고 했다.