"VR, '영상' 주목도 높지만…'소리'가 반 이상"

[아시아경제 김유리 기자] 최근 크게 주목받고 있는 가상현실(VR) 시장에서 '영상'의 비중은 엄청나다. 6대 이상의 고화질 카메라로 360도 촬영을 한 후, 이들 화면을 이어붙이는 스티칭 작업 역시 정교하게 해야 제대로 된 영상이 구현된다. VR 기기를 쓰고 상하좌우를 둘러봐도 현실에 있는 것과 같은 착각이 드는 것은 이 때문이다.

그러나 VR 경험에서 영상 못지않게 중요한 것은 '소리'다. 사운드가 밀리거나 적재적소에서 들리지 않으면 현실감이 크게 떨어지기 때문이다. 따라서 사운드 역시 360도로 구현이 돼야만 진정한 VR 경험을 할 수 있다. 360도 영상에서 주인공의 좌측에서 어떤 일이 벌어지고 있다는 것을 알리기 위해서는 영상으로 다양한 변화를 주는 방법도 있지만, 사운드로 효과를 내 시선을 끄는 방법이 보다 효과적이다. 이 때문에 오디오 기술 업계에서는 최근 '몰입형 사운드'가 화제다.

유럽 최대 규모의 오디오기술 연구기관인 프라운호퍼IIS 역시 최근 가장 관심 있는 분야 중 하나가 VR 환경에서 구현할 수 있는 몰입형 사운드다. 지난 달 서울 삼성동 코엑스에서 열린 국제 방송·음향·조명기기 전시회(KOBA2016)에서 만난 로즈 마티아스 프라운호퍼IIS 연구원은 "VR 경험에서 소리가 차지하는 비중은 최소 50% 이상"이라고 강조했다. 그도 그럴 것이, 사운드가 좋지 않으면 VR 환경이 현실이라고 생각하는 사용자의 환상이 즉각 깨져버리기 때문이다. 몰입형 사운드는 가상현실을 체험하는 유저들을 '소리'를 통해 안내해 새로운 방식의 스토리텔링을 도와주기도 한다.

프라운호퍼IIS는 몰입형 사운드를 위해 사운드캡처링 기술을 진화시켰다. 사운드는 주로 포스트 프로덕션 단계에서 360 카메라 레코딩을 통해 들어간다. 마티아스 연구원은 "기존에는 사람 키를 넘어가는 장대에 여러 개의 마이크를 다양한 방향으로 향하게 해 사운드를 얻었으나, 프라운호퍼IIS는 작은 링 형태의 메탈 구조물에 마이크 8개를 심어 360 카메라 위에 얹어 사용할 수 있는 장치를 개발했다"고 말했다.

사운드 전달에서도 몰입형 사운드의 효과적인 전달을 위해 프라운호퍼IIS의 MPEG-H 오디오를 사용, 3D 형태로 오디오를 전달해 현실감을 높인다. 기존의 레거시 사운드(legacy sound) 전달을 위해서는 HE-AAC를 활용, 고퀄리티 스테레오 사운드나 5.1 서라운드 사운드를 효과적으로 전달한다. 이는 안드로이드나 iOS 운영체제(OS) 기반의 스마트폰과 태블릿에서도 광범위하게 사용된다.

마지막 작업은 콘텐츠 플레이백과 렌더링이다. 여기에는 프라운호퍼IIS의 싱고 프로그램이 사용된다. 마티아스 연구원은 "스테레오 스피커와 헤드폰을 뛰어넘는 품질의 서라운드·3D 사운드로 폰·태블릿 등 모바일 기기와 각종 VR 기기들을 보다 현실감 있게 만들어준다"고 말했다.

볼륨 최적화를 포함한 스테레오 콘텐츠로 더욱 자연스럽고 선명한 사운드 체험이 가능한 것이다. 싱고는 사용자의 움직임에 소리가 반응하는 헤드 트래킹과 함께 다양한 방향과 거리에서의 음향 요소들을 렌더링한다. 싱고는 구글 '넥서스' 폰과 태블릿, 삼성전자 '기어 VR', LG전자 '360 VR' 등에서 사용된다.

한편 프라운호퍼IIS의 MPEG-H 오디오는 오는 9월 지상파 UHD방송 전송표준(ATSC 3.0)으로 채택될 것으로 보인다. MPEG-H 오디오의 가장 큰 특징은 사용자별로 '맞춤형 사운드'가 제공된다는 점이다. 오디오 믹스의 음향 요소들이 TV에 각각 분리돼 전달되며, 이를 통해 시청자들이 각자의 기호에 맞게 믹스를 조정할 수 있다.

예를 들어 스포츠 경기를 볼 때 배경음은 그대로 둔 채 아나운서의 목소리를 더 키우거나 아예 없앨 수 있는 것이다. 마티아스 연구원은 "해설 언어 선택도 지원 범위 내에서 다양하게 선택할 수 있다"고 말했다. 이밖에 3D 몰입 사운드로 실감나는 서라운드 음향을 제공하며 TV 방송, 스트리밍, 모바일 등 다양한 기기에서 활용 가능하다.

프라운호퍼 IIS는 고능률·고품질 오디오 코딩과 시그널 프로세싱 분야에서 인정받는 연구기관으로 MP3 오디오 코덱 등을 발명했다. 세계 1000여개 기업들이 프라운호퍼 IIS의 오디오코덱 소프트웨어 라이선스를 보유 중이다.