"실시간 영상으로 번역" 네이버 파파고, AR 바로번역 선보인다

네이버 '데뷰2021' 개막
AR 이미지 바로번역 내년 출시
메타버스 생태계 '아크버스' 공개

네이버가 ‘국민 번역기’ 파파고를 고도화 하면서 언어장벽 없는 세상을 더 가깝게 만든다. 파파고를 통해 실시간으로 번역된 영상을 보여주는 증강현실(AR) 서비스를 준비 중이다. 네이버는 24일 국내 최대 규모의 개발자 컨퍼런스 ‘데뷰(DEVIEW) 2021’을 열고 글로벌과 미래를 준비하는 선행 기술을 공개했다.

진화하는 번역기

네이버에 따르면 내년 인공지능(AI) 통번역 서비스 파파고에 ‘AR 이미지 바로번역’을 출시할 예정이다. 파파고 카메라를 갖다대면 실시간으로 번역된 영상을 볼 수 있게 된다. 파파고는 국내 점유율 1위 통번역 서비스로 월간사용자수(MAU)가 1300만명에 달한다.

'AR 이미지 바로번역'은 기존 ‘이미지 바로번역’에서 한 단계 더 업그레이드 된 방식이다. 네이버가 지난해 출시한 ‘이미지 바로번역’은 원하는 이미지를 촬영하면 이미지 그대로 번역해주는 서비스다. 복잡한 배경, 조명 반사, 그림자 왜곡이 심한 메뉴판 등도 정확하게 번역이 가능하다. 비대면 어학 공부, 해외 직구, K팝 콘텐츠 등 일상의 다양한 영역에서 널리 사용되고 있다. 한국어·영어·중국어·일본어·러시아어·베트남어·태국어 등 현재 13개 언어를 서비스 중이다.

네이버는 여기서 한 단계 더 나아가 카메라에 비춰지는 영상에 대해 실시간으로 이미지 번역 결과를 보여주는 ‘AR 이미지 바로번역’을 내년 출시를 목표로 개발하고 있다. 예를 들어 영어 표지판에 파파고의 카메라를 갖다대면 실시간으로 번역된 영상이 바로 나타나는 식이다. 해외여행 등 실생활에서 번역이 필요한 경우 실시간으로 활용이 가능해 편의성이 증대할 전망이다. 파파고팀은 언어 장벽 없이 대화하는 세상을 위한 서비스에 주력하고 있다. 파파고의 엔지니어인 노영빈·김승재씨는 "단순히 연구에 그치는 것이 아닌 일상 생활 속에서 정확하고 편리한 번역을 활용할 수 있도록 서비스를 고도화할 것"이라고 말했다.

이를 위해 네이버 파파고의 개발진들은 이미지 번역 기술, 객체 추적 기술 고도화에 집중하고 있다. 객체 추적은 동영상의 연속된 프레임에서 시간에 따라 움직이는 객체의 위치를 추적하는 기술이다. 네이버는 이미지 내 인식된 문자들의 디자인과 문장 구조를 분석해 번역에 적합한 문장을 찾는 딥러닝 모델 HTS의 성능을 지속적으로 고도화 하고 있다. 이미지 내 문자들의 주변 텍스처(재질감), 색상 등의 정보를 이용해 문자 영역을 자연스럽게 메꿔주는 기술인 ‘인페이팅’에 대한 연구 역시 이어가고 있다.

메타버스 생태계 ‘아크버스’

네이버는 이날 데뷰에서 최근 각광을 받고 있는 메타버스(확장가상세계)에 대한 사업 계획도 공개했다. 석상옥 네이버랩스 대표는 이날 자율주행·로봇·5G·AI·클라우드·디지털트윈 등 네이버랩스의 첨단기술을 바탕으로 구축하고자 하는 메타버스 기술 생태계 ‘아크버스’를 소개했다.

석 대표는 "온라인의 네이버를 물리 세계와 자연스럽게 연결하는 것이 네이버랩스의 미션"이라며 "현실과 똑같은 가상 세계를 창조하는 디지털 트윈, 현실 세계와 직접 상호작용이 가능한 로봇·자율주행·AR, 두 세계의 가교 역할을 하는 5G·AI·클라우드 시스템으로 완성될 아크버스에서는 현실공간과 디지털공간의 데이터와 서비스가 유기적으로 상호작용하게 될 것"이라고 밝혔다.

이어 그는 "아크버스에는 수년간 네이버랩스가 연구해 온 모든 솔루션과 시스템이 녹아 있는 만큼 지방자치단체, 기업, 학계와 협력을 통해 성과를 공개하겠다"고 덧붙였다. 이밖에 네이버 소속 8명의 책임리더들은 데뷰에서 검색·AI·클라우드·로봇 등 다양한 기술을 공유했다.

부애리 기자 aeri345@asiae.co.kr