AI 비서 IQ테스트 1등은 '구글'…800개 문제 거의 맞춰

아마존 알렉사, 애플 시리 등 큰 차이로 앞질러
길 안내, 쇼핑, 정보 검색, 명령 이해 등 대부분 영역서 1위

[아시아경제 이민우 기자] 글로벌 IT기업들의 음성인식 인공지능(AI) 비서를 대상으로 진행한 지능검사에서 구글이 1등을 기록했다. 문제를 이해하는 능력, 답변 정확도 모두 우수한 성적을 거뒀다. 구글 뿐만 아니라 대부분의 AI 비서들이 지난해 검사 때보다 전반적으로 개선됐다.

15일(현지시간) IT전문매체 벤처비트는 루프 벤처스가 진행한 '2019 디지털 비서 IQ 테스트' 결과를 인용해 이 같이 전했다. 루프 벤처스는 구글, 아마존, 애플 등 각 기업의 AI 비서에게 동일한 800개의 질문을 던지는 식으로 테스트를 진행했다.

검사 결과 구글의 '구글 어시스턴트'가 1위를 기록했다. 800개 질문 모두를 완벽히 이해했으며 답변 정확도도 92.9%를 기록했다. 지난해 검사 당시 기록했던 85.5%보다 상당한 수준으로 개선된 셈이다. 이는 어떤 질문에도 오류가 자주 발생하지 않는 수준이라고 평가받았다.

애플의 시리는 질문은 잘 이해했지만 답변은 비교적 정확하지 않은 편이었다. 시리의 질문 이해도는 지난해 99%에서 올해 99.8%로 상승했다. 다만 답변 정확도는 83.1%에 그쳤다. 지난해 78.5%에 비교해선 상승했지만 아직 지난해 구글 어시스턴트 수준에도 못 미쳤다.

아마존의 알렉사는 지난해보다 크게 개선되며 3위를 차지했다. 질문의 99.9%를 정확히 이해했으며 답변 정확도는 79.8%를 기록했다. 지난해 61.4%보다 20%포인트(P) 가량 올랐다. 루프 벤처스가 AI비서 IQ테스트를 진행한 이래 가장 큰 폭으로 상승했다.

마이크로소프트(MS)의 AI비서 '코타나'는 이번 테스트 대상에서 제외됐다. MS의 제품에서 코타나가 점차 사라지고 있는 추세이기 때문이라고 설명했다. 지난해 코타나의 답변 정확도는 52.4%에 불과했다.

출처=루프벤처스 홈페이지

한편 루프 벤처스는 이번 검사를 '지역 정보', '쇼핑', '길 안내', '일반 정보', '명령 이해' 등 다섯가지 범주로 나눠 평가했다. 때문에 전 영역에서 두루 좋은 점수를 받아야 높은 점수를 받을 수 있었다. 구글 어시스턴트는 5개 영역 중 4개 영역에서 타 AI비서보다 우수한 점수를 받았다. 특히 쇼핑 영역에선 92%의 답변 정확도를 기록하며 알렉사(71%), 시리(68%) 등을 크게 앞질렀다. 다만 '명령 이해' 영역에선 시리가 93%의 정확도를 기록하며 구글 어시스턴트(83%)를 상회했다.

루프 벤처스 측은 "AI비서들이 정확도 100%를 향해 개선되고 있는 것은 분명하지만 이것이 AI비서가 지능적이라는 의미는 아니다"라며 "단지 이용자들의 정형화된 사용 행태에 대해 반응이 빨라지고 정확해지는 것일 뿐"이라고 설명했다.

이민우 기자 letzwin@asiae.co.kr