무선청소기 단점이 '짧은 코드선?' MS 빙챗봇도 오류투성이

엔지니어의 빙 AI 챗봇 사용후기 확산
무선청소기 단점에 "코드선 짧다" 답변

[아시아경제 정현진 기자] 마이크로소프트(MS)의 검색 엔진 '빙'에 탑재한 AI 챗봇이 잘못된 정보를 쏟아낸다는 주장이 나왔다. 구글의 AI 챗봇 '바드'가 공식 석상에서 오답을 내놓으며 주가가 폭락한 상황에서 MS가 지난 7일(현지시간) 내놓은 AI 챗봇도 '오류투성이'라는 지적을 받게 된 것이다. 인공지능(AI) 챗봇 경쟁이 심화하는 가운데 답변의 정확성과 사실 부합 여부가 앞으로 큰 주목을 받을 것으로 예상된다.

[이미지출처=AP연합뉴스]

◆ MS 빙 AI 챗봇, 무선 청소긴데 단점이 코드 선이 짧다고…

20대 소프트웨어 엔지니어인 드미트리 브레르턴은 14일 자신의 블로그에 MS 빙 AI 챗봇 사용 후기를 올렸다. 그는 빙 AI 챗봇의 데모(실험) 버전이 완전히 잘못된 답변을 내놨다면서 "빙 AI를 믿을 수 없다. MS가 단기에 대대적으로 홍보하기 위해 문제가 있는 제품을 일부러 공개했다"고 비판했다. 그가 자신의 링크드인에 올린 이력을 보면 브레르턴은 실리콘밸리 IT 기업에서 주로 활동해왔으며 현재도 캘리포니아 샌프란시스코에 기반을 둔 고객관계관리(CRM) 소프트웨어 회사의 엔지니어로 활동하고 있다.

블로그 글에 따르면 브레르턴은 우선 애완동물용 청소기를 구매하기 위해 베스트셀러인 세 제품의 장단점을 목록으로 만들어달라고 요구했다. 빙 AI 챗봇이 제시한 청소기 중 미국 청소기 브랜드 '비셀'의 제품이 있었고 단점으로 소음과 짧은 코드 선이 언급됐다. 문제는 이 제품이 무선 청소기였고 빙 AI 챗봇이 정보 출처라고 언급, 제시한 기사 내용에 소음에 대해서는 전혀 언급이 없었다는 점이다. 브레르턴은 "빙 AI가 명예훼손으로 소송당하는 일을 즐기길 바란다"고 비꼬아 말했다.

(사진출처=소프트웨어 엔지니어 드미트리 브레르턴이 블로그에 올린 글 캡쳐)

브레르턴은 또 빙 AI 챗봇에 멕시코의 수도 멕시코시티로 5일간 여행을 갈 것이며 현지에서 밤 문화를 즐길 수 있는 일정을 만들어달라고 요구했다. 빙 AI 챗봇은 현지의 한 바를 추천했고 바의 홈페이지에 들어가서 예약을 하고 메뉴를 확인하라고 제시했다. 하지만 실제 홈페이지에서는 예약이 불가능했고 메뉴를 확인할 수도 없었다. 또 다른 바 2개에 대해서는 온라인상에 리뷰가 없다고 했지만 수천개의 리뷰를 볼 수 있었다고 브레르턴은 지적했다.

기업 실적을 지어내거나 잘못된 숫자를 제시하는 경우도 있었다. 브레르턴이 미 패션업체 GAP의 지난해 3분기 실적에 대해 질의했는데 조정 총마진율은 38.7%였으나 조정 전 총마진율인 37.4%를 제시하며 조정된 숫자라고 답했다. 희석 주당이익은 아예 새로운 숫자를 지어내서 0.42달러라고 답했지만 실제로는 0.71달러(조정 후), 0.77달러(조정 전)였다.

브레르턴은 "빙 AI 챗봇이 언론에 큰 주목을 받는 데 큰 역할을 했지만, 이 제품이 구글의 바드보다 더 나은 것은 아니다"라면서 "MS가 오답을 쏟아내는 이 제품을 좋은 제품처럼 내놓은 것에 놀랐고, 이 속임수가 통해 모두가 빙 AI 챗봇 광고 행위에 그 어떤 의구심 없이 뛰어든 것에 충격받았다"고 말했다.

브레르턴의 글을 보도한 미 경제매체 비즈니스인사이더에 MS 측은 "이 글에 대해 알고 있다. 아직 우리가 해야 할 일이 있다는 것을 알고 있고 데모 기간 동안 시스템이 잘못된 정보를 제공할 수 있다는 점을 인지하고 있다"면서 "그것이 더 배우고 개선할 수 있도록 피드백을 받는 것이 중요한 이유"라고 입장을 내놨다.

◆ "AI 챗봇에 서둘러 투자하지 마라"

MS의 빙 AI 챗봇과 관련한 지적이 나온 건 구글의 바드가 오답을 내놨다는 지적을 받고 난 이후다.

MS가 투자한 오픈AI가 챗GPT를 출시, 대성공을 거두자 다급했던 구글은 지난 6일 AI 챗봇 바드를 공개하고 시연했다. 당시 구글 바드는 "아홉살 어린이에게 '제임스웹 우주망원경'의 새로운 발견에 대해 어떻게 설명해줄 수 있을까"라는 질문에 "태양계 밖의 행성을 처음 찍는 데 사용됐다"고 답했다. 하지만 실제 태양계 밖 행성을 최초로 촬영한 망원경은 제임스웹 우주망원경이 아닌 2004년 유럽 남방천문대가 설치한 초거대 망원경 VLT였다.

이 소식이 전해진 뒤 구글의 모회사인 알파벳의 주가는 폭락했다. 바드 출시 소식에 하루 만에 5% 가까이 주가가 올랐다가 AI 챗봇 오답 후폭풍에 주가가 뚝뚝 떨어진 것이다. 구글 내부에서도 '성급했다', '망쳤다'는 등 비판이 쏟아졌다는 외신 보도도 나왔다.

구글과 MS의 AI 챗봇 경쟁은 이달 들어 한층 치열해졌다. MS의 투자를 받은 오픈AI가 지난해 11월 공개한 챗GPT는 불과 두 달 만에 누적 이용자 1억명을 기록하며 대성공을 거뒀다. 이를 계기로 챗GPT와 같은 생성형(generative) AI가 IT 산업의 '게임 체인저'가 될 것이라는 전망이 쏟아졌고, 이달 초 MS와 구글은 각각 준비해왔던 AI 챗봇을 다급히 공개, 경쟁을 본격화했다.

다만 구글과 MS가 개발한 AI 챗봇이 모두 오답을 내놓는다는 지적이 일면서 다소 성급했다는 지적은 피할 수 없을 것으로 보인다. CNBC방송 등에 따르면 구글 모회사 알파벳의 존 헤네시 이사회 의장도 전날 한 행사에서 구글이 아직 준비가 덜 된 상태에서 챗GPT와 비슷한 기술을 보유하고 있다는 것을 보여주기 위해 바드를 공개했다면서 생성형 AI가 실제 삶에 유용한 도구가 되려면 앞으로 1~2년은 더 시간이 필요할 것이라고 전망했다.

'인터넷의 아버지'라 불리는 빈트 서프 구글 수석 전도사도 같은 행사에서 "'핫 토픽(hot topic)'이라는 이유만으로 AI 챗봇에 앞다퉈 투자하지 말라"고 경고했다. 1970년대에 현재 인터넷의 토대가 된 TCP/IP 개발에 기여한 그는 "모두가 챗GPT나 구글 버전을 얘기하지만, 그것은 우리가 원하는 대로 항상 작동하지 않는다는 것을 우리는 잘 알고 있다"면서 "깊게 생각하라. 앞으로 어떤 일이 일어날지 항상 예측할 수 없다"고 말했다.

정현진 기자 jhj48@asiae.co.kr