"구글링만 했어도…" 광고에 혹해 6000억 증발 [AI오답노트]

(39) AI라는 이름의 겉포장 ‘AI 워싱’
‘AI 자동화로 수익률 2배 실현’ 광고
실제론 사람이 밤샘 수작업 ‘AI워싱’
검증 기준 없고 기대감 커 피해 빈번

편집자주실패를 살펴보는 것은 성공으로 가는 지름길입니다. 'AI 오답노트'는 AI와 관련한 제품과 서비스, 기업, 인물의 실패 사례를 탐구합니다.

"세계 최초 투자 전문 AI, 수익률 200%!"
"치킨 한 마리 값으로 앱 개발까지 완성!"

인공지능(AI) 열풍의 부작용 중 한 가지는, 터무니없는 광고를 너무 많이 보게 된다는 점입니다. 투자, 법조, 의료, 가전, 유통, 패션 등 분야를 가리지 않죠.

그러나 화려한 수사로 도배된 광고의 포장지를 벗겨내면, 황당한 진실과 마주하게 됩니다. AI가 아니라 사람이 수작업을 하고 있다거나, 아예 AI라는 기술 자체가 존재하지 않는 경우도 있습니다. 일명 'AI워싱(Washing)'이죠. 환경친화적임을 내세웠던 기업이 실상은 전혀 그렇지 않았던 과거의 사례, 즉 '그린워싱(Green washing)'에서 따온 개념이죠.

기업들이 이런 속임수를 쓰는 이유는 명백합니다. 이익과 탐욕이죠. 포브스(Forbes)에 따르면, 투자 유치 시 AI를 언급한 스타트업은, 그렇지 않은 기업보다 15%에서 최대 50%까지 더 많은 자금을 확보할 수 있었다고 합니다.

AI가 워낙 '혁신'이라는 의미로 추상화되다 보니, 소비자들도 AI가 적용된 제품이라면 뭔가 좀 더 혁신적이고 효과적일 거라고 생각하는 경향이 있는 것도 사실입니다.

AI워싱은 전 세계적으로 투자자와 소비자들에게 가늠할 수 없는 수준의 피해를 주고 있습니다. 그 실체는 어느 정도일까요.

수천억 투자 유치, 알고 보니 'AI 워싱'

초록색 이미지를 벗겨내자 그 안에 'AI워싱'이라는 단어가 나타나 있다. DAELL-3

빌더.AI(Builder.ai)는 2016년 영국 런던에서 설립된 앱 개발 플랫폼입니다. "피자를 주문하듯, AI를 통해 앱을 쉽게 만들어준다"는 점을 내세웠죠. 복잡한 코딩 지식이 없어도 누구나 앱을 개발할 수 있다는 솔깃한 제안이었습니다. 마이크로소프트(MS), 카타르 투자청 등 전세계 굴지의 기업과 투자자들이 몰려들었습니다. 누적 투자 유치금액만 4억5000만달러(약 6000억원) 달했다고 합니다. 기업 가치가 15억달러(약 2조원)에 달한다는 전망까지 나왔죠.

그러나, 앱을 만들어주는 건 AI가 아니었습니다. 인도와 우크라이나에 있는 700여명의 프로그래머가 수작업으로 코드를 작성하고 있었던 것이죠. 허위 매출, 회계 조작 의혹까지 불거지며 2025년 이 회사는 파산 절차에 들어갔습니다.

이븐업(EvenUp)은 미국 샌프란시스코에 본사를 둔 AI 기반 법률 테크(legal tech) 스타트업입니다. 사건 기록, 의료 기록 등 방대한 데이터를 분석해 AI가 자동으로 소송 업무를 대신해준다는 것이었죠. 수많은 로펌과 변호사들의 반복된 작업을 획기적으로 줄여준다는 평가를 받았습니다. 미국 내 1500개 이상의 로펌이 이 플랫폼을 사용했고, 이 플랫폼이 다루는 소송액만 70억달러(약 9조6000억원)에 달했습니다.

지난해 말, 전·현직 직원들의 충격적인 폭로가 언론을 통해 터져 나옵니다. 'AI가 거의 모든 작업을 자동화해서 신속하게 처리한다'는 광고와 달리, 실제로는 직원들이 밤샘 수작업이 계속돼 왔다는 겁니다. AI의 성능도 의심스러웠습니다. 일부 관리자들은 내부 직원들에게 'AI를 사용하지 말라'고 지침을 내렸을 정도라고 합니다.

"AI로 투자 분석, 증거 없다" 미 증권거래위, 최초 제재

AI와 투자를 형상화한 이미지. 게티이미지뱅크

2024년 3월, 미국 증권거래위원회(SEC)는 투자자문사 델피아(Delphia)에 22만5000달러, 글로벌프레딕션스(Global Predictions)에 17만5000달러의 벌금을 부과합니다.

델피아는 "고객 데이터를 AI와 머신러닝으로 분석해 투자 결정을 내린다"고 홍보했지만, 실제론 그런 기술이 없었습니다. 글로벌프레딕션스는 "자체 설정을 통해 검증된 AI 투자 자문역"을 자칭했지만, 이 역시 거짓이었습니다. 이 사건은 SEC가 ''AI 워싱'을 혐의로 내린 최초의 공식 제재였습니다.

미 연방거래위원회(FTC)는 이보다 앞선 2023년에 'AI워싱'에 철퇴를 내린 바 있습니다. 오토메이터스 AI(Automators AI)는 AI 기반 이커머스 플랫폼을 제공하는 업체였습니다. 자신들의 서비스를 이용하면 아마존과 월마트 온라인 스토어 등에서 월 수만 달러 이상의 수익을 낼 수 있다고 홍보했죠. 그러나 대부분의 고객은 초기 투자금도 회수하지 못했다고 합니다.

FTC는 이 회사가 주장하는 AI 기술과 효과를 입증할 증거가 없었다고 밝혔습니다. 허위·과장 광고로 결론 내린 것이죠. 총 피해액은 2200만 달러(약 300억원)가 넘었습니다.

아마 가장 유명한 AI 워싱 사례 중 하나는 아마존의 무인 결제 시스템, '저스트 워크 아웃(Just Walk Out)' 일 겁니다. 소비자가 매장에 들어가 물건을 고른 후 그대로 나가도 자동으로 결제가 이뤄진다고 홍보했습니다. 매장 곳곳에 설치된 수백 대의 카메라와 AI, 머신러닝이 모든 것을 처리한다고 강조했죠. 하지만 실제로는 인도에서 1000여명의 직원이 매장 영상을 일일이 수동으로 검토하고 있었습니다. 결국 2024년 이 기술을 대부분의 매장에서 중단하기로 결정했습니다.

과도한 기대심리와 느슨한 규정이 만든 AI 워싱

덫 위에 올려진 AI. 게티이미지뱅크

어쩌면 황당하기까지 한, 이러한 AI워싱은 왜 발생하는 것일까요?

영국 벤처캐피털 펀드 MMC벤처스의 조사에 따르면, 유럽 AI 스타트업의 40% 이상이 AI 기술의 효과성을 입증하지 못했다고 합니다. 그럼에도 이들이 AI를 앞세우는 이유는 분명합니다. 포장지에 'AI'를 붙이기만 해도 투자금이 쏟아지기 때문이죠.

신기술 투자회사 오픈오션(OpenOcean)에 따르면, 2022년 기술 스타트업의 10%만이 투자 유치 시 AI를 언급했습니다. 그러다 2023년에는 25%, 2024년에는 35%를 넘어섰죠.

AI에 대한 정의가 광범위하고 느슨하게 사용되고 있다는 점도 문제로 지적됩니다. 한국소비자원은 " 현재 우리가 일컫는 AI는 포괄적인 개념이며 그 정의에 대한 해석의 범위도 넓어, 기업들이 AI를 확대 해석해 자신들의 기술로 AI를 포장하기 쉽다"고 설명합니다. 즉 아주 단순한 자동화 시스템일지라도, 이를 AI라 칭해도 막을 근거가 없는 셈입니다. AI 기술을 검증할 수 있는 체계도 부족합니다.

투자자는 실사 강화, 규제 당국은 기준 세워야

성공과 대박 약속하는 화려한 AI 포장에 속지 않으려면 어떻게 해야 할까요.

실사(Due Diligence)를 강화해야 합니다. 빌더.AI의 경우, 이미 수상한 낌새를 눈치챈 회사도 있었습니다. 빌더.AI에 투자를 검토했던 한 투자자는 "내부 직원 리뷰와 15분 정도의 구글 검색으로도 이상한 점을 두루 찾을 수 있었다"고 합니다. 마땅히 해당 기업의 기술팀과 직접 만나 AI 시스템의 구체적인 작동 방식을 질문하고, 실제 고객 성과와 사례를 검증하는 것이 중요합니다.

아울러 소비자들은 약간의 수고로, 많은 위험을 회피할 수 있습니다. 광고에 혹해 유료 결제를 하기 전에, 무료 체험판이나 데모를 통해 실제 성능을 테스트하고, 경쟁 제품과 직접 비교해볼 수 있겠죠.

투자자든 소비자든, AI워싱에 당하지 않기 위한 가장 기초적인 방책은 비판적 태도입니다. 화려한 AI 포장지를 벗기고 그 안에 담긴 구체적인 증거와 데이터를 확인하고 질문하는 것. 이것이 AI워싱을 피해가는 가장 간단한 방법일 겁니다.

기업들의 각성도 필요합니다. KB금융경영연구소는 "기업은 실제 사용한 AI 기술과 일치하는 투명한 정보를 제공하고, 규제 기관 등의 감사나 외부 의혹에 대비해 그 내용을 기록하고 문서화해야 한다"고 제언했습니다.

마지막으로 정부와 규제 당국의 역할이 필요합니다. 미국의 경우 SEC, FTC 등이 나서 AI 워싱에 대한 강력한 경고를 보낸 바 있죠. SEC 게리 겐슬러 의장은 2024년 "AI를 사용하지 않으면서 사용한다고 말해 대중을 오도해서는 안 된다"며 "이러한 AI 워싱은 투자자에게 피해를 준다"고 지적했습니다.

FTC는 2024년 9월 '오퍼레이션 AI 컴플라이(Operation AI Comply)라는 단속안을 발표했습니다. 리나 M. 칸(Lina M. Khan) FTC 의장은 "AI도구를 이용해 사람들을 속이거나 오도하는 행위는 명백한 불법"이라며 AI를 활용한 불공정 행위를 단속하고 소비자를 보호하겠다고 강조했습니다.

유럽에서는 영국 광고표준위원회(Advertising Standards Authority)가 AI 관련 허위 광고를 금지하는 규칙을 제정했는데, 이는 실질적으로 오해를 발생시킬 수 있는 내용의 진술, 문구를 금지하는 내용을 담고 있습니다.

김동표 기자 letmein@asiae.co.kr