AI 앞세운 프로젝트, 85%가 망하더라 [AI오답노트]

(28) 너도나도 "AI로 혁신"…결과는 실패
최다 요인은 '무턱대고 지시만 내리는 리더십'
데이터 편향, IT 인프라 미흡 등도 주 원인

편집자주실패를 살펴보는 것은 성공으로 가는 지름길입니다. 'AI오답노트'는 AI와 관련한 제품과 서비스, 기업, 인물의 실패 사례를 탐구합니다.

인공지능(AI)으로 뭔가를 새로 시작하려고 한다면, 일단 '실패'를 기본값으로 두어야 합니다. 개발 기간, 노력, 자본이 부족하기 때문은 아닙니다. '아동학대 판별 AI'를 만들겠다며 4년간 투자한 일본 정부는 최근 해당 프로젝트를 중단하기로 했습니다. 판정 오류가 너무 많았죠.

시장조사기관 가트너에 따르면, AI 프로젝트의 85%가 실패했습니다. 이는 일반 IT 프로젝트 실패율의 두 배가 넘는 수치입니다. 우리가 흔히 보는 성공적인 AI 서비스, 상품, 솔루션은 사실상 실패의 무덤 속에서 탄생한 셈이죠.

그러면 AI 프로젝트는 왜 이렇게 자주 실패할까요?

무턱대고 지시만 내리는 리더십

"이 펜을 나에게 팔아보세요"라고 하자, "이거 AI로 작동합니다"라고 답하는 상황을 묘사한 밈(Meme). 'AI'라는 말 자체가 마케팅 도구로 남용되는 현실을 풍자하고 있다. 영화 '울프 오브 월스트리트'의 한 장면을 패러디한 것으로, 영어권 커뮤니티인 레딧(Reddit) 등에서 많은 인기를 끌었다. Reddit 캡처

미국 싱크탱크 랜드연구소가 65명의 AI 전문가 인터뷰를 바탕으로 조사한 결과, AI 프로젝트의 가장 흔한 실패 원인은 다름 아닌 '리더십'이었습니다.

회사 경영진이 해결해야 할 '진짜 문제'를 정확히 파악하거나 전달하지 못해, 기술진·실무진이 잘못된 지표를 최적화하거나 가치가 낮은 영역에 집중하는 경우가 많았습니다.

비상경영에 돌입한 한 전자상거래 기업의 경영진은 비즈니스 혁신의 해결책으로 AI를 꼽았습니다. 기술진은 'AI를 통한 판매량 급증'이라는 결과를 가져왔죠. 언뜻 성공적으로 보였습니다.

그러나 이 모델은 판매량 자체에만 초점을 맞췄기 때문에, 제품당 영업이익, 재고관리, 객단가 등 핵심지표에는 소홀했죠. 경영진은 자신들이 단순한 판매량 증가가 아니라, '가장 높은 이윤을 가져오는 AI 모델'이 필요했다는걸 깨달았습니다. 그러나 6개월이라는 시간과 비용, 인력이 이미 소모된 후였죠.

랜드연구소는 "AI 프로젝트가 실패하는 가장 흔한 이유는 프로젝트의 의도와 목적에 대한 오해와 의사소통 부족"이라면서 "리더는 기술·개발·실무 직원이 프로젝트 목적과 맥락을 명확히 이해하도록 해야 한다"고 강조했습니다.

프로젝트를 시작할 때는 '무엇을 위해 이 프로젝트를 하는가'를 분명히 해야 한다는 것이죠. 세상에 둘도 없는 아이디어, 천문학적인 투자금의 규모가 없어서 실패한 게 아니었던 겁니다.

데이터 편향과 품질 문제로 인한 실패

데이터 분포도를 묘사한 이미지. 게티이미지뱅크

일본의 아동복지사는 만성적인 과로에 시달리는 직종입니다. 일본 아동가정청은 AI로 이들을 도우려고 했죠. 아동의 신체 상태, 보호자의 행태 등 각종 데이터를 입력해 AI로 하여금 학대 가능성을 도출하게 했죠. 그러나 예상대로 흘러가지 않았습니다.

아동복지사의 격무가 사라지기는커녕, 오히려 더 큰 스트레스가 되어버렸습니다. 판정이 엉터리인 경우가 너무 많았기 때문이죠. 누가 봐도 신체적 학대가 분명한 상황에서는 '학대 가능성이 낮다'고 판정하는가 하면, 애먼 부모를 아동학대 보호자로 몰고 가기도 했죠.

판정을 위한 학습데이터가 부족하고 편향적이었던 탓입니다. 특히 상처가 직접적으로 드러나지 않는 심리적 학대는 감지하기 어려웠죠.

충분히 대표성이 있는 다양한 데이터를 확보하고, 필요한 경우 데이터 정제와 보강 작업을 선행해야 합니다. 만약 데이터를 수집하기가 어려운 상황이라면, 프로젝트 범위를 축소하거나 데이터를 모을 수 있는 선행 작업(파일럿 데이터 수집)을 거치는 것이 중요합니다.

'외딴 섬'처럼…고립된 AI

AI는 수많은 네트워크와 유기적으로 연결돼야 제대로 작동할 수 있습니다. 게티이미지뱅크

데이터 그 자체만큼이나, 데이터를 둘러싼 인프라를 구성하는 것도 중요합니다. 원유가 매장된 지역을 찾았다 한들, 원유를 뽑아내고 운송하는데 드는 인프라가 없으면 무용지물인 것과 마찬가지입니다.

탁월한 AI 서비스, 모델을 개발했음에도 그 기술이 혁신으로 이어지지 못하는 경우도 있습니다. 가트너에 따르면, 처음 개발된 AI 모델이 실전에 투입되는 경우는 약 54% 수준에 불과하다고 합니다. 어렵게 개발을 해놨더니, 실험실 밖으로 나가지도 못하는 경우가 절반인 셈이죠.

한 제조사는 공장설비 고장예측 AI 모델을 개발했습니다. 꽤 뛰어난 오류탐지율을 보였죠. 그러나 이 모델은 현장에 배치되지 못했습니다. 고장예측을 위해서는 공장에 분산된 각종 기계에서 다양한 데이터를 실시간으로 받아들여야 합니다. 즉, 데이터 수집을 위한 사물인터넷(IoT) 인프라를 고려하지 못했던 것이죠.

공들여 개발한 모델이 현장에 적용되지 못하고 방치되는 건 그 자체로 시간낭비 자원낭비입니다. 현장에서는 AI에 대한 기대를 잃고, 경영진은 투자 대비 성과를 못 느껴 AI 자체에 대한 신뢰마저 떨어지게 됩니다. 이는 향후 신규 AI 프로젝트, 예산 편성 기회 축소로 이어져 장기적인 손해가 됩니다.

자동차를 굴리려면 엔진만이 아니라, 바퀴도, 차체도 필요한 법입니다. AI 프로젝트는 초기 기획 단계부터 배포와 운영을 염두에 두어야 합니다. 예산과 일정에 인프라 구축 및 시스템 통합 작업을 반영하고, 개발팀과 IT 운영팀이 협업하도록 조직화해야 하는 것이죠.

또한 AI 모델을 출시한 후에도 성능을 모니터링하고 개선할 체계를 갖추어야 합니다. 이렇게 해야 AI 모델이 연구실 실험으로 끝나지 않고, 현실의 비즈니스 프로세스에 안착할 수 있습니다.

"이력서에 한 줄 넣어 봐야지"…최신 기술 선호 편향

미국 텍사스 오스틴에 있는 테슬라 공장의 모습. AFP연합뉴스

2017년 테슬라는 자동차 모델3 생산 공정을 최대한 자동화하기로 했습니다. 그러나 자동화 로봇 간의 협업이 예상만큼 이뤄지지 않았습니다. 시스템 오류가 잦아지면서 생산 속도가 크게 저하되었죠.

결국, 최고경영자(CEO) 일론 머스크는 "우리가 자동화를 과신했다. 사람의 능력을 과소평가했다"라고 인정하며, 일부 공정을 다시 인간 노동으로 대체해야 했죠.

최신 기술을 도입하는 것, 그 자체가 목표가 되어버리면 정작 해결해야 할 문제를 놓치는 경우가 많습니다. 특히 기술직군에서는 이런 일이 많죠. 목적 달성을 위한 적절한 도구를 선택하기보다, 이력서를 포장하기 위한 최신 기술 사용에 우선순위를 두는 경우가 있다는 겁니다.

최신 기술 시도가 반드시 비효율적인 것은 아니지만, 프로젝트의 목적과는 무관하게 복잡성만 증가시키면 실패 확률이 높아집니다. 소규모 파일럿 테스트를 통해 AI 도입의 실효성을 검증하고, 단계적으로 확대하는 접근이 실용적입니다.

기술과 시스템, 모두의 한계를 고려해야

AI는 모든 문제를 해결할 수 있는 만능 기술은 아닙니다. 예측과 분류, 패턴 인식에 능하지만, 주관적 해석이나 희귀 케이스 대응에는 약점이 있습니다.

기술적, 상황적 한계를 무시하고 무턱대고 AI를 적용하면, 기대에 크게 미치지 못하는 결과를 초래할 수 있습니다. AI의 기술적 한계를 명확히 인식하고, 해결 가능한 문제에 집중해야 합니다.

가령 생명공학과 같이 민감한 분야에서는 AI 모델 검증을 더욱 철저히 해야 하며, 전문가와의 협업을 강화해야 한다. 아울러 AI를 본격 도입하기 전에 파일럿 프로젝트를 진행하여 실효성을 검증한 후, 점진적으로 확대하는 접근이 필요합니다.

종합하자면, AI 프로젝트의 실패율이 높은 이유는 단순한 기술적 문제 때문이 아니었습니다. ▲잘못된 문제 정의, ▲저품질 데이터, ▲단순한 최신기술 지향, ▲종합적 인프라 부족, ▲AI 기술 한계 미고려 등이 복합적으로 작용한 결과입니다.

성공적인 AI 프로젝트를 위해선 비즈니스 목표를 명확히 하고, 데이터 품질을 관리하며, 운영 환경을 고려하는 등 종합적인 접근이 필수적입니다. 아울러 기술 그 자체가 아니라, 문제 해결에 집중하는 태도를 잊지 말아야 합니다.

김동표 기자 letmein@asiae.co.kr