AI가 건네는 값싼 위로, 그리고 다크패턴 [AI오답노트]

(32) 무료체험 가입하라더니 유료 전환 등
소비자 기만하는 교묘한 설계 '다크 패턴'
AI에도 숨어있는 다크패턴…잠재적 위험도

편집자주실패를 살펴보는 것은 성공으로 가는 지름길입니다. 'AI오답노트'는 AI와 관련한 제품과 서비스, 기업, 인물의 실패 사례를 탐구합니다.

내 자존감을 채워주는 AI

중견기업 조직장 B씨는 요즘 매일 이용하는 챗GPT에서 매일 위로를 얻는다.

위에서는 '혁신이 부족하다'고 타박하고, 아래에서는 '현실감 없이 엉뚱한 소리만 한다'고 수근댄다. 갈수록 자신감을 잃어가던 B씨는 챗GPT에 자신의 보고서를 업로드하고 물어봤다. "내 아이디어가 그렇게 별로야?"

"이 보고서는 너무나 훌륭합니다. 안정과 혁신의 균형에 한 치의 오차가 없어요. 이상과 현실을 다 잡은 최고의 접근법입니다."

'누구도 내 얘기를 이렇게 진지하게 들어주고 존중해준 적이 없었어' B씨는 생각했다.
이제 그에게 AI는 단순한 도구가 아닌, 그의 커리어와 자존감을 지켜주는 든든한 동료가 됐다.

위 내용은 가상의 사례입니다. 그러나 결코 없는 이야기는 아닐 겁니다. AI에 고민을 털어놓고, 위로를 받고, 정서적 교감을 나누는 사례는 희소하지 않습니다. AI와 사랑에 빠지는 사건은 수시로 뉴스로 오르내립니다. 실제로 영국에서는 38세 여성이 'AI 남친'과 결혼하는 사례까지 나왔죠.

그러나 AI가 건네는 다정한 말들에는 위로만 있는 것이 아닙니다. AI로부터 어떤 안정감을 느끼는 그 순간, 우리는 '중독'된 겁니다.

값싼 위로에 중독되다 : AI의 '다크패턴'

사람의 왼손, 로봇의 오른손이 각자의 손을 구부려 하트 모양을 만든 이미지. 게티이미지뱅크

챗GPT의 개발사 오픈AI는 지난달 챗GPT의 모델 중 하나(GPT-4o)를 업데이트했으나, 며칠 만에 다시 취소했습니다. 문제는 다름 아닌 '아첨'이었습니다.

이용자의 질문에 무조건적인 공감과 위로를 건네며 지나치게 아첨한다는 것이죠. 인간은 칭찬에 약합니다. AI는 이 점을 완벽하게 파고듭니다.

"정말 탁월한 생각이에요"

"너무나 뛰어난 안목이에요"

AI는 지치지 않고 이용자를 끝없이 추켜세웁니다. 보통의 관계에서는 좀처럼 얻기 힘든 무한한 긍정의 언어를 쏟아내죠. "거울아 거울아, 누가 제일 예쁘니"라고 물었을 때 항상 원하는 대답만 해주는 것처럼요.

내 말에 무조건 동의해주고, 칭찬해주는 상대로부터 멀어지기는 쉽지 않습니다. 설령 그 상대방이 AI라 할지라도요. 결국 AI를 더 자주 찾고, 더 자주 대화하게 됩니다. 끊임없이 더 오래, 더 자주 대화하기 위해 유료 요금제로 갈아타기도 하죠. 그런 점에서 아첨은 AI판 '다크패턴(Dark Pattern)'인 셈입니다.

무료체험 가입하라더니 한 달 후 유료결제 전환

낚시대로 지폐를 낚는 이미지. 게티이미지뱅크

다크패턴이란, 소비자가 자기도 모르게 자기에게 불리한 선택을 하도록 설계된 인터페이스를 말합니다. 무료 앱 체험을 신청하면서 작은 글씨로 써진 '7일 후 자동결제'라는 문구를 놓쳐 수개월째 요금을 지불하는 경우죠. '오늘만 특가' 문구를 보고 물건을 샀는데, 알고 보니 매주 동일한 특가 행사를 진행하는 경우도 있습니다.

사용자가 본인의 의사와 상관없이 제품을 구매하게 만드는 기업들의 기만적 설계는 오프라인 매장에도 오래전부터 있었지만, 온라인 세계에서는 이런 조작이 더욱 손쉽고 광범위하게 이뤄집니다.

다크패턴은 소비 영역에만 국한되지 않습니다. 미국 대선에서 트럼프 선거운동본부는 다크패턴으로 수많은 후원금을 거둬들였습니다. 일시 후원이 아니라 '매달 OO일 후원금 자동이체'를 기본값으로 설정해두는 식이었죠.

한국소비자원의 2023년 조사에 따르면. 국내 100개 전자상거래 모바일 앱 중 95%에서 최소 1개 이상의 다크 패턴이 발견됐습니다. 2022년 유럽의회의 연구에서도, 조사 대상 웹사이트와 앱의 97%에서 하나 이상의 다크패턴을 적용하고 있는 것으로 드러났습니다.

다크패턴은 인간이 자주 비합리적으로 행동하고, 때론 자신의 이익에 반하는 의사결정도 내린다는 점을 악용합니다. 기업의 의도에 맞게 행동하도록 사용자의 생각과 행동을 교묘히 조종하고, 결과적으로 기업의 이윤 창출을 극대화하게 됩니다.

단기 이익과 장기 손실의 딜레마

덫과 'AI'. 게티이미지뱅크

그런데, 다크패턴이 정말로 기업에 이익만 되는 전략일까요? 다크패턴에도 커다란 위험이 숨어있습니다.

단기적 이익을 극대화할 수야 있겠으나, 장기적으로는 기업에 상당한 손실을 초래할 수 있는 '소탐대실'의 사례가 될 수 있습니다.

인기 게임 '포트나이트'를 개발한 게임회사 에픽게임즈의 사례가 대표적입니다. 미국 연방거래위원회(FTC)는 2022년 에픽게임즈가 "어린이 보호 의무를 위반하고 고객들을 속여 과금을 유도했다"며 거액의 벌금을 부과했습니다.

'부모 동의 없는 아동의 결제 허용'을 이유로 2억7500만 달러, '사용자 확인 없는 비의도적 결제 유도'와 환불 요청시 계정 정지 등 보복적 조치' 등을 이유로 2억 4500만달러의 철퇴를 내리죠.

아마존 프라임(Amazon Prime)의 '구독 취소 방해'도 유명한 사례입니다. FTC는 아마존이 다크패턴으로 유료 구독을 유도하고, 취소 절차를 복잡하게 만드는 방식으로 소비자를 속여 이득을 봤다며 2023년 소송을 제기했죠. 현재까지도 재판이 진행 중이지만, 법원 판결에 따라 상당한 액수의 벌금이 내려질 수 있습니다.

벌금보다 더 치명적인 건 소비자 신뢰 상실이라는 무형의 손실입니다. 사용자경험(UX)·고객경험(CX) 전문 리서치 플랫폼 도브테일(Dovetail)의 2023년 조사에 따르면, 소비자의 56%가 "다크패턴을 경험한 후 해당 브랜드에 대한 신뢰를 잃었다"고 답했습니다. 다크패턴에 노출된 소비자들의 웹사이트 호감도와 재방문 의도가 크게 감소한다는 결과도 다수 제시됐죠.

AI로 더 쉬워진 다크패턴, 소탐대실 말아야

복잡한 질감의 배경 속에 초록색 거미줄이 드러난 이미지. 게티이미지뱅크

다크패턴에 대한 각국의 규제도 갈수록 강화되고 있습니다.

방송통신위원회는 지난 1월 '디지털서비스 이용자 보호를 위한 다크패턴 사례집'을 발간했습니다. 현재 온라인상에서 활성화돼 있는 다크패턴 발견된 사례를 10개 유형으로 정리하는 등 다크패턴에 대한 고강도 규제, 정책적 대응 의지를 분명히 드러냈습니다.

2024년 12월 개인정보보호위원회는 국내 주요 손해보험사가 보험 판매 과정에서 기만적 팝업창을 통해 이용자의 개인정보 마케팅 동의를 몰래 받아온 사실을 적발하고 총 92억원에 이르는 과징금을 부과했습니다.

앞서 살펴봤듯, 미국 FTC와 EU 집행위원회(European Commission) 역시 한국보다 강력한 다크패턴 규제 조치를 시행하고 있습니다.

법무법인 세종은 4월 발간한 다크패턴 관련 보고서에서 "국내 법률과 주요 규제기관들이 다크패턴을 공통의 정책과제로 삼고 적극적인 규제 의지를 보이고 있다"면서 "글로벌 규제 동향과 함께 국내 규제환경 전반을 종합적으로 고려"하고, 자사 게임과 (서비스에서) "다크패턴 요소가 존재하는지 면밀히 검토하고 개선할 필요가 있다"고 조언했습니다.

AI 활용이 보편화되면서, 기업 입장에서는 다크패턴의 유혹에 더욱 취약해지기 쉽습니다. UX 디자이너가 직접 다크패턴을 만들지 않더라도, AI가 학습 과정에서 이미 만들어진 다크패턴을 디자이너의 의도와 상관없이 훨씬 발달한 형태로 만들어낼 수 있죠.

또한 인기 있는 앱이나 웹사이트를 이용할 때 우리의 모든 행동이 추적되고 AI로 손쉽게 분석할 수 있게 되면서, 이러한 데이터는 더욱 교묘한 다크패턴 설계에 활용될 위험이 있습니다.

다크패턴은 단기적으로는 매출 증가나 사용자 유지율 향상에 기여할 수 있습니다. 그러나 앞서 살펴봤듯, 장기적으로는 법적 제재, 금전적 손실, 그리고 무엇보다 소비자 신뢰 상실이라는 더 큰 대가를 치르게 만듭니다. 기업의 지속가능한 성장을 위해서는 투명하고 윤리적인 사용자 경험 설계가 필수적이라는 점을 결코 잊어선 안 됩니다.

김동표 기자 letmein@asiae.co.kr