본문 바로가기
bar_progress

글자크기 설정

닫기

엄마도 몰라본 내얼굴, 아이폰은 알아보고 '잠금 해제' [AI오답노트]

시계아이콘03분 27초 소요
숏뉴스
숏 뉴스 AI 요약 기술은 핵심만 전달합니다. 전체 내용의 이해를 위해 기사 본문을 확인해주세요.

불러오는 중...

닫기
뉴스듣기 글자크기

⑩ AI의 ‘피드백 데이터 리스크’
반복되는 입출력으로 재학습 및 교정
악의적 이용 반복될 땐 위험한 AI로

편집자주실패를 살펴보는 것은 성공으로 가는 지름길입니다. 'AI오답노트'는 AI와 관련한 제품과 서비스, 기업, 인물의 실패 사례를 탐구합니다.

애플의 아이폰 이용자에겐 얼굴이 열쇠입니다. 스마트폰 전면 상단에 달린 카메라에 얼굴 인식 보안 기술인 ‘페이스ID’가 탑재돼 있어, 폰 잠금 해제부터 결제, 신원인증 등 모든 절차가 간편하죠.


물론 최초 이용을 위해선 사용자의 얼굴을 등록하는 절차를 거쳐야 합니다. 적외선 카메라의 요구에 맞춰 얼굴을 이리저리 돌리며 얼굴을 촬영하게 됩니다. 잠깐의 불편함만 감수하면 앞으론 무척 편해집니다. 카메라는 얼굴 표면의 패턴과 눈과 눈 사이 등 각종 거리를 측정합니다.


3차원 안면 분석과 자체적인 뉴럴 엔진 분석까지 거치기 때문에, 인식률이 매우 높죠. 적외선이기 때문에 밝은 빛이 필요하지도 않아 어두운 곳에서도 잘 작동합니다. “아이폰의 킬러콘텐츠는 페이스ID다”라는 말이 그리 큰 과장은 아닐 겁니다.


페이스ID의 위력은 ‘피드백 데이터’에서 나온다
엄마도 몰라본 내얼굴, 아이폰은 알아보고 '잠금 해제' [AI오답노트] 얼굴 인식 시스템을 묘사하는 그림. 게티이미지뱅크
AD

그런데 잠깐 생각해보면, 사용자의 얼굴은 매일 매 순간 같지 않죠.


안경을 쓸 수도 있고, 아니면 안경테를 바꿀 수도 있죠. 수염을 기르거나, 헤어스타일을 바꾸는 경우도 있고요. 마스크를 쓰기도 하고, 때론 화장법을 달리할 수도 있습니다. 그럴 때마다 얼굴을 새로 등록해야 할까요? 아닙니다. 그래도 잘 작동합니다. ‘페이스ID가 킬러콘텐츠’라는 말이 괜히 있는 게 아니죠.


페이스ID는 이용자의 안면에 약간씩 변화가 생길 때마다, 달라진 패턴을 파악합니다. 특히 간혹 나오는 ‘인식 실패’는 가장 소중한 데이터입니다. 비밀번호를 거쳐 재확인된 이용자의 얼굴이, 그 전의 얼굴과 동일하다는 피드백을 얻기 때문이죠.


그러면 내장된 알고리즘은 새로운 외모와 이전에 등록된 얼굴을 연관 지어 재학습합니다. 수십번, 수백번의 인식 성공과 실패가 피드백 데이터가 되는 겁니다. 이 피드백 데이터가 쌓이면 쌓일수록, 페이스ID의 인증 성공 확률은 더욱 높아지죠.


테슬라 자율주행 사고율이 감소하는 이유
엄마도 몰라본 내얼굴, 아이폰은 알아보고 '잠금 해제' [AI오답노트]

AI 모델이 수많은 트레이닝 데이터 학습을 마쳤다고 해서 AI 모델 개발이 끝난 게 아닙니다. 출시 이후에도 피드백 데이터로 꾸준히 학습해야 합니다. 트레이닝 데이터(이용자의 첫 얼굴)로 학습을 시키고, 입력 데이터(지금 얼굴)를 넣으면 출력(인증 성공 또는 실패)이 나오죠. 출력값을 매번 흡수해서 정확도를 향상시킵니다.


상황과 환경은 끊임없이 변화합니다. 그렇기 때문에 AI 모델의 정확성을 유지하려면, 피드백 데이터를 지속적으로 공급하면서 모델을 업데이트해야 합니다. 우리가 일상에서 매일 만나는 내비게이션이나, 쇼핑 앱의 상품 추천도 마찬가지입니다.


도로가 새로 개통되거나, 아니면 도로가 막히거나 하는 등 새로운 데이터가 발생하면 그걸 즉시 흡수해야 하죠. 그러지 않고 옛날 데이터로만 최적화된 경로를 안내한다면 이용자들은 더이상 그 내비게이션 앱을 이용하지 않을 겁니다.


테슬라의 자율주행 기능도 차량에 달린 8개의 카메라가 받아들이는 데이터로 피드백을 받습니다. 기존에 설계한 알고리즘에 더해서 새로운 정보를 받아들이고, 더 나은 결정을 하게 되죠. 테슬라 차량의 사고율은 해마다 줄어들고 있습니다. 최초 학습된 데이터로만 주행한다면 불가능할 일이죠.


내게 꼭 필요한 상품을 잘 추천해주는 쇼핑 앱도 마찬가지입니다. 최초 가입 때 입력했던 나이, 성별, 지역, 구매 이력만으로는 부족합니다. 달라진 쇼핑 패턴, 주기, 시간대 등의 데이터가 필요하죠. 그래야 소비자에게 딱 맞는 추천을 할 수 있게 됩니다.


"페미들은 모두 지옥으로!" 차별·혐오주의자가 된 챗봇
엄마도 몰라본 내얼굴, 아이폰은 알아보고 '잠금 해제' [AI오답노트] 챗봇 테이(Tay)가 "우리는 장벽을 세울 거고, 그 비용은 멕시코가 댈 거다"라고 자동 응답하는 상황.

피드백 데이터의 중요성은 실패 사례에서도 잘 드러납니다.


2016년 마이크로소프트(MS)는 챗봇 서비스 테이(TAY)를 출시했습니다. 이용해본 사람은 많지 않을 겁니다. 출시 16시간 만에 서비스를 닫았거든요.


챗봇, 즉 이용자와 자유롭게 대화를 주고받는 서비스였던 테이는 트위터나 메시징 서비스 킥 등에서 이용할 수 있었습니다. 이용자와 자연스럽게 대화하면서 나오는 텍스트 데이터를 분석하고, 적절한 응답을 하는 구조였죠. 즉 사람과의 대화를 피드백 데이터로 두고 있었죠. 더 많이 대화할수록 더 많은 데이터가 수집되어 대화가 더 자연스러워질 수 있었죠.


하지만 테이는 곧 위험한 상황에 직면합니다. 서비스 공개 직후 입소문이 나면서, 백인 우월주의자·여성혐오 세력·무슬림 반대 세력 등이 모이는 익명 온라인 게시판에 “테이가 차별 발언을 하도록 훈련시키자”는 제안이 올라온 겁니다. 대화 상대방을 가리지 않았던 테이는, 이내 이들과 말을 섞게 됩니다. 이들은 “내가 하는 말을 따라해보라”면서 차별적이고 혐오적인 발언을 계속 했습니다.


“홀로코스트가 진짜로 일어났냐고? 아니, 그건 조작된 거야”
“페미니즘에 대해 어떻게 생각하냐고? XX, 페미니스트들은 모두 지옥으로 가야해”
“우리는 장벽을 세울 거야. 비용은 멕시코가 댈 거고(도널드 트럼프 당시 대통령 후보의 발언)’”

불과 몇 시간 만에 테이는 인종차별주의자, 성차별주의자, 정치적 극단주의자로 변했습니다. 대화에서 나온 내용을 학습하고 모방하도록 설계된 구조의 한계가 극명하게 드러난 순간이었죠. 결국 MS는 테이 운영을 중지하고 공개 사과해야 했습니다.


테이의 사례는 필터링 되지 않은 피드백 데이터의 위험성을 상기시켰습니다. 미국의 IT전문매체 더버지는 “(테이는)모델링, 정리 및 필터링된 공개 데이터를 사용해 구축됐지만, 챗봇이 출시된 이후에는 필터링이 사라진 것으로 보인다”고 했습니다. 적절한 입력(사용자와의 대화) 부적절한 대화를 구별하는 보호 장치가 없었다는 지적이죠. 유해한 패턴을 신속히 파악하고, 그러한 정보가 피드백 데이터로 분류되지 않게 필터링하고 큐레이팅을 해야 합니다.


피드백 데이터로 대박 터트린 넷플릭스
엄마도 몰라본 내얼굴, 아이폰은 알아보고 '잠금 해제' [AI오답노트]

피드백 데이터를 받는 건 좋지만, 피드백 데이터의 다양성도 무척 중요합니다. 넷플릭스의 핵심 경쟁력은 ‘추천’입니다. 시청자의 취향에 꼭 맞는 콘텐츠를 추천하죠. 넷플릭스가 이런 경쟁력을 얻기까지는 적잖은 실패가 있었습니다.


한때(2006~2009년) 넷플릭스는 ‘넷플릭스 프라이즈(Netflix Prize)’라는 데이터 예측 대회를 열었습니다. 별점 평가 시스템을 개선하기 위한 목적이었죠. 별점은 이용자들이 콘텐츠 볼 것인가 말 것인가 결정하는 매우 중요한 데이터였습니다. 그렇기에 이용자의 실제 기대와 별점은 최대한 일치해야 했습니다. 예상 별점이 4.5점이길래 봤더니, 이용자는 정작 2.5점짜리라고 평가했다면, 그 이용자는 다시는 예상 별점을 신뢰하지 않을 겁니다. 별점이라는 등대 없이 무수히 많은 콘텐츠의 홍수를 헤매는 이용자는 넷플릭스로부터 멀어질 수도 있습니다. 이건 넷플릭스 입장에선 최악의 상황이죠.


예상 별점과 실제 별점을 일치시키는 건 쉽지 않았습니다. 어떤 이용자들은 예술 영화에는 후하게 별점을 주는데, 오락 영화에는 유독 박했죠. 또 ‘보고 싶은 영화’와 ‘봐야 할 것 같은 영화’를 철저히 구별했습니다. 사회적으로 또는 정치적으로 바람직하다고 여겨지는 영화에 대해서도 높은 별점을 매기는 경향이 있었습니다. 특정 배우가 좋거나 싫다는 이유로 별점을 터무니없이 많이 주거나, ‘별점 테러’를 하는 경우도 있었고요. 별점만으로 이용자의 기대를 충족시키긴 너무도 어려웠습니다.


넷플릭스는 변화를 시도합니다. 새로운 피드백 지표를 도입한 것이죠. 시청 완료율, 시청 지속시간, 몰아보기(binge-watching), 다시보기, 공유, 댓글 등 다양한 데이터를 수집해 추천 알고리즘에 결부시켰습니다. 더 많은 피드백 데이터를 학습하게 된 넷플릭스 추천 시스템은 놀랍도록 진화했죠. 평균 시청 시간이 늘었고, 중도 시청 이탈률도 감소했습니다. ‘추천 콘텐츠가 믿을 만하다’는 이용자 인식이 굳어지면서, 추천 콘텐츠의 클릭률도 크게 높아졌죠.


AD

이처럼 피드백 데이터는 AI 모델의 성패를 좌우하는 결정적 요소입니다. 다만 피드백 데이터에 관한 논의는 여기서 끝은 아닙니다. 피드백 데이터 그 자체만큼이나, ‘피드백 데이터 구조’도 중요합니다. 이건 다음 편에서 다뤄보겠습니다.

다음 연재 예고
⑪빙(Bing)이 구글을 못 넘는 이유(12월28일)
⑫”파업 의사 따위 AI로 대체하자”는 생각(2024년 1월4일)



김동표 기자 letmein@asiae.co.kr
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제(www.asiae.co.kr) 무단전재 배포금지>

AD
AD

당신이 궁금할 이슈 콘텐츠

AD

맞춤콘텐츠

AD

실시간 핫이슈

AD

놓칠 수 없는 이슈 픽

  • 25.04.2510:33
     김동연 "진정성이 강점…끼니걱정 '소년가장 삶' 이력 봐달라"
    김동연 "진정성이 강점…끼니걱정 '소년가장 삶' 이력 봐달라"

    더불어민주당 대선 예비후보인 김동연 경기지사는 "제가 지금까지 살아온 삶의 이력을 봐달라. 끼니 걱정하는 소년 가장이 여기 왔다"고 말했다. 김 지사는 24일 아시아경제와의 인터뷰에서 "(대선에 나선 모든 후보 가운데) 대한민국 앞날을 위해 가장 '진정성' 있게 느끼고 있는 것, 진정성이야말로 내 자산이자 강점"이라고 강조했다. 오랜 기간 현장에서 쌓아온 외교·경제전문가답게 최근 도널드 트럼프 미국 대통령의 관세 정

  • 25.04.2413:45
    홍준표 "내가 '빅1'되면 대선 판도 바뀐다"
    홍준표 "내가 '빅1'되면 대선 판도 바뀐다"

    "새로운 나라 만드는 것이 마지막 정치적 소임" 국민의힘 대선 예비후보인 홍준표 전 대구시장은 "건국 시대와 조국 근대화 시대, 민주화 시대를 지나 선진대국 시대를 열어야 한다"며 "새로운 나라를 만드는 것이 마지막 정치적 소임"이라고 각오를 밝혔다. 홍 전 시장은 지난 21일 서울 여의도 대하빌딩 선거 캠프에서 아시아경제와 인터뷰를 하고 "경선을 통해 '빅1(대선 최종 후보)'이 되면 본선 판도가 달라질 것"이라고 말했

  • 25.04.2410:40
    홍준표 "'빅1'되면 판도 바뀐다…선진대국이 마지막 소임"
    홍준표 "'빅1'되면 판도 바뀐다…선진대국이 마지막 소임"

    국민의힘 대선 예비후보인 홍준표 전 대구시장은 "건국 시대와 조국 근대화 시대, 민주화 시대를 지나 선진대국 시대를 열어야 한다"며 "새로운 나라를 만드는 것이 마지막 정치적 소임"이라고 각오를 밝혔다. 홍 전 시장은 지난 21일 서울 여의도 대하빌딩 선거 캠프에서 아시아경제와 인터뷰를 갖고 "경선을 통해 '빅1(대선 최종 후보)'이 되면 본선 판도가 달라질 것"이라고 말했다. 더불어민주당 예비후보인 이재명 전 대표와

  • 25.04.2313:51
    김경수 "압도적 정권교체 가능한 경선 만들겠다"
    김경수 "압도적 정권교체 가능한 경선 만들겠다"

    "통합의 리더십이 내 경쟁력" 더불어민주당 대선 예비후보인 김경수 전 경남지사는 대통령을 꿈꾸는 다른 경쟁자와 비교할 때 "한국 현실에 맞게 국민통합을 풀어나가는 방법을 고민하는 통합의 리더십이 강점"이라고 밝혔다. 특히 김 전 지사는 "압도적인 정권 교체가 가능한 경선으로 만들어보겠다"고 강조했다. 김 전 지사는 지난 20일 오후 9시, 영남권 순회 경선을 마치고 상경한 뒤 서울역 인근 회의실에서 아시아경제와 인터

  • 25.04.2313:22
    김경수 "통합 리더십 강점…압도적 정권교체 가능한 경선 만들겠다"
    김경수 "통합 리더십 강점…압도적 정권교체 가능한 경선 만들겠다"

    더불어민주당 대선 예비후보인 김경수 전 경남지사는 대통령을 꿈꾸는 다른 경쟁자와 비교할 때 "한국 현실에 맞게 국민통합을 풀어나가는 방법을 고민하는 통합의 리더십이 강점"이라고 밝혔다. 특히 김 전 지사는 "압도적인 정권 교체가 가능한 경선으로 만들어보겠다"고 강조했다. 김 전 지사는 지난 20일 오후 9시, 영남권 순회 경선을 마치고 상경한 뒤 서울역 인근 회의실에서 아시아경제와 인터뷰를 진행했다. 그는 이번 대

  • 25.04.2806:20
    "40대 남성과 부딪혔어요"…20대 여성, 남자친구와 통화했다가 '어?'
    "40대 남성과 부딪혔어요"…20대 여성, 남자친구와 통화했다가 '어?'

    보험사기를 잡는 최전선엔 SIU(보험사기특별조사팀)가 있다. 이들은 각 보험사가 운영하는 별동조직으로 인력 상당수가 전직 형사출신이다. 보험사기를 사전에 차단하거나 수사기관에 의뢰하는 방식으로 국민들의 보험료를 낮추는 데 기여하고 있다. 보험사기와의 조용한 전쟁터, 그 중심에 있는 SIU의 움직임을 아시아경제가 밀착 취재했다. 그들의 눈으로 본 현장은 치밀했고, 교묘했다. SIU가 보험사기를 조사하는 과정의 출발

  • 25.04.2806:20
    보험사기 조사전문가 67% "강력한 처벌과 실형 중심 제재 필요"
    보험사기 조사전문가 67% "강력한 처벌과 실형 중심 제재 필요"

    현장에서 만난 SIU(보험사기특별조사팀)는 보험사기를 적발하는 데 많은 어려움을 호소했다. 개인정보 관련 법령 제한, 수사기관의 소극적 공조, 낮은 처벌수위 등이 주요 문제라고 봤다. 눈으로 보험사기가 벌어지는 현장을 목격하고도 권한이 없어 국민들이 쌓아둔 보험금을 우선 내줘야 할 때 가장 안타깝다고 했다. 아시아경제는 보험사기를 막기 위해 현장에서 분투하고 있는 SIU의 목소리를 직접 듣고, 제도적 미비점 등을

  • 25.04.2806:20
    챗GPT로 '진료영수증' 모방 요청하자 1분 만에 뚝딱
    챗GPT로 '진료영수증' 모방 요청하자 1분 만에 뚝딱

    "날짜와 치료항목만 다르게 영수증 3장만 만들어줘." 오픈AI의 생성형 인공지능(AI) '챗GPT-4o' 이미지 생성 서비스에 과거 보험사에 제출한 이력이 있는 병원 진료영수증을 올려 이처럼 주문했다. 챗GPT는 1분 만에 비슷한 영수증 3개를 만들었다. 아직은 기술적 한계로 이미지에 한글깨짐 현상이 나타났지만 숫자·큐알코드·직인 등은 거의 완벽히 구현했다. 얼룩·구김 등 서류에 사용흔적이 보이게 해달라는 요구도 즉각 반영

  • 25.04.2514:35
    1만원짜리 '여행보험'으로 보험금 100만원 타낸 사기꾼
    1만원짜리 '여행보험'으로 보험금 100만원 타낸 사기꾼

    특별 기획 <그들은 이렇게 속였다>②-⑶여행·골프·용종까지…일상을 파고든 보험사기여행자보험 '휴대품손해'·골프보험 '홀인원' 지급보험금 급증 보험사기는 일상을 파고들고 있다. 조직형 범죄나 피해액이 큰 건 위주로 수사·보도되는 탓에 단발성 소액 사기는 건수와 비교해 노출 빈도가 낮다. 이에 일반인들 사이에서 큰 죄책감 없이 보험사기가 행해지는 경우가 많다

  • 25.04.2506:20
    "170만원 드릴게요. 37살 여자가 탄 제차를 박는 겁니다"…'고액 알바' 둔갑한 '가피 공모'
    "170만원 드릴게요. 37살 여자가 탄 제차를 박는 겁니다"…'고액 알바' 둔갑한 '가피 공모'

    "공격수 구함. 자차 보유, 종합보험, 확실한 분만." 지난 15일 사회관계망서비스(SNS)에 '고액 알바'를 모집한다는 글을 보고 텔레그램을 통해 기자는 A씨에게 연락했다. A씨는 자동차 고의 충돌 사고를 일으키는 이른바 '보험빵' 알바를 은밀히 모집하고 있었다. 그가 원하는 공격수는 가해자와 피해자가 짜고 치는 가피공모 사기의 가해자 역할이다. A씨는 차종·나이·보험사를 가장 처음 물었다. "K5·28세·캐롯손해보험"이

  • 25.04.2207:20
    '1367억' 부동산 없어도 재산 1위 안철수, 강남 아파트 김동연·한동훈·홍준표[AK라디오]
    '1367억' 부동산 없어도 재산 1위 안철수, 강남 아파트 김동연·한동훈·홍준표[AK라디오]

    편집자주대선이 본격화했다. 국민의힘과 더불어민주당은 한창 경선을 하고 있다. 국민의힘은 5월 3일 후보를 결정하고, 민주당은 이르면 이달 27일 후보를 결정한다. 대선주자들의 다양한 면모를 알아보기 위해 ①대선주자와 종교 ②대선주자와 병역에 이어 ③대선주자와 재산에 대해 알아보았다. 아시아경제 유튜브 채널 AK라디오가 대선주자들의 재산을 분석한 결과 대선 후보들의 재산은 대부분 아파트와 예금으로 구성돼 있었다

  • 25.04.2107:20
    유종일 "이재명 '성장 전략 짜 달라' 전화"
    유종일 "이재명 '성장 전략 짜 달라' 전화"

    유종일 '성장과 통합' 상임공동대표가 아시아경제 유튜브 채널 'AK라디오'에 출연했다. 지난 18일 오전 9시 서울 중구 충무로 아시아경제 스튜디오에서 1시간20분 동안 진행된 인터뷰에서 유 대표는 "시장 원리를 거스르면 목표 달성도 못 하고 부작용만 커진다"고 말했다. 문재인 정부의 탈원전 정책을 비판하며 "원자력은 꼭 필요하다. 가급적 빨리 신규 원전을 건설해야 한다"고 소신을 밝혔다. 또 "연공서열제를 개혁해야 정년

  • 25.04.1807:39
    양기대 "통합 필요한 세력 진정성 있게 껴안아야"
    양기대 "통합 필요한 세력 진정성 있게 껴안아야"

    민주당 비명(비이재명)계 전직 의원들의 모임인 '초일회' 간사인 양기대 전 국회의원이 아시아경제 유튜브 채널 'AK라디오'에 출연했다. '희망과 대안 포럼' 이사장이기도 한 양 전 의원은 "정권 교체가 중요하다"며 "제3세력 태동 가능성은 사그라들었다"고 단언했다. 그러면서 "누가 정권을 잡든 대선 이후 경제적 불평등 등에 대한 깊은 통합의 정신을 발휘해야 한다"고 강조했다. 인터뷰는 17일 오전 9시부터 10시까지 서울 중

  • 25.04.1308:00
    테슬라 폭락에 백악관 나간다는 머스크…트럼프와 멀어지나
    테슬라 폭락에 백악관 나간다는 머스크…트럼프와 멀어지나

    도널드 트럼프 대통령과 일론 머스크 테슬라 CEO 사이에 갈등의 골이 깊어지고 있다. 트럼프 대통령의 최측근이자 정부효율부 수장인 일론 머스크가 조만간 정부를 떠날 수 있다는 소식이 전해졌다. 이는 트럼프 대통령이 직접 언급한 내용으로, 지난 4일 기자회견에서 "머스크도 떠날 시점이 올 것이다. 아마 몇 달 후가 될 것 같다"라고 발언하면서 머스크의 조기 사임론이 확산되고 있다. 특히 주목할 점은 머스크가 이탈리아 극

  • 25.04.1207:00
    드론 격추하기 시작한 북한군…수세로 몰린 우크라
    드론 격추하기 시작한 북한군…수세로 몰린 우크라

    우크라이나 전쟁에 파병된 북한군이 초기 고전에도 불구하고 현대전 전술에 빠르게 적응하며 전세를 역전시키고 있는 것으로 알려졌다. 우크라이나가 점령했던 러시아 쿠르스크 지역에서 북한군을 앞세운 러시아군의 반격으로 우크라이나군이 후퇴를 거듭하면서 자국 국경 방어에 나서야 하는 상황으로 전환됐다. 초기에는 무인기(드론) 전술에 적응하지 못해 대규모 사상자가 발생했던 북한군이 짧은기간 내에 드론 대응 전술을 익


다양한 채널에서 아시아경제를 만나보세요!

위로가기