9살 불법이민자, 90세까지 감시 당한다면 [AI오답노트]

(21)트럼프 '이민자 추방' AI 활용 증가
각종 데이터 통해 사실상 평생 추적·감시
저소득층·소수자를 향한 차별적 낙인 우려
AI가 사다리 걷어차는 도구는 되지 말아야

편집자주실패를 살펴보는 것은 성공으로 가는 지름길입니다. 'AI오답노트'는 AI와 관련한 제품과 서비스, 기업, 인물의 실패 사례를 탐구합니다.

“불법 이민자를 미국에서 몰아내겠다”

도널드 트럼프 미국 대통령은 취임하자마자 ‘불법 이민자 대규모 추방’을 우선 과제로 내걸었습니다. 국토안보부(DHS), 이민세관단속국(ICE) 등은 단속 실적 압박까지 받고 있습니다.

이 과정에서 인공지능(AI)이 결합한 첨단 감시기술이 활용되고 있습니다. 불법 이민자와 불법 체류자를 식별하고 추적하는 광범위한 시스템이 운영되고 있는 겁니다.

기술은 분명 우리 사회의 다양한 문제를 해결하고 삶의 질을 향상시킬 수 있는 강력한 도구입니다. 의료 진단의 정확도를 높이고, 에너지 효율을 개선하며, 자연재해를 예측하는 등 AI는 많은 영역에서 긍정적인 변화를 만들어내고 있습니다.

그러나 꼭 그런 것만은 아닙니다. 특히 이번 사례처럼, ‘AI와 같은 기술을 활용해 인간을 효율적으로 가려내겠다’는 생각은, 잠재적 위험을 안고 있습니다. 그리고 그 위험의 크기는 예상보다 훨씬 클 수 있습니다.

실제로 AI가 어떻게 인간을 분류하고 가려내고 있는지 살펴보시죠.

AI 기반 기반 위험평가 시스템

2024년 8월 20일(현지시간) 미시간주에서 열린 미국 대통령 선거 유세 중 도널드 트럼프 미국 대통령이(당시 공화당 후보) 불법 이민자 유입과 범죄율에 관한 자료를 들고 연설하고 있다. AP연합뉴스

ICE는 ‘허리케인 스코어(Hurricane Score)'라는 AI 알고리즘을 사용합니다. 이민자의 위험도를 1~5점 척도로 평가하죠. 개인의 법률 위반 이력, 공공기관 서비스 이용 기록, 고용정보와 납세 이력, 출입국 내역, 관련 행정 정보 등을 분석해 해당 이민자가 당국의 감독을 피할 가능성을 예측합니다. 알고리즘이 산정한 점수는 구금이나 추방 결정에 직접적으로 사용되지는 않지만, ICE 요원들의 의사결정에 중요한 참고 자료가 됩니다.

이외에도 다양한 데이터가 활용됩니다. 연방 기관이 저장하고 있는 생체 정보, 국경에서 수집된 데이터, 법 집행 기관의 드론 및 바디캠 영상 등 방대한 양의 정보를 AI 도구에 입력해 분석할 수 있습니다. 여기에 주 정부와 지방 정부의 협조로 교통 카메라, 번호판 인식 시스템, 통행료 징수 시스템의 위치 데이터까지 활용할 가능성이 있죠.

또한 DHS는 AI를 탑재한 드론과 센서 타워를 배치해 국경을 감시합니다. 이 시스템은 머신러닝(기계학습)을 통해 사람, 동물, 차량을 구분하고 비정상적인 패턴을 감지해 불법 월경을 식별합니다. 스마트링크(SmartLINK)라는 앱도 있습니다. 안면인식과 위치추적 기능을 통해 약 수십만 명의 미등록 이민자들을 실시간으로 모니터링할 수 있다고 합니다.

수집된 데이터는 '불법' 이민자를 식별하고 추적하는 데 활용됩니다. 그러나 이 시스템이 단순히 행정적 효율성을 높이는 도구를 넘어, 특정 인종과 계층에 대한 구조적 차별을 강화하는 수단이 될 수도 있습니다.

무엇보다도 이러한 AI 시스템은 사회적 약자를 향한 낙인효과라는 부작용을 낳기도 합니다.

AI가 저소득층을 차별하고 가두는 방식

저울을 한 손에 든 사람의 실루엣이 검은 배경 속에 드러나 있고, 실루엣 안은 디지털을 상징하는 0과1로 채워져 있다. 게티이미지뱅크

2006년 미국 인디애나주는 IBM사의 기술을 활용한 ‘복지 수급 자격 심사 자동화 프로세스’를 도입했습니다. ▲대면 서비스를 최소화하고 콜센터와 온라인 신청으로 전환, ▲서류 처리와 자격 심사의 완전 자동화, ▲AI 알고리즘을 통한 부정수급 위험도 평가, ▲표준화된 질문과 응답 시스템이 마련됐죠. 업무 처리의 속도가 늘어난 것처럼 보였습니다. 또한 부정 수급자를 대폭 가려낸 것 같았죠.

그러나 그건 ‘잘못 가려낸’ 결과에 가까웠습니다. 복잡한 가족관계나 주거상황을 가진 경우, 표준화된 양식에 맞추기 어려웠습니다. 의도치 않은 신청서상 오류, 또는 신청 자체를 포기하는 경우가 많았죠. 또한 정신건강 문제가 있는 신청자는 장시간의 전화 대기와 복잡한 온라인 절차를 감당하기 어려웠습니다. 장애인과 노인들의 신청 포기 사례가 특히 많았죠.

피츠버그에서는 아동학대 예측 알고리즘을 도입했습니다. 아동학대를 빨리 감지하고 대응하겠다는, 좋은 취지였죠. 해당 가정의 복지 수급 이력, 부모의 범죄 기록, 가족 구성원의 정신건강 진료 기록, 학교 출석률과 성적, 이웃의 범죄율과 빈곤율 등이 기초 데이터로 활용됐습니다. 이를 토대로 각 가정의 위험도를 1~20점으로 수치화했죠. 고위험군에 대한 집중된 감시로 아동학대를 조기에 감지해낼 수 있을 거라 기대했죠.

그러나 예상대로 굴러가지 않았습니다. 공공서비스 이용 기록이 많은 저소득층 가정이 자동으로 ‘위험’ 가정으로 분류됐습니다. 한번 '위험' 가정으로 분류되면 지속적인 감시 대상이 되어, 쉽게 시스템에 적발되는 악순환이 시작된 겁니다. 또한 정신건강 서비스를 이용하는 부모들이 향후 불이익을 우려해 치료를 기피하는 현상까지 발생했습니다.

수학이 대량살상무기(WMD)가 될 수 있다

위의 사례들은, 단순한 행정 효율화를 넘어, AI가 인간의 기본권과 존엄성에 직접적인 영향을 미치는 새로운 단계로 진입했음을 보여줍니다. 특히 이민자들에 대한 AI 기반 감시와 통제는 이미 존재하는 인종적, 사회적 편견을 더욱 강화하고 제도화할 위험이 있습니다.

기술이 오히려 사회적 불평등을 심화시키고 취약계층을 더욱 소외시킬 수 있다는 점에 주목해야 한다는 지적이 나오는 이유입니다.

미국의 수학자이자 데이터과학자인 캐시 오닐(Cathy O’Neil)은 AI, 알고리즘의 위험성을 대량살상무기(WMD:Weapon of Mass Destruction)에 비유합니다. 그리고 한발 더 나아가, AI를 또다른 WMD로 규정합니다. ‘대량살상수학무기(Weapon of Math Destruction)’라고요.

알고리즘의 의사결정 과정은 블랙박스와 같기 때문에, 결과에 대한 이의제기가 불가능합니다. 개발자조차 결과가 그렇게 나온 이유를 설명할 수 없죠. 그럼에도 AI를 통한 출력값은 수백만 명에게 동시에 영향을 미칩니다. 시스템 오류가 대규모 피해로 이어질 수 있는 것이죠. 교육, 취업, 주거, 금융, 복지 등 분야를 가리지 않습니다.

사다리 걷어차는 AI가 아닌, 사다리 놓는 AI

불법 이민자 감시, 복지 수급 자격 판정, 아동학대 예측 등 다양한 사례에서 드러나듯, AI와 자동화 시스템은 효율성과 편리함 이면에 심각한 사회적 위험을 내포하고 있습니다. 무엇보다도 한 번의 부정적 평가가 꼬리표처럼 따라다니면서 장기적이고 구조적인 불이익을 유도할 수 있습니다.

기술 자체는 중립적이지만, 이를 설계하고 운영하는 인간의 판단과 데이터의 한계가 결합하면, 결과적으로 사회적 불평등과 차별을 심화시키는 도구로 전락할 수 있는 겁니다. AI는 그 자체로 완벽하거나 공정한 해결책이 아닙니다. 학습 데이터를 다양하게 확보하고, 대표성 있는 데이터를 정제해야 합니다. 그렇지 않으면 기존 사회적 문제와 편견을 그대로 반영하는 것과 같습니다.

AI 기술을 보다 윤리적이고 공정하게 발전시키기 위해서는, 기술의 투명성, 책임성, 그리고 사회적 약자 보호를 위한 제도적 장치 마련이 필수적입니다. 효율성에만 매몰되지 말고, 형평성과 정의의 가치가 기술 설계와 구현 과정에서 반영되도록 해야 합니다. 이러한 검토가 전혀 없이 이뤄지는 AI 자동화 의사결정 시스템은 기존의 사회적 불평등을 심화시키고, 장기적으로 사회의 불안정을 심화할 뿐입니다. 기술과 인간의 상호작용에 대한 세밀한 고려는 보다 공정하고 포용적인 사회로 가는 지름길일 것입니다.

김동표 기자 letmein@asiae.co.kr