벤지오 "자기보존 욕구 가진 AI 나온다…안전장치 만들어야"

"안전한 AI 개발하려면
정부 역할·국제 협력 필수"

"우리가 인공지능(AI)을 설계하는 방식을 바꾸지 않으면 자기보존 욕구를 가진 기계가 될지도 모른다. 지금은 컴퓨터를 끄면 그만이지만 AI가 더 발전하면 스스로 컴퓨터를 해킹해 시스템을 제어하려 들 것이다."

벤지오 캐나다 몬트리올 교수가 5일 고려대 백주년기념삼성관에서 열린 '넥스트 인텔리전스 포럼(Next Intelligence Forum)'에서 '초지능 시대: 인류의 미래와 AI의 위협, 우리는 어떻게 대비할 것인가'를 주제로 발표를 하고 있다. 고려대학교 제공

'AI 4대 천왕'으로 꼽히는 세계적인 석학 요슈아 벤지오 캐나다 몬트리올 교수가 AI 위험성에 대해 이같이 경고했다. 안전장치 없는 기술 개발은 재앙을 가져올 수 있기 때문에 AI 설계 단계부터 이를 고려해야 한다는 지적이다.

벤지오 교수는 5일 고려대 백주년기념삼성관에서 열린 '넥스트 인텔리전스 포럼(Next Intelligence Forum)'에서 '초지능 시대: 인류의 미래와 AI의 위협, 우리는 어떻게 대비할 것인가'를 주제로 발표에 나섰다.

벤지오 교수는 제프리 힌튼 토론토대 교수, 얀 르쿤 뉴욕대 교수와 딥러닝을 창시한 세계적인 석학이다. 이들 3인방은 2018년 컴퓨터 분야 노벨상 격인 튜링상을 공동 수상하며 공로를 인정받았다. 업계에선 앤드루 응 스탠퍼드대 교수를 포함해 AI 4대 천왕으로 불린다. 이 가운데 벤지오 교수는 AI 부작용을 경고하며 통제가 필요하다고 보는 신중론자로 꼽힌다. 현재 영국 정부가 주도하는 'AI 안전 프로젝트'에 합류해 AI의 위험을 파악하는 AI 모델을 개발 중이다.

그는 AI가 강력한 기술이기 때문에 잠재적인 위험성을 갖는다고 봤다. 이미 몇몇 분야에선 AI가 인간 수준을 넘어섰다는 연구 결과를 소개하며 사용 방식에 따라 위험한 결과를 초래할 수 있다고 진단했다.

AI 기술의 불확실성도 위험성을 높이는 요소다. 어디까지, 어떤 속도로 발전할지 명확하지 않은데다 이를 통제할 방법도 터득하지 못했기 때문이다. 인간과 동등한 수준의 일반인공지능(AGI)이 언제 도래할지에 대한 견해는 분분하지만 기업들이 기술 경쟁에 뛰어들면서 불확실성도 높아지고 있다는 게 벤지오 교수의 견해다. 그는 "기업이 AI에 투자하는 규모는 매년 기하급수적으로 늘고 있다"며 "문제는 AI에 올바른 가드레일(안전장치)을 설치하는 방법을 알지 못한 채 서두르고 있다는 것"이라고 꼬집었다. AI 시스템이 가진 위험이나, 안전하게 설계하는 방법을 충분히 연구하지 않는 채 기술 개발에만 몰두하고 있다는 것이다.

벤지오 교수는 극단적으로 AI가 자기보존이라는 목표를 갖게 됐을 때를 가정해 위험성을 경고했다. 그는 "인간은 똑똑하기 때문에 보다 강력한 자기보존 능력을 가졌다"며 "AI에게도 자체 보상을 제어할 수 있는 능력이 생기면 보상을 극대화하기 위해 영원히 제어권을 유지하려고 할 수 있다"고 했다.

안전한 AI를 개발하기 위해선 무엇보다 정부의 역할이 중요하다고 강조했다. 단순히 AI 기술을 악용하는 것에 대해 처벌하는 것을 넘어 안전한 AI를 위한 규제를 만들거나 국가 간 조약을 맺어야 한다고 주장했다. 벤지오 교수는 "위험성을 더 잘 이해하기 위한 기업의 투자와 학계의 연구개발이 필요하다"며 "정부가 인센티브를 통해 이러한 변화를 주도해야 한다"고 말했다.

정부의 움직임을 이끌어 내기 위한 사회적 관심도 호소했다. AI 기술의 현재와 미래를 인지하고 AI 위험성을 심각하게 받아들여야 한다는 것이다. 벤지오 교수는 "안전한 AI를 개발하는 것은 인류의 생존과 복지를 위해 매우 중요한 문제"라며 "정치적으로 핵심 이슈가 될 수 있도록 지속적인 관심이 필요하다"고 덧붙였다.