[김대식 칼럼]할루시네이션, 인간 닮은 AI의 역설

②뇌와 AI가 만드는 가짜 이야기

뇌를 연구하다 보면 어느 한 순간 섬뜩할 정도로 신기한 생각을 하게 된다. 바로 우리 뇌가 머릿속에 있다는 사실이다. 당연한 일이기에 느끼기조차 어렵지만, 생각할 수록 정말 신기한 일이다. 태어나서 죽을 때까지 뇌는 두개골이라는 어둠 컴컴한 ‘감옥’에 갇혀있다. 우리 뇌는 바깥 세상과 현실을 직접 볼 수 없다는 말이다. 사랑하는 사람의 얼굴도, 이 세상에서 가장 아름다운 풍경도 우리는 있는 그대로 직접 체험할 수 없다.

현대 뇌과학은 눈, 코, 귀, 피부를 통해 전달된 정보가 뇌 속 신경세포들을 통해 처리되고, 이렇게 만들어진 해석본을 우리가 경험하고 있다고 주장한다. 뇌는 세상을 보는게 아니라, 뇌 속에서 벌어지는 신경세포들의 전기적 반응을 해석하고 있다는 말이다. 덕분에 우리는 세상을 있는 그대로 보는 것이 아니라, 뇌라는 진화적 색안경을 통해서만 경험할 수 있다.

그런데 만약 현실을 언제나 진화적 렌즈를 통해서만 경험할 수 있다면 문제가 생긴다. 바로 우리에게 주어진 정보가 완벽할 수 없다는 점이다. 예를 들어 박쥐는 반사된 초음파를 통해 세상을 알아보고, 뱀은 적외선 센싱을 통해 어두운 밤에도 세상을 볼 수 있지만, 우리 인간은 둘 다 가지지 못 한 능력들이다.

완벽하지 못한 인간의 진화적 렌즈

인간의 진화적 렌즈가 완벽할 수 없다면 놓치는 정보가 있을 수 밖에 없다. 그렇다면 완벽하지 않은 정보를 기반으로 뇌는 어떻게 ‘완벽해 보이는’ 현실을 보여주고 있는 걸까? 다행히 진화와 경험을 통해 뇌는 이미 많은 데이터를 학습했기에, 이렇게 이미 학습된 데이터를 기반으로 가지지 못한 나머지 정보를 추론하고 생성해낼 수 있겠다. 하지만 이렇게 생성된 데이터가 반드시 진실일 필요는 없다. 뇌는 참과 거짓을 구별하기 위해 만들어진 기계가 아니다. 생존에 도움만 된다면 거짓도 얼마든지 만들어내고 믿을 수 있는 게 인간의 뇌다.

존재하지 않는 내용을 생성해내는 뇌. 수 많은 예제들이 있지만 아마 노벨 생리의학상 수상자인 로저 스페리 박사의 실험 결과가 가장 유명할 거다. 인간의 뇌는 언어능력을 가진 좌뇌와 언어능력이 없는 우뇌로 나눠져 있다. 1950년도에서 1960년도 사이 극심한 간질병 치료를 위해 좌뇌와 우뇌를 분리시켰던 환자들을 대상으로 실험하던 중 스페리 교수는 충격적인 결과를 얻는다.

가짜 이야기 만들어내는 좌뇌

화면을 우뇌만 볼 수 있도록 설정한 후 겨울풍경을 보여준다고 상상해 보자. 겨울풍경을 봤지만 언어능력이 없는 우뇌는 기대했던 대로 본 것을 말로 표현하지 못한다. 하지만 우뇌가 컨트롤하는 왼손을 사용해 책상 위 어떤 사진이든 선택하라고 부탁하면 대부분 겨울풍경과 연관된 사진을 선택한다.

그럼 이제 좌뇌에게 왜 하필 겨울풍경 사진을 선택했느냐고 물어보자. 좌뇌는 겨울풍경을 본적이 없기에, 정답은 '모릅니다'이다. 하지만 놀랍게도 좌뇌는 모른다는 대답을 하지 않는다. 대신 할루시네이션(환각·조작된 정보를 생성하는 것)을 하기 시작한다. 작년에 갔었던 스키여행이 기억났거나, 최근에 겨울 풍경이 나오는 영화를 봤다고 말한다. 확인해보면 그런 일들은 없었다.

결국 좌뇌는 원일을 알 수 없는 자신의 행동을 정당화하는 가짜 이야기를 만들어내고 있었던 것이다. 스페리 교수의 실험 결과에 따르면 인간의 뇌는 현실을 있는 그대로 이해하려는 것이 아니라, 완벽할 수 없는 뇌의 해석을 정당화하고 예측 가능하게 만들어주는, ‘페이크 기억’과 ‘페이크 이야기’를 할루시네이션 해주는 기계일 수도 있다는 말이다.

생성형 AI의 치명적 문제 '할루시네이션'

챗GPT 덕분에 최근 많은 관심을 받고 있는 생성형 AI. 하지만 생성형 AI는 치명적인 문제를 하나 가지고 있다. 바로 진실이 아닌 가짜 이야기를 자주 만들어낸다는 사실이다. 할루시네이션이라고 불리는 이 현상을 우리는 이제 이렇게 설명해볼수 있겠다. "챗GPT 역시 세상의 완벽한 인과관계를 알 수없다."

그렇다면 뇌와 비슷하게 진실을 알지 못하는 챗GPT도 자신의 선택을 가장 잘 정당화하고 예측 가능하게 하는 이야기를 할루시네이션 해주는지도 모른다. 결국 생성형 AI의 할루시네이션 능력이야 말로 인류가 이제 진정한 의미에서 인간을 닮은 AI를 만들기 시작했다는 역설적인 증거가 될 수 있겠다.

김대식 카이스트 전기 및 전자공학부 교수