[과학을읽다]KAIST, '뇌처럼 배우는 AI' 실마리 찾았다

인간 전두엽의 목표·불확실성 분리 학습 원리 규명
강화학습의 '안전성-유연성 딜레마' 해결 가능성 제시

사람은 목표가 갑자기 바뀌거나 상황이 불확실해져도 비교적 안정적으로 판단하면서도 빠르게 전략을 수정한다. 반면 알파고를 비롯한 기존 강화학습 기반 인공지능(AI)은 목표 변화에 취약하거나, 불확실한 환경에서 유연성이 떨어지는 한계를 보인다. 국내 연구진이 이 차이가 인간 전두엽의 독특한 정보 처리 구조에서 비롯된다는 점을 규명하며, '뇌처럼 안정적이면서도 유연하게 학습하는 AI' 구현의 실마리를 제시했다.

한국과학기술원(KAIST)은 뇌인지과학과 이상완 교수 연구팀이 IBM AI 연구소(IBM AI Research)와 공동으로 인간 전두엽이 목표 변화와 환경 불확실성을 처리하는 핵심 원리를 밝혀냈다고 14일 밝혔다. 이번 연구는 기존 AI 강화학습이 직면해온 '안전성-유연성 딜레마'를 근본적으로 설명하고, 차세대 학습 알고리즘 설계 방향을 제시한 성과로 평가된다.

인간과 AI의 유동성-안정성 균형(논문에서 발췌. copyright: Nature Commnications). 왼쪽 그림은 목표와 환경의 불확실성이 계속 변하는 상황. 변화하는 목표에 맞는 의사결정의 유동성과, 환경 변화에 흔들리지 않는 의사결정의 안정성 개념을 설명한다. 오른쪽 그림은 AI 모델 (MB agent, MF agent)와 인간 피험자의 의사결정 유동성-안정성 균형 측정 결과다. 연구진 제공

목표와 불확실성, 전두엽은 '분리 저장'한다

연구팀은 기존 강화학습 모델이 목표가 자주 바뀌면 학습 안정성이 무너지고, 환경이 불확실해지면 적응력이 떨어지는 반면, 인간은 두 요소를 동시에 달성한다는 점에 주목했다. 이를 설명하기 위해 연구진은 뇌 기능 자기공명영상(fMRI) 실험과 강화학습 모델, AI 분석 기법을 결합해 인간 전두엽의 정보 표현 방식을 정밀 분석했다.

그 결과 인간의 측면 전전두엽(lateral prefrontal cortex)은 '목표 정보(goal information)'와 '불확실성 정보(uncertainty information)'를 서로 간섭하지 않도록 분리해 저장(factorized embedding)하는 구조를 갖고 있음이 확인됐다. 이러한 구조가 뚜렷할수록 사람은 목표가 바뀔 때 빠르게 전략을 수정하면서도, 환경이 불안정해도 판단의 안정성을 유지했다.

연구팀은 이 구조가 통신 기술에서 여러 신호를 동시에 처리하는 멀티플렉싱(multiplexing)과 유사한 특성을 가진다고 설명했다. 즉, 전두엽은 목표 변화에 민감하게 반응하는 채널과 환경의 불확실성을 분리해 처리하는 채널을 동시에 운용하고 있었다.

'무엇을' 넘어 '어떻게' 배울지 결정하는 메타학습

특히 이번 연구에서 주목되는 부분은 전두엽의 역할이 단순한 학습 실행에 그치지 않는다는 점이다. 연구진은 전두엽이 상황에 따라 어떤 학습 전략을 선택할지 스스로 결정하는 '메타학습(meta-learning)' 채널을 갖고 있음을 확인했다.

이는 인간의 뇌가 '무엇을 배울지'뿐 아니라 '어떻게 배울지'까지 학습하는 구조를 지니고 있음을 의미한다. 연구팀은 이러한 메타학습 능력이 인간이 끊임없이 변하는 환경에서도 계획을 유지하고, 필요할 때 유연하게 전략을 바꾸는 근본적 이유라고 설명했다.

왼쪽부터 이상완 KAIST 교수, 성도윤 박사과정, (상단) IBM AI연구소 마티아 리고티(Mattia Rigotti) 박사. KAIST 제공

뇌 기반 AI·안전한 인공지능으로 확장 가능성

이번 연구는 개인별 강화학습·메타학습 능력 분석, 맞춤형 교육 설계, 인지 능력 진단, 인간-컴퓨터 상호작용(HCI) 등 다양한 분야로 확장될 수 있다. 특히 전두엽의 정보 표현 구조를 AI에 적용할 경우, 인간의 의도와 가치를 더 잘 이해하고 위험한 판단을 줄이는 '안전한 AI' 개발로 이어질 수 있을 것으로 기대된다.

이상완 교수는 "이번 연구는 변화하는 목표를 유연하게 따라가면서도 안정적으로 계획을 세우는 뇌의 작동 원리를 AI 관점에서 규명한 성과"라며 "이 원리는 앞으로 AI가 사람처럼 변화에 적응하고 더 안전하고 똑똑하게 학습하는 차세대 AI의 핵심 기반이 될 것"이라고 말했다.

이번 연구에는 성윤도 KAIST 박사과정 학생이 제1저자로, IBM AI 연구소의 마티아 리고티(Mattia Rigotti) 박사가 제2저자로 참여했으며, 이상완 교수가 교신저자를 맡았다. 연구 결과는 국제 학술지 네이처 커뮤니케이션스(Nature Communications)에 지난달 26일 자로 게재됐다.

논문명은 '측면 전전두엽에서 목표와 불확실성의 분리된 임베딩이 안정적이면서 유연한 학습을 이끈다(Factorized embedding of goal and uncertainty in the lateral prefrontal cortex guides stably flexible learning)'이며, DOI는 10.1038/s41467-025-66677-w다.

이번 연구는 과학기술정보통신부의 한계도전 연구개발(R&D) 프로젝트 지원을 받아 수행됐다.

김종화 기자 justin@asiae.co.kr