[과학을읽다]AI, 인간 뇌 도청해 음악을 연주한다

시각에 이어 청각도 사상 첫 재현

인공지능(AI)이 인간의 뇌파를 기계로 읽어내는 시대를 앞당기고 있다. 최근 과학자들이 뇌파 측정ㆍ분석 만으로 해당 사람이 들은 노래를 그대로 재현해내는 데 성공했다.

2022년 6월 13일 상명대학교 서울캠퍼스 미래백년관에서 학생들이 뇌파 측정기를 착용한 학생의 뇌파를 분석하고 있다. 자료사진. 기사와 관련이 없음. /문호남 기자 munonam@

미국 버클리 캘리포니아대 연구팀은 지난 14일(현지 시각) 이같은 내용의 실험 결과를 담은 논문을 학술지 '플로스 바이올로지(PLOS Biology)]에 게재했다.

연구팀은 우표 하나 크기의 뇌파 측정 장치를 뇌 표면에 부착한 뇌전증(간질) 환자 29명을 상대로 연구를 실시했다. 연구팀은 이들에게 유명 록밴드 '핑크 플로이드'가 1979년 발표한 노래 '벽 속의 또 하나의 벽돌, 파트 1(Another Brick in the Wall, Part 1)'을 들려줬다. 그러면서 환자들의 뇌에서 가사, 리듬, 하모니, 목소리의 높낮이 등 음악적 요소들을 처리하는 부위의 뇌파 변화를 측정했다. 연구팀은 이후 AI를 동원해 뇌파 변화를 분석했으며, 이를 번역해 실제 음악으로 재구성하는데 성공했다. 앞으로 이 기술이 발전되면 앞으로 사고ㆍ질병으로 언어 능력을 잃은 사람이 뇌파 분석·재현을 통해 말뿐만 아니라 노래도 부를 수 있게 된다.

뇌 과학자들은 수십년간 사람들이 보고 듣고 생각하는 것을 뇌파의 변화를 통해 감지해내 재구성하는 이른바 '뇌 도청'을 시도해왔다. 이번 연구팀의 연구 결과는 삽입형 뇌파 측정 장치를 통해 최초로 참가자의 청각 관련 뇌의 활동을 재구성하는 데 성공한 것으로 보인다. 그동안 사람 얼굴ㆍ풍경 등 그림이나 애니메이션 동영상 등 시각 활동을 하는 사람의 뇌파를 측정한 후 AI로 재구성해 내는 실험이 성공한 적은 있어 청각을 재현한 것은 이번이 처음이었다.

연구팀이 하필 핑크 플로이드 및 해당 노래를 택한 이유는 뭘까? 노래가 복잡한 코드, 다양한 악기와 리듬으로 구성돼 있기 때문이라고 설명한다. 연구팀은 AI 모델을 동원해 이 노래의 음향, 리듬ㆍ톤ㆍ피치의 변화에 반응하는 뇌의 각 부분의 전기적 변화를 분석했다. 이후 다른 AI 모델을 동원해 분석 결과를 재구성해 참가자가 들었던 소리를 추정했다. 결과는 훌륭했다. 연구팀은 "(재구성한) 멜로디가 거의 손상되지 않았으며 가사는 약간 왜곡되긴 했지만 무엇을 들었는지 식별할 수 있을 정도였다"고 설명했다.

연구팀은 이와 함께 특정 소리와 음악을 뇌의 어떤 부위가 담당하는지에 대해서도 밝혀냈다. 목소리ㆍ신시사이저가 시작할 때는 일반적인 뇌의 음성 처리 영역, 즉 귀 바로 뒤의 위쪽에 있는 상측 두이랑이 반응을 하지만, 지속적으로 윙윙대는 소리를 처리하는 것은 다른 영역이 담당한다는 것이다.

김봉수 기자 bskim@asiae.co.kr