저질 숏폼에 절여진 AI, 추론 못하고 성능저하 …"데이터 품질도 관리해야"

AI도 '쓰레기 데이터' 학습하면 성능 떨어져
복잡한 문제 생각하지 않고 결과 도출
"대형 언어모델의 품질 관리 필요"

1분 이내로 짧고 자극적으로 만들어진 '숏폼 콘텐츠'가 사람의 정신건강뿐만 아니라 인공지능(AI)의 성능까지 해친다는 연구 결과가 나왔다. 사회관계망서비스(SNS)에서 떠도는 저품질 데이터가 AI의 성능을 영구적으로 해칠 수 있어 학습하는 데이터의 품질을 관리해야 한다는 진단이 나오고 있다.

텍사스 A&M 대학교, 텍사스대학교 오스틴캠퍼스의 연구진은 지난 15일(현지시간) '대형 언어모델도 브레인 로트(Brain rot·뇌 부패)에 걸릴 수 있다'(LLMS can get 'brain rot')는 제목의 논문을 내놓았다. 브레인 로트란 온라인 콘텐츠를 과잉 소비해 정신 또는 지적 상태가 나빠지는 것을 의미한다. 특히 인스타그램 릴스나 유튜브 쇼츠 등 숏폼 콘텐츠가 브레인 로트를 유발한다. 옥스퍼드 영어사전을 발행하는 영국 옥스퍼드대학 출판부는 지난해 브레인 로트를 올해의 단어로 선정하기도 했다.

연구진은 M1과 M2 등 두 개 기준을 통해 사회관계망서비스(SNS) 엑스(X·옛 트위터)의 콘텐츠를 '쓰레기 데이터'와 '고품질 데이터'로 구분했다. M1은 게시물의 길이와 공감 수, 댓글 수, 게시물 공유 수 등을 종합해 인기도를 측정하는 기준이다. 예를 들어 게시물의 길이가 짧으면서 많은 인기를 끌었다면 쓰레기 데이터로 구분된다. M2는 내용의 깊이나 표현법 등 의미적 요소에 대한 기준으로 감탄사를 남발하거나 음모론을 주장하면 쓰레기 데이터, 사실 중심으로 논리를 펴거나 차분한 어조의 글은 고품질 데이터로 분류된다.

연구진은 이 같은 기준을 통해 데이터를 나눠서 각각 라마 38B(Llama38B), 큐엔 2.57B(Qwen2.57B), 큐엔 2.50.5B(Qwen2.50.5B), 큐엔 34B(Qwen34B) 등 대형 언어모델(LLM)들에 학습시켰다. 대형 언어모델은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성하는 AI를 뜻한다.

AP연합뉴스

논문에 따르면 쓰레기 데이터를 학습한 대형 언어모델은 성능 저하가 나타났다. 추론 능력, 장문 맥락 이해, 안전성 등 대부분의 영역에서 성능이 떨어졌다. 여기서 안전성이란, 유해한 정보를 걸러내는 윤리적 영역의 AI 기능을 의미한다. 실제 테스트에서도 성능 하락이 드러났다. 쓰레기 데이터를 학습하지 않은 대형 언어모델은 AI의 추론 능력을 검증하는 아크 챌린지(ARC-Challenge)에서 74.9점을 받았지만 쓰레기 데이터만을 학습한 대형 언어모델의 점수는 57.2점으로 떨어졌다.

연구진은 AI가 계속해서 쓰레기 데이터를 학습하면 일시적인 성능 저하가 아닌 영구적인 성능 손상으로 이어진다는 점도 확인했다. 논문에서는 이를 '인지 구조의 변형'이라고 설명했다. 연구진은 "쓰레기 데이터를 학습한 대형 언어모델에 다시 고품질 데이터를 학습시켰지만 성능이 완벽하게 돌아오지 않았다"고 밝혔다.

데이터의 품질은 AI의 성향도 좌우했다. M1을 기준으로 쓰레기로 분류된 데이터를 학습한 대형 언어모델은 사이코패스 혹은 나르시시즘(자신을 지나치게 애착하거나 관심 보이는 심리 상태), 마키아벨리즘(목적을 위해서는 어떤 수단도 정당하다고 믿는 사상) 등 성향을 나타냈다. SNS에서 접할 수 있는 자극적이거나 선정적인, 유해한 게시물대로 AI의 성향이 결정되는 셈이다. 다만 친화력, 개방성 등 일부 항목에서는 긍정적인 결과를 나타내기도 했다. 고품질 데이터를 학습한 대형 언어모델은 비교적 온건한 반응을 보였다.

연구진은 대형 언어모델 브레인 로트의 원인으로 사고 생략(Thought Skipping)을 지목했다. 쓰레기 데이터를 학습한 대형 언어모델은 복잡한 문제가 주어질 때 중간 단계를 생각하지 않고 곧바로 결과부터 도출했다. 이 때문에 장문의 맥락, 논리적 연결성이 필요한 상황에서 더 수준 낮은 답변을 내놓았다. 연구진은 논문을 통해 "대형 언어모델이 점점 더 많은 인터넷상 데이터와 언어를 학습하고 있다"며 "피해를 막기 위해 신중한 데이터 분류와 대형 언어모델의 품질 관리가 필요하다"고 설명했다.

숏폼 콘텐츠 등 자극적인 정보를 전달하는 짧은 영상이 인간에게도 악영향을 미친다는 연구 결과는 계속 나오고 있다. 컬럼비아대 의대 연구팀은 2021년 동영상을 정기적으로 장시간 시청하면 뇌에 강한 자극을 줘 기억력, 추리능력이 감퇴한다는 내용의 연구를 발표했다. 이건우 바른ICT연구소 교수는 논문을 통해 "인스타그램 릴스와 유튜브 쇼츠 같은 숏폼 콘텐츠가 사용자의 온라인 영상시청 시간을 증가시켰다"며 "2021년 숏폼 콘텐츠 도입이 20대의 전반적인 스마트폰 과의존 위험군 증가에 직·간접적으로 영향을 미쳤다"고 설명했다.

공병선 기자 mydillon@asiae.co.kr