카카오도 오픈소스 AI 참전…경량 모델 '카나나 나노' 공개

'카나나 테크니컬 리포트' 공개…AI 모델 연구 성과 발표
LLM '카나나 플래그' 개발…라인업 구축 완료
'카나나 나노'는 깃허브에 오픈소스 모델로 공개

카카오가 자체 인공지능(AI) 모델을 기반으로 기술력 검증과 생태계 확장에 나선다. 자체 모델 가운데 경량형 모델은 국내 AI 생태계 활성화를 위해 누구나 활용할 수 있는 오픈소스 형태로 공개한다.

카카오는 자체 개발 언어모델 '카나나(Kanana)'의 연구 성과를 담은 테크니컬 리포트를 아카이브(ArXiv)에 공개했다고 27일 밝혔다. 동시에 언어모델 라인업 중 '카나나 나노(Kanana Nano) 2.1B' 모델을 오픈소스로 깃허브(GitHub)에 배포했다.

카나나 언어모델의 특징. 카카오 제공

테크니컬 리포트는 매개변수와 학습 방법, 학습 데이터 등 세부 사항을 담아낸 AI 논문이다. 카카오는 이번 리포트에 카나나 언어모델 전체의 사전학습(Pre-training)부터 사후학습(Post-training)까지의 전 과정을 담았다. 카나나 모델의 구조, 학습 전략, 글로벌 벤치마크에서의 성과도 확인할 수 있다.

카카오의 거대언어모델(LLM) '카나나 플래그(Kanana Flag)'는 지난해 말 학습을 완료했다. 이로써 카카오는 지난해 10월 개발자 콘퍼런스 'if(kakaoAI)2024'에서 공개한 카나나 언어모델의 전체 라인업(플래그, 에센스, 나노)을 모두 구축하게 됐다.

카나나 플래그가 한국어 성능을 평가하는 'LogicKor', 'KMMLU' 벤치마크에서 다른 모델 대비 우수한 처리 능력을 입증했다고 카카오는 설명했다. 영어 성능을 평가하는 'MT-bench', 'MMLU' 벤치마크에서는 경쟁 모델과 유사한 성과를 기록했다. 아울러 학습 자원 최적화를 통해 유사 사이즈의 모델 대비 50% 이상 비용을 줄였다.

카카오는 대규모 언어모델의 학습 효율을 높이기 위해 ▲단계별 사전학습(Staged pre-training) ▲Pruning(모델 구성 요소를 가지치기해 중요 요소만 남기는 기법) ▲Distillation(큰 모델의 지식을 더 작은 모델로 전달하는 증류 기법) ▲DUS(Depth Upscaling, 깊이 업스케일링) 등 학습 기법을 적용했다. 이를 통해 유사 모델 대비 절반 이하의 학습 비용을 실현했다.

카카오는 향후 카나나 모델에 강화 학습(Reinforcement Learning)과 연속 학습(Continual Learning) 기반의 최신 기술을 접목한다. 추론과 수학, 코딩 능력을 강화하고 정렬(Alignment) 기술을 고도화해 정확도 역시 높일 계획이다. 이를 통해 음성, 이미지, 영상 등 다양한 형태로 소통할 수 있도록 지속적 모델 고도화를 이어간다는 목표다.

카나나 모델 크기별 학습비용. 카카오 제공

아울러 카카오는 자체 개발 경량 모델 '카나나 나노 2.1B'를 깃허브(GitHub)에 오픈소스로 공개했다. 오픈소스는 프로그래밍 소스코드를 공개해 누구나 새로운 개발에 이를 활용할 수 있는 형태를 뜻한다. 이에 따라 오픈소스 AI는 작동 원리와 설계 방식, 알고리즘 등이 공개된다. 카나나 나노 이외에 딥시크의 'R1'과 메타의 '라마' 등도 오픈소스 AI 모델이다.

카나나 나노 2.1B의 베이스 모델과 인스트럭트(Instruct) 모델, 임베딩(Embedding) 모델이 깃허브를 통해 공개된다. 깃허브는 프로그램의 소스 코드를 온라인에 저장할 수 있는 분산형 버전 관리(VCS) 플랫폼으로, 개발자들을 위한 일종의 클라우드 서비스다.

이 모델은 연구자와 개발자가 활용하기 적절하면서도 온디바이스(On-device) 환경에도 활용 가능한 고성능 경량 모델이다. 카나나 플래그와 마찬가지로 한국어와 영어 처리 능력에서 우수한 결과를 보여준다는 게 카카오의 설명이다.

카카오는 이번 오픈소스 공개 이후에도 연구자와 개발자들이 해당 모델을 다양하게 응용할 수 있도록 모델의 업데이트를 지속 지원할 계획이다.

김병학 카카오 카나나 성과리더는 "모델 최적화와 경량화 기술을 바탕으로 라마, 젬마 등 글로벌 AI 모델과 견줄 수 있는 고성능의 자체 언어모델 라인업을 효율적으로 확보하게 됐으며, 이번 오픈소스 공개를 통해 국내 AI 생태계 활성화에 기여할 수 있을 것으로 기대한다"면서 "앞으로도 효율과 성능 중심의 실용적이고 안전한 AI 모델을 개발해가며 지속적 기술 혁신을 통해 AI 경쟁력을 강화해 갈 계획"이라고 말했다.

이명환 기자 lifehwan@asiae.co.kr