SKT, 자체 LLM 기반 멀티모달·문서 해석 기술 2종 공개

A.X 인코더, 긴 문서도 빠르고 효율적 처리
A.X 4.0 VL 라이트, 비용 낮춰 기업에 탁월

SK텔레콤이 자사의 대형언어모델(LLM)인 에이닷 엑스(A.X)를 기반으로 한 시각-언어모델(VLM)과 LLM 학습을 위한 범용 문서 해석 기술을 선보였다.

SK텔레콤 을지로 사옥 전경. SK텔레콤 제공

29일 SKT가 오픈소스 커뮤니티 허깅페이스에 공개한 모델은 'A.X 인코더(Encoder)'와'A.X 4.0 비전 랭귀지 라이트(VL Light)' 2종이다. 해당 모델들은 학술 연구나 상업 이용 등에 자유롭게 활용할 수 있다.

SKT는 A.X 모델에 필요한 데이터의 전 과정 처리 프로세스에 적용하기 위해 A.X 인코더를 개발했다고 설명했다. 자연어 처리 기술에서 인코더는 입력된 문장을 문맥으로 변환하고, 이를 바탕으로 다양한 자연어 처리 작업을 수행하도록 돕는 핵심 구성요소다. 문장 속 모든 단어의 상호 관계를 파악, 전체 의미와 맥락을 이해하는 역할을 한다.

1억4900만개(149M)의 매개변수를 바탕으로 작동하는 A.X 인코더는 긴 문서도 빠르고 효율적으로 처리 가능해 대규모 LLM 학습에 적합하다. 자연어 이해 성능지표에서 글로벌 최고 수준(SOTA)인 평균 85.47점을 달성했다. 기존 글로벌 오픈소스 모델을 기반으로 KLUE팀에서 공개한 'RoBerTa-base'의 성능지표(80.19점)를 웃돈다.

A.X 인코더는 1만6384개의 토큰까지 처리가 가능해 기존 모델들보다 최대 3배의 추론 속도와 2배의 학습 속도를 구현할 수 있다. 기존 모델들이 512개의 토큰을 처리해 보통 문장·문단 정도를 다뤘다면, 그보다 많은 양의 문맥을 빠르고 효율적으로 처리한다. 이러한 대규모·고속 문서 처리 기술은 LLM 학습 외에도 인공지능(AI) 기반의 다양한 문서 처리에 도움이 될 것으로 SKT는 기대했다.

A.X 4.0 VL 라이트는 대규모 멀티모달 한국어 데이터셋이 학습된 시각-언어모델(VLM)이다. 한국어와 관련된 시각 정보·언어 이해뿐만 아니라 표·그래프 이해, 제조도면 이해와 같은 기업용 애플리케이션에 탁월하다. 70억개(7B) 매개변수의 A.X 4.0 Light 모델을 기반으로 개발됐다.

A.X 4.0 VL 라이트는 한국어 시각 벤치마크에서 평균 79.4점을 기록해 Qwen2.5-VL32B(73.4점)보다 작은데도 불구하고 더 우수한 성능을 입증했다. 또 한국어 텍스트 벤치마크는 평균 60.2점으로 국내 모델 중 최상위권에 포진했다.

한국어 문화와 맥락적 이해를 평가하기 위해 설계된 멀티모달 벤치마크인 K-Viscuit에서는 80.2점을 기록했고, 복잡한 문서 구조와 차트·표를 이해하는 데 중점을 둔 KoBizDoc 벤치마크에서는 89.8점을 달성했다. 특히 동일한 한국어 데이터 입력 시 Qwen2.5-VL32B 대비 약 41% 적은 텍스트 토큰을 사용해 비용을 줄여준다.

SKT는 앞서 대규모 학습(CPT)에 기반한 A.X 4.0 모델 2종(표준·경량)과 프롬 스크래치 방식의 A.X 3.1 모델 2종(표준·경량)을 순차적으로 발표했다. 향후 발표할 A.X 4.0 추론형 모델 등을 통해 LLM의 활용도와 성능을 높여갈 계획이다.

김태윤 SK텔레콤 파운데이션 모델 담당은 "독자적인 기술력 확보가 소버린 AI의 핵심인 만큼 자체 역량을 높이고 컨소시엄 기업들과의 협업에도 박차를 가해 글로벌 최고 수준의 AI 경쟁력을 확보할 것"이라고 말했다.

노경조 기자 felizkj@asiae.co.kr