SKT, 통신사 전용 LLM 6월 출시…고객응대 효율 높인다

30일 SKT 통신업 특화 텔코 LLM 설명회
오픈AI 'GPT', 엔트로픽 '클로드' 협력
고객센터·인프라 운용 등 통신사 업무 효율↑

SK텔레콤이 통신사의 서비스, 상품, 멤버십 등을 학습한 통신서비스 특화 '텔코 거대언어모델(LLM)'을 오는 6월 출시한다. 통신사 고객센터에서의 상담 업무부터 통신 인프라 운용까지 통신사의 업무 효율성을 높일 것으로 보인다.

30일 SKT는 서울 중구 T타워 수펙스홀에서 '텔코 LLM' 설명회를 열고 6월 중 텔코 LLM을 선보일 예정이라고 밝혔다. 텔코 LLM은 5G 요금제, T멤버십, 공시지원금 등 통신 전문 용어와 인공지능(AI) 윤리가치 등 통신사의 내부 지침을 학습한 통신업 특화 LLM이다.

SKT는 오픈 AI, 엔트로픽 등과 협력해 데이터를 수집, 정형·비정형 데이터를 선별해 이를 범용모델인 '에이닷엑스' 'GPT' '클로드'에 학습시키고 통신 관련 데이터를 추가 학습해 미세조정(파인튜닝)하는 과정을 거친다.

이후 텔코 LLM이 유용한 답변을 했는지 사람의 평가를 통한 강화학습을 거친 다음 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가(벤치마킹)을 한다. 만약 텔코 LLM이 상담 유형 선택에서 낮은 점수를 받으면 관련 데이터를 더 구축하고 학습하는 식으로 기술을 고도화해 나간다.

텔코 LLM 구축 과정/사진=SK텔레콤

에릭 데이비스 SKT AI 테크 콜라보레이션 담당은 "1개의 범용 LLM으로 통신사들이 하려는 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝과 벤치마킹을 거쳐 다양한 텔코 LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티 LLM 전략"이라고 전했다.

SKT는 텔코 LLM을 기반으로 통신사의 고객상담 업무가 크게 개선될 것으로 보고있다. 상담사가 고객과 통화하는 동안 LLM이 상담 내용 요약, 해결책 제시 등의 역할을 도울 수 있을 것이기 때문이다. 일반적으로 상담 전화 한 건을 처리하는 데 고객 상담에 약 3분, 상담 후 업무 처리에 30초 이상이 처리된다.

클로드 버전 텔코 LLM은 AI 윤리원칙, 우리나라의 신조어, 욕설, 위협 폭언 등 문맥 뉘앙스를 정확하게 파악할 수 있다는 장점도 있다.

통신사 네트워크 인프라 운용에도 유용하다. 텔코 LLM이 장비 매뉴얼, 대응 사례 등 정보를 기반으로 상황에 맞는 답변을 제공하기 때문에 인프라 운용자 등 사람이 직접 정보를 찾는 것보다 대응 시간을 줄일 수 있다.

정민영 SKT AI 플랫폼 담당은 "고객센터, 인프라뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR과 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코 LLM이 업무 효율성을 높일 것"이라고 했다.

이날 SKT는 통신사들이 통신업에 특화된 멀티 LLM을 효율적으로 구축·개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 이는 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등을 아우르는 '기업용 AI 개발·운용 패키지'다.

황서율 기자 chestnut@asiae.co.kr