SKT, 텔코 LLM 6월 출시…"연내 콜센터에 적용"(종합)

30일 SKT 통신업 특화 텔코 LLM 설명회
오픈AI 'GPT', 엔트로픽 '클로드' 협력
고객센터 연내 적용…생성AI 플랫폼도 마련

SK텔레콤이 통신사의 서비스, 상품, 멤버십 등을 학습한 통신서비스 특화 '텔코 거대언어모델(LLM)'을 오는 6월 출시한다. 연내에 통신사 고객상담 업무에 이를 적용해 업무 효율성을 크게 높인다는 계획이다.

30일 오전 서울 중구 T타워에서 열린 SKT의 '텔코 LLM 설명회'에서 에릭 데이비스 SKT AI 테크 콜라보레이션 담당이 발표하고 있다/사진=황서율 기자chestnut@

30일 SKT는 서울 중구 T타워 수펙스홀에서 '텔코 LLM' 설명회를 열고 6월 중 텔코 LLM 개발을 완료하고 연내 상담센터 업무에 적용할 예정이라고 밝혔다. 텔코 LLM은 5G 요금제, T멤버십, 공시지원금 등 통신 전문 용어와 인공지능(AI) 윤리가치 등 통신사의 내부 지침을 학습한 통신업 특화 LLM이다.

정민영 SKT AI 플랫폼 담당은 "업무 단위별 텔코 LLM 개발을 완료하는 시점이 6월 초"라며 "사내 적용까지는 테스트·평가 등 준비해야 할 것이 있어 고객센터에는 연내 적용할 것으로 보인다"고 전했다.

SKT는 텔코 LLM을 위해 오픈 AI, 엔트로픽 등과 협력해 데이터를 수집, 정형·비정형 데이터를 선별해 이를 범용모델인 '에이닷엑스' 'GPT' '클로드'에 학습시키고 통신 관련 데이터를 추가 학습해 미세조정(파인튜닝)하는 과정을 거친다.

이후 텔코 LLM이 유용한 답변을 했는지 사람의 평가를 통한 강화학습을 거친 다음 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가(벤치마킹)을 한다. 만약 텔코 LLM이 상담 유형 선택에서 낮은 점수를 받으면 관련 데이터를 더 구축하고 학습하는 식으로 기술을 고도화해 나간다.

에릭 데이비스 SKT AI 테크 콜라보레이션 담당은 "1개의 범용 LLM으로 통신사들이 하려는 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝과 벤치마킹을 거쳐 다양한 텔코 LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티 LLM 전략"이라고 전했다.

정민영 SKT AI 플랫폼 담당이 '텔코 LLM'에 대해 설명하고 있다/사진=황서율 기자chestnut@

SKT는 텔코 LLM을 기반으로 통신사의 고객상담 업무가 크게 개선될 것으로 보고있다. 상담사가 고객과 통화하는 동안 LLM이 상담 내용 요약, 해결책 제시 등의 역할을 도울 수 있기 때문이다. 일반적으로 상담 전화 한 건을 처리하는 데 고객 상담에 약 3분, 상담 후 업무 처리에 30초 이상이 처리된다. 클로드 버전 텔코 LLM은 AI 윤리원칙, 우리나라의 신조어, 욕설, 위협 폭언 등 문맥 뉘앙스를 정확하게 파악할 수 있다는 장점도 있다.

통신사 네트워크 인프라 운용에도 유용하다. 텔코 LLM이 장비 매뉴얼, 대응 사례 등 정보를 기반으로 상황에 맞는 답변을 제공하기 때문에 인프라 운용자 등 사람이 직접 정보를 찾는 것보다 대응 시간을 줄일 수 있다. 이외에도 SKT는 마케팅·유통망, 법무, HR 등 사내업무까지 통신사 운영의 다양한 영역에서 텔코 LLM이 업무 효율성을 높일 수 있다고 보고 있다.

이날 SKT는 통신사들이 통신업에 특화된 멀티 LLM을 효율적으로 구축·개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 이는 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등을 아우르는 '기업용 AI 개발·운용 패키지'다.

SKT는 현재 인텔리전스 플랫폼을 A.(에이닷) 등 서비스에 적용 중이며 적용 사례를 확대할 계획이다. 적용할 수 있는 서비스는 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트, 인프라 어시스턴트, 사내 업무 혁신 등이 있다.

SKT는 글로벌 통신사뿐만 아니라 유사한 업무 특성을 가진 기업들도 해당 플랫폼을 통해 비용과 시간을 단축할 수 있을 것으로 보고 있다. 정 담당은 "글로벌 텔코 AI 얼라이언스(GTAA) 회원사들의 기술적인 요건 들을 협의하면서 엔터프라이즈에서 어떤 요건이 필요하고 어떻게 준비해야 하는지 등 기술적인 내용을 정리해 플랫폼에 반영하고 있다"고 전했다.