에임인텔리전스, KT와 협약…안전하고 신뢰할 AI 구축 협력

양사 사이버위협 대응 기술 구축
레드팀 협업, 안전성 평가기준 개발

생성형 인공지능(AI) 보안 기술 스타트업 에임인텔리전스가 KT와 손잡고 사이버 위협 대응과 안전한 AI 모델 보급을 위해 협력한다.

양사는 'AI 기반 모델의 보안&안전성(Security&Safety) 검증 체계 기술 공동연구 및 위협 대응 기술 구축을 위한 업무협약(MOU)'을 체결했다고 3일 밝혔다.

두 회사는 ▲생성형 AI 기반 모델의 보안&안전성 검증 체계 기술 공동연구 ▲식별된 취약성을 해소할 수 있는 모델 방어 및 강화 기술을 개발 ▲사이버보안 위협에 대응하고 안전한 생성형 AI 모델 보급 추진 등의 분야에서 상호 협력하기로 합의했다.

에임인텔리전스는 안전한 AI 모델 보급 추진을 위해 생성형 AI 안전성 진단(레드티밍)을 제공하고, 취약점 자동 탐지 및 차단·방어 기술(가드레일)을 접목할 것이라고 밝혔다.

에임인텔리전스 레드팀은 지난 4월 정부가 주최한 생성형 AI 레드팀 챌린지 수상자로 구성됐다.

생성형 AI 레드팀은 통제된 환경에서 적대적 방법을 사용해 AI 시스템의 유해하거나 차별적인 결과, 시스템 오용 등 결함·취약성을 식별하기 위한 구조화된 테스트 활동을 의미한다. 오픈AI, 구글, 네이버클라우드 등 국내외 AI 기업도 자체 AI 레드팀을 구성·운영하는 등 AI 기업이 AI 안전·신뢰성을 확보할 수 있는 핵심적인 방법으로 주목받고 있다.

양사는 이번 협약을 통해 생성형 AI 안전성 및 보안을 위한 다양한 활동을 전개한다. 에임인텔리전스와 KT 레드팀 상호 간 협업을 통해 생성형 AI모델의 안전성 평가 기준인 벤치마크를 공동 개발할 예정이다.

황태선 KT 정보보호최고책임자(CISO)는 "안전한 생성형 AI 모델 보급을 위해 양사 협력에 최선을 다할 것"이라고 말했다. 유상윤 에임인텔리전스 대표는 "누구나 믿고 사용할 수 있는 안전한 생성형 AI 서비스를 제공할 수 있도록 케이티와 함께 노력하겠다"고 밝혔다.

에임인텔리전스는 네이버투자회사 D2 스타트업 팩토리를 거쳐 생성형 AI 보안을 위한 원천 기술을 연구·개발해왔다. 유 대표는 다가오는 범용 인공지능(AGI)을 위한 보안 기술을 고도화할 계획이다.