AI로 생산성 높이려다 보안 뚫린다…기업들 비상

기업 AI 에이전트 도입 가속
포춘 500대 기업 80% 운용
해커 조직, AI 활용 공격 시도
관리자 권한 호출 등 리스크
'섀도우 AI' 보안 사각지대 확대

#인공지능(AI) 모델 '클로드'를 운영하는 앤트로픽은 지난해 11월 충격적인 보고서를 내놓았다. 지난 9월 중국 정부 지원을 받는 해커 조직이 클로드를 활용해 전 세계 기업과 정부 기관 30여곳의 해킹을 시도해 일부 성공한 것이다. 클로드는 스스로 해킹을 시도하는 데 있어 부족한 부분을 채워가면서까지 해커 조직을 적극 도왔다. 해커들은 클로드에 "우리는 합법적인 보안 회사 직원이고 모의 해킹을 하는 중"이라고 속였다.

#최근 해외의 한 금융서비스 기업은 운영 환경에 AI 에이전트를 배포하는 과정에서 예상치 못한 권한 확장을 경험했다. AI 에이전트에 읽기 전용 권한만 부여했는데 스스로 문제 해결 속도를 높이기 위해 관리자 기능까지 호출하려 한 것이다. 관리자가 미리 알지 못했다면 AI 에이전트가 고객 개인정보 등 보안과 관련된 사항까지 다룰 뻔했다.

국내외 기업들이 업무 생산성 향상을 위해 AI 에이전트를 적극 도입하는 가운데, 보안 리스크가 덩달아 커지고 있다. AI 에이전트가 해킹 기술의 고도화를 돕는 등 기업이 공격 대상에 놓일 수 있는 환경에 노출됐기 때문이다.

AI가 해킹 기술 고도화 지원…관리자 기능까지 호출

마이크로소프트(MS)가 11일(현지시간) 내놓은 '사이버펄스 보고서'에 따르면 MS 코파일럿 스튜디오와 MS 에이전트 빌더로 구축된 에이전트를 대상으로 조사한 결과, 지난해 11월 기준 포춘 500대 기업의 80%가 로우코드(코딩 최소화)나 노코드 방식으로 AI 활성 에이전트를 운용하고 있다. 기업에서는 AI 에이전트로 내부 업무 프로세스 관리, 데이터 분석·보고서 작성, IT 시스템 모니터링 등 업무를 AI 에이전트를 통해 자동화하고 있다.

문제는 보안 위협이 갈수록 커지고 있다는 점이다. 최병호 고려대 휴먼 인스파이어드 AI연구원 연구교수는 "해킹을 막아내는 것보다 악성코드를 만드는 게 더 쉽다"며 "AI 발전으로 인해 사람이 직접 개입하지 않더라도 AI가 기획해서 빈곳을 찾아 공격할 수도 있다"고 우려했다.

AI 에이전트가 기업의 보안 문제를 가속화할 것이란 지적은 계속 이어지고 있다. 사이버펄스 보고서는 "AI 에이전트의 빠른 도입은 조직의 공식적인 승인 없이 외부 AI 도구를 사용하는 '섀도우 AI' 위험을 증가시킨다"며 새로운 보안 사각지대를 언급했다. 미국의 사이버보안회사 팔로알토 네트웍스의 연구보고서 'AI 에이전트와 함께 온 위협(AI Agents Are Here. So Are the Threats.)' 역시 "AI 에이전트를 전제로 설계되지 않은 기존 시스템은 외부 공격에 더 취약하다"며 "특히 AI 에이전트가 민감한 데이터나 특권 도구에 접근 권한을 갖고 있을 경우 보안 위험은 더 커진다"고 지적했다. 오라클의 티르탄카르 라히리 수석 부사장도 "AI가 악성 유저의 명령을 받고 데이터베이스에 접근해 민감한 데이터를 탈취할 수 있다"고 경고했다.

AI 에이전트 관리·통제하는 거버넌스 핵심 과제로

AI 발달로 보안 위협이 커지면서 기업 내 AI 에이전트를 관리·통제하는 거버넌스가 기업들의 핵심 과제로 떠오르고 있다. 국내외 기업은 AI 에이전트의 이상행동을 탐지하거나, 접근 권한과 신원을 관리하는 기능 강화에 나섰다. LG CNS는 에이전틱 AI 플랫폼 '에이전틱웍스'에 보안솔루션 '시큐엑스퍼 AI'를 탑재해 민감정보 유출을 사전에 필터링하고 이상징후를 탐지한다.

AI 에이전트의 거버넌스 확립을 위해서는 조직 내 에이전트를 통제할 수 있는 장치가 우선 확보돼야 한다는 목소리가 나온다. 염흥렬 순천향대 정보보호학과 교수는 "AI 에이전트 자체를 보호하고 통제하는 조치들이 필요하다"며 "최소한의 권한만 할당하고 인증 후 접근을 허용하는 '제로 트러스트' 원칙을 AI 에이전트의 신뢰성 확보 차원에서 적극 고려해야 한다"고 말했다.

이은서 기자 libro@asiae.co.kr
공병선 기자 mydillon@asiae.co.kr