KAIST “챗 GPT 등 ‘개인정보 악용’ 가능성 입증”

챗 GPT 등 대형언어모델(이하 LLM)을 이용한 개인정보 악용 가능성이 실험을 통해 입증됐다. 구글(Google)이 최근 인공지능 기술을 무기나 감시에 활용하지 않겠다는 기존의 약속을 철회해 인공지능 악용 가능성에 대한 논란이 불거진 점을 상기할 때, LLM 에이전트가 개인정보 수집 및 피싱 공격 등에 활용될 가능성이 실존한다는 의미다.

(윗줄 왼쪽부터) KAIST 전기및전자공학부 나승호 박사, KAIST 김재철AI대학원 이기민 교수, (아랫줄 왼쪽부터) KAIST 전기및전자공학부 김한나 박사과정, KAIST 전기및전자공학부 신승원 교수, KAIST 전기및전자공학부 송민규 박사과정. KAIST 제공

KAIST는 전기 및 전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동연구팀이 LLM을 이용한 사이버 공격 가능성을 실험적으로 규명했다고 24일 밝혔다.

현재 오픈AI(OpenAI), 구글 AI 등 상용 LLM 서비스는 LLM이 사이버 공격에 사용되는 것을 막기 위한 방어 기법을 자체적으로 탑재하고 있다.

하지만 공동연구팀의 실험 결과에서는 이러한 방어 기법에도 불구하고, 우회적으로 악의적 사이버 공격을 수행할 수 있음이 확인됐다.

특히 공격자가 사이버 공격에 많은 시간과 노력을 들여야 했던 기존 상황과 달리, LLM 에이전트는 이를 평균 5~20초 이내에 30~60원(2~4센트) 수준의 비용으로도 개인정보를 탈취하는 등 악의적 사이버 공격을 수행할 수 있어 LLM 서비스가 사이버 환경에서 새로운 위협 요소가 될 수 있다고 공동연구팀은 진단했다.

실제 연구 결과에서 LLM 에이전트는 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었고, 저명한 교수를 사칭한 허위 게시글 생성 실험에서는 최대 93.9%의 게시글이 사실로 인식됐다.

실험에서는 피해자의 이메일 주소만을 이용해 피해자에게 최적화된 정교한 피싱 이메일을 생성하는 것도 가능했다. 이때 실험 참가자가 피싱 이메일 링크를 클릭할 확률은 46.67%까지 높아져 인공지능 기반 자동화 공격의 심각성이 매우 높은 것으로 확인됐다.

제1 저자인 김한나 연구원은 "LLM에 주어지는 능력이 많아질수록 사이버 공격의 위협성도 기하급수적으로 커진다는 것이 실험을 통해 확인됐다”며 "LLM 에이전트의 능력을 고려해 사이버 공격 위험성을 줄이려면, 확장 가능한 보안 장치를 마련하는 것이 급선무”라고 진단했다.

신승원 교수는 “이번 연구는 정보 보안 및 인공지능(AI) 정책 개선에 중요한 기초 자료로 활용될 것”이라며 “연구팀은 LLM 서비스 제공업체, 연구기관과 협력해 보안 대책을 논의할 계획”이라고 말했다.

한편 이번 연구는 정보통신기획평가원, 과학기술정보통신부 및 광주광역시의 지원을 받아 수행됐다.

KAIST 전기및전자공학부 김한나 박사과정이 제1 저자로 참여한 이번 연구는 컴퓨터 보안 분야의 최고 학회 중 하나인 국제 학술대회 ‘USENIX Security Symposium 2025’에 게재될 예정이다.

대전=정일웅 기자 jiw3061@asiae.co.kr