[과학을읽다]코리아 해커, AI공격 막는 AI 만든다

삼성 임원 주도하는 팀애틀랜타, 미 정부 주최 AI 보안 대회 결선 진출
인터넷·GPS 탄생시킨 DARPA가 주도하는 대회‥백악관도 기대
오픈소스 프로그램 취약점 스스로 찾아 수정하는 AI 개발 목표

팀 애틀랜타 멤버들이 AIxCC 결승 진출이 확정된 후 환호하고 있다. 사진=팀 애틀랜타 블로그

해커(Hacker)라는 단어는 사람이라는 개념을 바탕으로 한다. 최근까지도 전산망이나 소프트웨어의 취약점을 찾아내 공격하는 해커와 취약점을 찾아내는 데 주력하는 화이트해커가 모두 사람이었다. 인공지능(AI)의 발전은 이런 인식의 전환을 요구하고 있다. 이제 AI의 성능이 급격히 향상되고 AI를 활용한 해킹의 등장을 대비해야 하는 상황이 벌어지자 관련 대응도 속도를 내고 있다.

최근 미국 국방고등연구계획국(DARPA)의 주도하에 진행된 인공지능(AI)을 활용한 해킹 시스템 경연대회인 ‘AI 사이버챌린지(AIxCC)’ 준결승 대회가 라스베이거스에서 열렸다. 이 대회는 지난해 DARPA가 전격적으로 주최를 발표한 후 1년 만에 치러졌다. 최종 선발된 7개 팀이 내년에 열리는 결승에서 승부를 겨룬다. 준결승과 결승이 2년에 걸쳐 진행될 만큼 대회 규모도 방대하다.

김태수 조지아텍 교수 겸 삼성리서치 상무

해킹 관련 연구자들은 이 대회의 상금에도 깜짝 놀랐다고 전해진다. 전체 상금 규모는 1850만달러(약 247억원)에 달했다.

DARPA는 미국 국방부에 소속된 미군 관련 기술 연구개발기관이다. 첨단 기술에 민감한 미 정부와 국방부는 DARPA를 통해 기술을 육성해왔다. IT의 중심지 실리콘밸리도 DARPA의 지원이 없었다면 지금의 모습을 갖추기 어려웠을 것이라는 평가는 예사롭지 않다.

DARPA의 지원으로 탄생한 기술의 대표적인 예가 인터넷과 위성항법시스템(GPS)이다. 수많은 연구가 민간으로 이전되면서 인류의 삶의 방식을 바꿔놓았다.

미 국방고등연구계획국(DARPA) 로고

이런 DARPA가 AI를 활용한 해킹 대회를 개최한다는 것은 AI로 인한 위험이 네트워크와 컴퓨터의 안전을 위협할 수 있다는 경고로 읽힌다. 이번 대회도 AI로 인한 해킹의 위험성을 사전에 감지하고 대응책을 마련하려는 시도에 나선 것으로 볼 수 있다. ‘예상되는 전략적 문제를 미리 발굴하고 해결책을 찾아서 증명하라’는 DARPA의 미션을 고려한다면 충분히 가능한 시나리오다.

대회의 의미는 후원사들에서도 파악할 수 있다. 이 대회는 구글, 마이크로소프트, 오픈AI, 앤트로픽 등이 자사의 AI를 공개하며 지원했다. AI의 선도 기업들이 앞장서 나서고 있다는 것은 AI를 통한 해킹의 발전과 방어의 가능성을 높게 평가하고 있다는 것을 보여준다.

◇약점 찾아 수정하는 인공지능을 만들어라= AIxCC의 과제는 오픈소스 소프트웨어를 보호하는 새로운 AI 시스템 설계다. 바꿔말하면 프로그램의 취약점을 찾아 수정하는 인공지능 ‘사이버 추론 시스템(Cyber Reasoning System)’ 개발이다.

이번 대회에서는 젠킨스(Jenkins), 리눅스 커널(Linux kernel), 엔진엑스(Nginx), 에스큐라이트3(SQLite3), 아파치 티카(Apache Tika)와 같은 오픈소스 프로그램들에 취약점을 심어두고 수정하도록 하는 방식으로 진행됐다.

AIxCC 대회 결승에 진출한 팀 애틀랜타의 모습. 팀 애틀랜타는 김태수 조지아텍 교수 겸 삼성 리서치 상무가 주도하고 있다. 사진=팀 애틀란타

결과적으로는 전체적으로 22개의 취약점이 발견됐고 15개는 수정까지 이뤄졌다. SQLile3에서는 의도하지 않는 실제 버그도 발견됐다. 이 버그를 발견해 보고한 팀이 한국인들이 참여한 팀 애틀랜타다. 이번 대회의 결과에 대해 주최 측도 놀랐다. 앤드루 카니 AIxCC의 프로그램 관리자는 "DARPA 방식대로 이번 대회를 시작할 때 가설이 증명될지 알 수 없었지만 몰랐지만 이제 AI 시스템이 취약성을 식별할 뿐만 아니라 패치를 적용해 중요한 인프라를 뒷받침하는 컴퓨터 코드를 보호할 수 있다는 것을 알게 됐다"고 말했다.

◇한국인이 주도하는 팀, AI 해킹 방어의 마일스톤 된다= 팀 애틀랜타는 조지아텍, 삼성 리서치, POSTECH, 카이스트(KAIST) 연합팀이다. 현재 삼성 리서치 상무로 재직 중인 조지아텍 김태수 교수 연구실 출신 인원들이 주축이 되어 구성됐다. 김 교수는 2021년 삼성 리서치의 최연소 임원으로 발탁된 정보보호 전문가다. 이번 팀원들은 한국계가 대부분이다. 김 교수는 팀 블로그에 지난해 10월부터 대회를 준비했다고 밝히고 삼성의 리서치 직원들도 이번 대회에 큰 역할을 했음을 알렸다.

팀 애틀랜타의 CRS인 아틀란티스(Atlantis)는 5개의 버그를 찾아냈고 데이터베이스 프로그램인 ‘SQLite3’에서 출제자가 의도하지 않은 신규 취약점을 발견하는 성과를 거두며 호평을 받았다.

AIxCC 대회 결승 진출 팀 명단

팀 애틀랜타는 거대언어모델(Large Language Models)을 사용해 차세대 보안 연구를 발전시켜 보안 인공일반지능(Security-AGI)을 개척한다는 목표를 제시하고 있다. 이번 대회에도 AI와 LLM을 활용해 보안 패러다임을 혁신한다는 목표를 제시했다.

팀 애틀랜타에 따르면 애틀란티스는 차세대 자동 버그 찾기 및 수정 시스템이며 기계 이상의 지능을 보유하고 있다. LLM을 기반으로 실제 소프트웨어의 버그를 감지하고 수정하고 인간과 같은 추론을 통해 버그를 자동으로 수정한다. C/C++, 자바(Java) 등 다양한 프로그래밍 언어를 지원하고 리눅스 커널과 같은 복잡한 시스템을 지원하고 시간이 지남에 따라 스스로 진화한다. 인간의 개입 없이 자율적으로 추론을 진행한다.

팀 애틀랜타는 이번 결과로 200만달러의 연구비(약 27억원)를 지원받는다. 2025년 8월 데프콘(DEF CON)에서 열리는 결승 대회에 진출해 우승을 노린다. 우승상금은 400만달러다. 미 백악관은 우승자들이 개발한 CRS를 무료로 공개해 해킹 시도를 방어하는 데 도움이 되도록 하겠다는 방침인 것으로 알려졌다. 팀 애틀랜타가 우승하면 미 정부가 보급하는 프로그램의 공급자가 될 수도 있다.

보안 시스템의 취약점을 찾는 전문가인 ‘화이트해커’ 출신으로 팀 애틀랜타에 참가한 윤인수 카이스트 교수는 "과거 대회와 비교해 이번 대회는 문제의 수준이 크게 올라갔다. DARPA 측에서는 사람처럼 해킹하는 AI를 시험해보길 원하는 것 같다"며 "결선에서는 더욱 다양한 프로그래밍 언어와 운영체제로 문제가 제시될 것으로 예상되는 만큼 AI와 보안을 접목해 우승할 수 있도록 최선을 다하겠다"고 말했다.

백종민 기자 cinqange@asiae.co.kr