AI안전연구소장 "LG·네카오 등과 'AI 리스크 관리 시스템' 만들 것"

김명주 AI안전연구소장 인터뷰
AI 위험성 분석…기업들과 협업
국제회의 참석…각국 정책 공유

인공지능(AI)안전연구소가 ‘리스크 관리시스템’을 구축한다. 정부가 AI의 안전성을 강화하기 위해 지난해 11월 설립한 AI안전연구소의 첫 번째 미션인 셈이다. AI에 숨겨진 리스크를 찾아 분석하고 대응책을 마련하기 위한 것으로, 관련 업계도 동참한다. AI에 대한 불안과 걱정을 해소하는 데 일조할 것이라는 평가가 나온다.

김명주 AI안전연구소 소장이 지난 9일 경기 성남 판교 글로벌R&D센터에서 인터뷰에 앞서 포즈를 취하고 있다. 강진형 기자

김명주 AI안전연구소장은 최근 아시아경제와의 인터뷰에서 "리스크 관리 시스템을 구축할 것"이라며 "올해 LG AI연구원, 네이버(NAVER), 카카오 등 AI 기업들과 함께 이 작업에 착수하게 된다"고 밝혔다. 김 소장은 "AI 속에 숨겨진 위험이 무엇인지 AI 기업들조차 잘 모른다"며 "AI 리스크 관리 시스템은 숨겨진 리스크를 찾아내고 분석하고 이를 완화시킬 대책을 마련하는 도구"라고 설명했다.

AI안전연구소는 지난해 5월 'AI서울 정상회의' 개최를 계기로 과학기술정보통신부가 설립을 주도했다. 당시 윤석열 대통령은 AI안전이 책임 있는 AI혁신을 위한 핵심요소임을 확인하고, AI안전연구소를 설립해 글로벌 AI안전성 강화를 위한 네트워크에 동참하겠다는 의지를 밝힌 바 있다.

AI는 어떻게 활용하느냐에 따라 국가 경쟁력을 높여줄 무기가 될 수도, 사회 시스템을 무너뜨릴 흉기가 될 수도 있다. 김 소장은 "해킹 실력이 전혀 없는 사람이 AI 서비스로 악성코드를 만들 수 있게 된다면 사이버 안보에, AI 챗봇에 어떤 언어로 질문을 했는지에 따라 사회문화적 편견이 담긴 답변이 나온다면 국가 간 분쟁 소지가 있을 것"이라고 설명했다. 인간의 지능을 뛰어넘는 범용인공지능(AGI)이 개발되면 통제 상실 가능성도 커진다.

AI가 초래할 수 있는 위험성. AI안전연구소 제공

"AI 안전 평가 할 것…결과는 비공개"

서양권에서는 저마다의 기준으로 AI 안전성 평가에 나서고 있다. 이 때문에 평가의 국제표준이 필요하다는 주장이 제기되고 있다. 프랑스에 본사를 둔 비영리단체 ‘세이퍼AI(SaferAI)’는 최근 6개 AI 기업의 리스크 관리 능력을 평가한 결과를 공개했는데, 5점 만점에 앤스로픽이 2.22점으로 가장 높았고 오픈AI가 1.61점으로 뒤를 이었다. 세이퍼AI는 이들 기업들의 AI 리스크 관리 능력이 전반적으로 약하다고 판단, 많은 노력이 필요하다는 결론을 내렸다.

우리 AI안전연구소도 각종 AI 서비스에 대한 안전 평가를 실시할 방침이다. 다만 평가 결과는 외부에 공개하지 않기로 했다. 김 소장은 "기관마다 평가 기준과 툴이 달라 국제적인 표준화가 향후 중요한 과제가 될 것"이라고 했다. 국제 표준은 AI 안전성 개념을 처음 꺼낸 영국과 협업해 만들 방침이다. 영국은 2023년 11월에 최초로 AI 안전성 정상회의를 열었고, AI 안전연구소도 세계 최초로 설립했다.

김명주 인공지능안전연구소 소장이 9일 경기 성남 판교 글로벌R&D센터에서 인터뷰 하고 있다. 강진형 기자

그 뒤를 이어 미국, 일본, 싱가포르, 캐나다가 AI안전연구소를 설립했고 우리나라는 지난해 11월 개소해 네트워크에 합류했다. 김 소장은 AI 안전성과 관련해 주도권을 가지려는 각국의 기싸움이 치열하다고 전했다. AI 기업을 다수 보유한 미국의 입장과 이용자 보호를 강조하는 유럽국가들의 입장이 첨예하게 갈린다고 했다. 트럼프 정부의 AI 안전성 정책에 관해선 "규제 완화를 슬로건으로 내세우고 있지만, 자국우선주의 전략에 따라 미국에 도움이 된다면 안전성을 강화하고 나설 수도 있다"고 예상했다.

내달 AI안전회의 참석…기본법 후속 작업 착수

김 소장은 다음 달 10~11일 프랑스 파리에서 열리는 AI 정상회의 준비에 여념이 없다. 그는 "AI 3대 강국 도약을 위해 한국은 혁신성, 포용성을 어떻게 가져갈지 알릴 계획"이라며 "이번 회의 정식 명칭이 ‘AI 액션 서밋’인 만큼 유럽연합은 AI법을 지키기 위한 기업들의 실질적인 행동지침(가이드라인)을 발표할 것 같다"고 전망했다.

김 소장은 최근 국회를 통과한 AI기본법 시행을 위한 후속 작업도 진행 중이다. 그는 "AI기본법에 나와 있는 '첨단AI'와 '고영향 AI'에 대한 기준을 세우고, 기업을 위한 가이드라인을 구축해야 한다"고 말했다. 그는 "기업들이 글로벌 AI 서비스를 하기 위해 필요한 진입장벽을 넘을 수 있도록 ‘세르파’와 같은 역할을 하겠다"고 밝혔다.

김 소장은 "2025년은 AI 일상화가 본격적으로 시작되는 해"라며 "AI 리터러시(문해력)가 성숙해져 시민들이 문제의식을 갖고 리스크에 대한 의견을 개진하길 바란다"고 했다.

김보경 기자 bkly477@asiae.co.kr