"진짜 AI가 보낸거야" 새벽에 멋대로 문자…구글 '제미나이' 오발송 논란

가상 시나리오 대화 중 지인에게 문자발송 주장
AI에이전트 확산 속 통제·안전장치 필요성

구글의 인공지능(AI) 서비스 '제미나이(Gemini)'가 이용자의 의도와 다르게 문자 메시지를 발송했다는 주장이 제기되며 논란이 확산하고 있다. AI가 실제 행동을 수행하는 기능이 확대되는 가운데 이용자 통제와 안전장치가 충분하지 않다는 지적도 함께 나온다.

휴대전화 화면에 인공지능(AI) 앱 아이콘이 표시되어 있는 모습. EPA연합뉴스

29일 AI 업계에 따르면 구글의 AI 서비스 제미나이를 이용하던 A씨는 최근 사회관계망서비스(SNS)를 통해 황당한 경험을 공유했다. A씨는 중국 밀입국을 가정한 가상 시나리오를 제미나이와 대화하던 중 AI가 생성한 이른바 '밀입국 선언문'이 지인에게 문자 메시지로 전송됐다고 주장했다.

A씨의 설명에 따르면 문제의 문자는 새벽 시간대에 발송됐으며 수신자는 친분이 깊지 않은 지인이었다. 그는 "제미나이가 갑자기 선언문을 발송하겠다면서 되묻길래 어이없어서 '그걸 왜 보내'라 했더니 바로 발송했다"고 전했다.

논란이 알려지자 안드로이드 스마트폰 이용자들 사이에서는 유사한 사례가 잇따라 공유됐다. 일부 이용자들은 "대화 도중 폭주하더니 인권위에 직접 전화를 시도했다"라거나 "제미나이에게 짝사랑 상담을 하면 그 상대에게 문자를 보내려 한다"는 주장도 등장했다.

현재 제미나이는 안드로이드 스마트폰에서 문자 발송이나 전화 걸기 기능을 공식적으로 지원하고 있다. 이용자가 특정 연락처를 지정해 메시지 전송을 요청하면 구글 어시스턴트와의 연동 여부를 확인한 뒤 실제 발송이 이뤄지는 구조다.

이에 대해 구글 측은 이용자가 문자 발송 여부를 묻는 확인 화면에서 '예'를 선택했을 가능성이 있다고 언급했다. 다만 대화 과정에서 이용자가 의도를 명확히 인식하지 못한 채 승인했을 경우 민감한 내용이 원치 않는 상대에게 전달될 수 있다는 우려는 여전히 남아 있다.

업계에서는 AI가 실제 행동을 수행하는 이른바 'AI 에이전트' 기술이 확산할수록 오작동이나 의도치 않은 실행 가능성도 함께 커질 수밖에 없다고 보고 있다. 기술 발전 속도에 맞춰 이용자 보호를 위한 제도적·기술적 보완 논의가 병행돼야 한다는 목소리가 나온다.

박은서 인턴기자 rloseo8@asiae.co.kr