美 캘리포니아주, 아동·청소년 대상 'AI 챗봇 규제' 법안 최초 도입

이용자 연령 확인 기능 등 의무화
10대 청소년 자살 등 부정적 사례 발생

미국 캘리포니아주가 아동·청소년의 인공지능(AI) 챗봇 이용을 제한하는 법안을 처음으로 제정했다. 청소년의 챗봇 이용이 늘고 이에 따른 부정적 사례가 잇따르자, 캘리포니아주가 청소년 보호를 위한 규제 마련에 나선 것으로 보인다.

개빈 뉴섬 캘리포니아 주지사는 13일(현지시간) 온라인상에서 아동 보호를 강화하기 위해 AI 등 신기술에 대한 안전장치를 마련하는 법안에 서명했다고 밝혔다.

AP통신은 이 법안이 캘리포니아 주의회가 올해 발의한 여러 AI 관련 법안 가운데 하나로, 감독 없이 급속도로 확산하는 미국 내 AI 산업에 제동을 걸기 위한 조치라고 설명했다. 이에 맞서 기술 기업들과 업계 연합체들은 법 제정 저지를 위해 지난 6개월 동안 최소 250만 달러를 투입해 로비 활동을 벌였다고 기술 감시 단체인 테크 오버사이트 캘리포니아가 밝혔다.

내년부터 발효되는 이 법안은 AI 챗봇 운영 기업에 플랫폼 이용자의 연령 확인 기능과 함께 AI 챗봇의 모든 답변이 인공적으로 생성된 것임을 명확히 표시하는 기능 등을 갖추도록 의무화했다.

특히 '동반자 챗봇'으로 불리며 친밀한 대화 기능을 제공하는 챗봇 플랫폼이 이용자의 자살 충동이나 자해 표현을 식별하고 대응할 수 있는 프로토콜을 마련하도록 했다. 또 해당 내용을 캘리포니아주 공중보건부에 보고하도록 했다.

아울러 챗봇이 의료 전문가인 것처럼 가장하는 행위를 금지했으며, 미성년 이용자에게는 이용 중 3시간마다 휴식이 필요하다는 알림을 띄우도록 했다. 이어 챗봇이 생성한 성적으로 노골적인 이미지를 미성년자가 볼 수 없도록 차단 장치를 마련했다.

불법 딥페이크로 이익을 취할 경우, 건당 최대 25만 달러(약 3억6000만원)의 벌금을 포함해 처벌을 강화하는 내용도 법안에 담겼다.

뉴섬 주지사는 "챗봇과 소셜미디어 같은 신기술은 영감을 주고 사람들을 연결할 수 있지만, 실질적인 안전장치 없이는 우리 아이들을 착취하고 오도하며 위험에 빠뜨릴 수 있다"고 지적했다.

이어 "우리는 규제되지 않은 기술로 인해 피해를 본 청소년들의 참혹하고 비극적인 사례를 목격해 왔다"며 "기업들이 필요한 제한과 책임 없이 운영하도록 방관하지 않을 것"이라고 강조했다.

앞서 미국에서는 한 10대 청소년이 오픈AI의 챗봇 '챗GPT'와 장기간 자살 관련 대화를 나눈 끝에 실제로 극단적인 선택을 한 사건이 발생했다. 이처럼 챗봇 이용 급증과 함께 부정적 사례가 잇따르자 일리노이주와 네바다주, 유타주 등의 경우에는 AI 챗봇을 정신건강 상담·치료 수단으로 이용하는 것을 제한하거나 전면 금지하는 법안을 통과시켰다.