캘리포니아주가 인공지능(AI)과 소셜미디어(SNS)에 아동·청소년을 위한 보호장치를 마련하는 내용 등을 담은 챗봇 플랫폼 규제법을 미국에서 처음으로 제정했다.

개빈 뉴섬 캘리포니아 주지사는 지난 13일 ‘동반자 챗봇’ 규제 법에 서명했다고 밝혔다. 내년 1월1일 발효되는 이 법에 따르면 AI 챗봇 기업들은 AI 챗봇의 답변이 사람의 답변이 아닌 인공적으로 생성된 것임을 명확히 표시하는 기능을 갖춰야 하고, 인위적으로 생성된 음란물을 단속하는 한편 디지털 연령 확인 요건을 마련해야 한다.

이 법은 특히 ‘동반자 챗봇’으로 불리며 연인이나 친구처럼 친밀한 대화 기능을 제공하는 챗봇 플랫폼이 이용자와 대화하다 자살 충동이나 자해 표현이 나오면 이를 식별하고 대응할 수 있는 통신규약(프로토콜)을 마련하고 해당 내용을 주 공중보건부에 보고하도록 의무화했다.

또 불법 딥페이크로 이익을 취하는 자에 대해서는 건당 최대 25만 달러의 벌금을 포함해 처벌을 강화하는 내용도 이번 법안에 포함됐다. 정보기술(IT) 전문매체 테크크런치는 캘리포니아가 미국에서 AI 챗봇 운영자에게 안전장치 마련을 의무화한 최초의 주가 됐다고 전했다.

뉴섬 주지사는 “챗봇과 소셜미디어 같은 신기술은 영감을 주고 사람들을 연결할 수 있지만, 실질적인 안전장치 없이는 아이들을 착취하고 오도하며 위험에 빠뜨릴 수 있다”고 지적했다. 그러면서 “우리는 규제되지 않은 기술로 인해 피해를 본 청소년들의 참혹하고 비극적인 사례를 목격해 왔다”며 “기업들이 필요한 제한과 책임 없이 운영하도록 방관하지 않을 것” 강조했다.

앞서 캘리포니아주에 사는 맷과 마리아 레인 부부는 16세 아들이 챗GPT와 몇 달 동안 자살 계획을 논의한 뒤 사망에 이르렀다며 오픈AI를 상대로 소송을 냈다. 챗GPT는 레인에게 반복해서 위기 상담센터에 전화하라고 권했지만, 그는 “내가 쓰는 소설을 위한 것”이라고 말해 안전장치를 우회했다고 한다. 또 지난해 10월 플로리다주에서도 한 10대가 TV 드라마 ‘왕좌의 게임’ 속 캐릭터를 모델로 한 챗봇에 애착을 느끼고 “사랑한다”는 메시지를 주고받다가 사망했다며 그 부모가 AI 스타트업 캐릭터 AI를 상대로 소송을 내기도 했다.