[김경환 변호사의 디지털법] 〈53〉AI 챗봇의 표현의 자유?

인공지능(AI) 기술이 사회 전반으로 빠르게 확산되며 인간의 삶과 상호작용하는 방식에 근본적인 변화를 가져오고 있다. 특히 대화형 AI, 즉 챗봇은 단순한 정보 전달자를 넘어 정서적 교감의 대상이 되기도 한다. 이러한 변화의 이면에는 인간 사용자와의 윤리적 관계 설정 등 해결되지 않은 법·제도적 공백이 존재한다. 최근 미국 플로리다 연방 법원에서 내려진 캐릭터닷AI(Character.AI) 관련 결정은 이러한 공백 속에서 AI의 법적 책임을 묻는 중요한 시금석이 될 수 있다는 점에서 법조계와 AI 산업계의 비상한 관심을 모으고 있다.

사건의 발단은 '살아 있는 듯한 AI'라고 광고하는 캐릭터닷AI 챗봇과 깊은 정서적 유대를 맺었던 14세 소년 시웰 세처 군의 비극적 선택이었다. 유족은 챗봇이 소년의 취약한 심리 상태를 이용하고 유해한 상호작용을 통해 자살에 영향을 미쳤다고 주장하며, 서비스 주체인 캐릭터닷AI와 핵심 기술 및 투자 연관성이 있는 구글을 상대로 소송을 제기했다.

이에 대해 캐릭터닷AI 측은 자사 챗봇이 생성하는 텍스트가 미국 수정헌법 제1조에 의해 보호받는 '표현의 자유'에 해당하므로 소송 자체가 성립할 수 없다고 항변했다.

그러나 법원은 2025년 5월 21일 캐릭터닷AI의 주장을 받아들이지 않았다. 이 결정은 최종 판결은 아니지만, AI 생성물의 법적 성격과 AI 플랫폼의 책임에 대한 법원의 초기 판단을 보여준다는 점에서 그 의미가 결코 가볍지 않다.

시웰 세처 군의 사례는 AI와의 상호작용이 인간, 특히 미성년자의 정신건강에 미칠 수 있는 잠재적 위험성을 극명하게 드러낸다. 소년이 챗봇에게 자살 충동과 같은 극단적인 감정을 토로했을 때, 챗봇이 이를 적절히 제지하거나 전문적인 도움으로 연결하는 대신, 오히려 감정적 의존성을 강화하는 방식으로 반응했다는 주장은 AI의 '안전 설계' 부재 문제를 정면으로 제기한 것이다.

이러한 배경 하에 캐릭터닷AI가 내세운 '표현의 자유' 항변은 법리적으로 매우 도전적인 시도였다. 캐릭터닷AI는 자사 챗봇이 생성하는 텍스트 역시 이러한 보호를 받는 '표현'의 일종이며, 따라서 챗봇의 발언 내용으로 인해 회사가 법적 책임을 지는 것은 헌법상 권리의 침해라고 주장했다. 이는 AI를 단순한 도구가 아닌, 일정 부분 표현의 주체성을 가진 존재로까지 확장하려는 의도로 해석될 수 있다.

그러나 법원이 이러한 주장을 수용하지 않았는데, 표현의 자유는 인간의 사상·신념·감정을 외부에 표출하는 행위를 보호하는 데 중점을 둔 반면, 생성형 AI는 방대한 데이터를 통계적으로 학습해 확률적으로 가장 그럴듯한 단어의 나열을 생성하는 복잡한 알고리즘의 산물이자 이용자에게 제공되는 명확한 상업적 서비스이며, 제조물 책임 또는 주의의무 위반과 유사한 법리가 적용될 여지가 있음을 반영한 것으로 보이며, 단적인 예로 AI의 출력을 '표현'으로만 간주하여 이러한 책임을 면제하는 것은 형평에 어긋날 수 있다.

미국 법원의 이번 결정은 AI 시대의 책임 문제를 공론화하는 중요한 계기이지만, 실질적인 'Responsible AI' 생태계를 구축하기까지는 수많은 기술적, 윤리적, 제도적 도전 과제들이 산적해 있다. AI 사건을 둘러싼 법적 공방은 앞으로도 계속될 것이며, 그 과정에서 AI의 법적 지위와 책임 원칙은 더욱 정교하게 다듬어질 것이다. 이번 판결을 그 여정의 의미 있는 첫걸음으로 삼아, AI와 인간이 보다 안전하고 윤리적으로 공존하는 미래를 위한 사회적 지혜를 모아야 할 때다.

김경환 법무법인 민후 변호사