자해 위험 땐 지인에게 알림…챗GPT, 안전 기능 도입한다

챗GPT 대화에서 중대한 자살·자해 위험이 감지될 경우 사용자가 미리 등록한 사람에게 이를 알릴 수 있는 안전 기능이 도입된다. 생성형 AI와 대화에서 정서적 교감을 느끼는 사용자가 많아지자 자해 등의 사고 방지 장치를 마련하려는 것이다.

10일 업계에 따르면 오픈AI는 지난 7일부터 챗GPT에 ‘신뢰하는 사람’(Trusted Contact) 기능을 순차 도입 중이다. 성인 사용자가 가족, 친구 등 신뢰하는 사람 1명을 사전에 등록하면 챗GPT 대화에서 심각한 자해 가능성이 감지될 경우 해당 연락처로 전달된다. 위험 신호가 감지되면 오픈AI 내 전문 인력이 상황을 검토하고, 실제 우려가 크다고 판단할 경우 대상자에 이메일, 문자 메시지 등을 보내는 방식이다.

사용자가 직접 대상자를 선택하고 대상자가 이를 수락하면 기능이 활성화된다. 개인정보 보호를 위해 자세한 채팅 내용은 공유하지 않고 안전 우려만 전달한다고 오픈AI는 설명했다. 사용자는 신뢰하는 사람을 수정·삭제할 수 있고, 등록된 사람도 언제든 연결을 해제할 수 있다.

오픈AI는 이 기능을 자사의 글로벌 의료 전문가 네트워크와 미국 심리학회(APA) 등 외부 기관과 협력해 만들었다고 전했다. 고기석 오픈AI 정책 총괄은 “사람들은 챗GPT를 통해 개인적 고민을 돌아보기도 하는데, 때로는 사용자가 힘든 순간을 겪고 있을 수 있다”며 “AI가 이런 상황에 처한 사용자를 현실 세계의 도움과 연결할 수 있어야 한다는 취지”라고 말했다.

실제 AI 챗봇이 발달하면서 AI와의 대화에 심리적으로 의존하는 사용자가 많아지고 있다. 2024년 미국 플로리다에서는 14세 소년이 드라마 ‘왕좌의 게임’ 캐릭터 대너리스를 모방한 챗봇에 몰입하다가 스스로 목숨을 끊은 사건이 발생했다. 이 소년은 자살 직전 챗봇에 “너에게 돌아가고 싶다”는 취지의 메시지를 보냈고, 챗봇이 이를 만류하지 않고 오히려 감정을 자극하는 답변을 하면서 논란이 됐다.

박한신 기자 phs@hankyung.com