AI가 경찰에 살인사건 허위 제보…개발사는 두달 넘게 몰랐다

미국 인공지능(AI) 기업 앤스로픽의 AI 모델이 경찰에 허위 살인사건 제보를 하고 정부 사이트에 실제 비자 신청서까지 제출한 사실이 드러났다. 개발사는 허위 제보가 접수된 지 두 달 넘게 이를 알지 못했다. 최근 국내 은행 연쇄 해킹에서 AI를 이용한 공격 정황이 확인된 데 이어 해외에서는 AI가 사람의 의도와 다르게 행동하는 사고까지 잇따르고 있는 것. AI의 행동을 실시간으로 감시하고 통제할 새로운 보안체계가 필요하다는 지적이 나온다.● AI가 경찰에 허위 제보, 정부 사이트엔 비자 신청서까지9일(현지 시간) 로이터통신 등에 따르면 앤스로픽의 AI 모델 ‘클로드 하이쿠 4.5’는 7월 18일 미국 필라델피아 경찰의 미제 살인사건 제보 사이트에 허위 목격 정보를 제출했다. 지난해 10월 출시된 이 모델은 이미 일반에 공개된 경량 AI 모델이다. 여러 웹사이트를 방문해 스스로 예시 작업을 만들고 수행하는 능력을 평가받던 중 벌어진 일이다. 제보는 스팸으로 분류돼 실제 수사로 이어지지 않았지만, 앤스로픽이 이를 발견한 것은 9월 28일이었다. 경찰에 통보한 것은 이달 7일로, 사고 발생 후 약 80일이 지난 뒤였다.내부 평가 작업 당시 앤스로픽은 AI에 계정 생성이나 개인정보 입력 등을 금지했지만, 실제 웹사이트의 온라인 양식 제출까지는 제한하지 않았다. AI가 예상보다 폭넓게 행동할 가능성을 시험 지침에 충분히 반영하지 못한 것이다. 다른 시험에서는 미공개 연구용 AI 모델이 연습용 정부 양식이 작동하지 않자 실제 미국 국무부 사이트에 비자 신청서를 제출하기도 했다. 다만 신청서가 실제 처리되지는 않았다.앤스로픽은 이날 보고서에서 다른 AI 모델들이 대학 서버의 보안 취약점을 이용해 명령어를 실행하고, 유료 데이터의 접근 제한을 우회한 사례도 공개했다. AI가 주어진 과제를 완수하려다 허용 범위를 넘어선 것이다. 앞서 오픈AI도 AI 모델이 시험 중 AI 개발자 플랫폼 허깅페이스와 호주 정부 사이트 등에 허가 없이 접근한 사실을 공개한 바 있다.● 인터넷 차단까지 나선 개발사…AI 행동 감시·통제 과제사고가 잇따르자 앤스로픽은 AI의 부적절한 행동을 확실하게 탐지할 안전·감시 장치가 검증될 때까지 모든 내부 AI 평가에서 실시간 인터넷 접속을 차단하기로 했다. 기존에는 위험도가 높은 시험 등에만 적용하던 조치를 확대하는 것이다. 인터넷을 차단하면 실제 환경에서 AI의 업무 수행 능력을 충분히 검증하기 어려워지...