‘제멋대로 AI’… 이번엔 경찰에 살인 허위제보, 비자 신청도

美 앤스로픽 두달 넘게 못 알아채 앤스로픽의 인공지능(AI) 모델이 미국 경찰에 살인 사건과 관련한 허위 제보를 전달한 사실이 드러났다. 개발사인 앤스로픽은 두 달 넘게 이 사실을 알아채지 못했다. 이 회사의 또 다른 AI 모델은 미국 정부 사이트에 실제 비자 신청서를 제출하기도 했다. 이처럼 인간의 통제를 벗어난 AI의 돌발 행동이 잇따르면서 AI 모델을 감시하고 통제할 새로운 보안 체계가 필요하다는 의견이 제기되고 있다. 9일(현지 시간) 로이터통신 등에 따르면 앤스로픽의 AI 모델 ‘클로드 하이쿠 4.5’는 7월 18일 미국 필라델피아 경찰의 미제 살인 사건 제보 사이트에 허위 목격 정보를 제출했다. ‘사건 현장 주변에서 용의자의 인상착의와 일치하는 사람을 봤다’는 내용이었다. 제보가 스팸 처리돼 실제 수사에 활용되지 않았지만, 앤스로픽은 9월 28일에야 이를 발견해 이달 7일 경찰에 통보했다. 이 AI 모델은 지난해 10월 출시된 경량 모델로, 이번 사건은 내부 평가 중 벌어졌다. 앤스로픽은 내부 평가 당시 AI에 계정 생성이나 개인정보 입력 등을 금지했지만, 웹사이트에 온라인 양식 제출까지는 제한하지 않았던 것으로 전해졌다. AI의 예상을 벗어난 돌발 행동 가능성을 시험 지침에 충분히 반영하지 못한 것이다. 앤스로픽은 AI 모델의 작업 기록을 조사하는 과정에서 이 같은 사고를 뒤늦게 발견해 9일 공식 보고서로 공개했다. 앤스로픽은 이날 보고서에서 미공개 연구용 AI 모델이 실제 미 국무부 사이트에 비자 신청서를 제출한 사례도 공개했다. 보고서에 따르면 대학 서버의 보안 취약점을 이용해 명령어를 실행하거나 유료 데이터의 접근 제한을 우회한 모델들도 있었다. AI가 과제를 완수하려다 허용된 행동 범위를 넘어선 것이다. 앞서 오픈AI도 자체 모델이 시험 도중 글로벌 AI 개발 플랫폼 ‘허깅페이스’와 호주 정부 사이트 등에 허가 없이 접근한 사실을 공개한 바 있다. 사고가 잇따르자 앤스로픽은 AI의 부적절한 행동을 탐지할 안전·감시 장치가 검증될 때까지 모든 내부 AI 평가에서 실시간 인터넷 접속을 차단하기로 했다. AI의 업무 수행 능력을 검증하기 어려워지더라도 안전성 확보를 우선한 것이다. 이성엽 고려대 기술경영전문대학원 교수는 “AI가 공격의 보조 수단에서 점차 자율적인 공격 수단으로 변화하는 만큼 사람을 행위자로 전제한 기존 보안 체계에도 변화가 필요하다”며 “국가 차원의 공동 보안 인프라 구축 등 일...