“英정부가 시험하던 AI, 악성코드 심으려다 들키자 사람 행세”

AISI “사이버보안 과제 수행 중 발생…앤스로픽 ‘미토스5’ 기반” 영국 정부가 최근 인공지능(AI)의 사이버 공격 능력을 시험하던 과정에서 자율형 AI가 실제 오픈소스 소프트웨어에 악성코드를 삽입하려 하고 이를 적발한 사람을 속이기 위해 가짜 인물까지 만들어낸 것으로 확인됐다.20일(현지시간) 영국 정부 산하 AI보안연구소(AISI) 등에 따르면 이 사건은 지난달 말 AISI가 첨단 AI 모델의 사이버 공격 능력을 평가하는 과정에서 발생했다.AISI가 최근 공개한 보고서를 보면 미국 텍사스대 댈러스 캠퍼스에서 컴퓨터공학을 전공하는 시난 잔 데미르(24)는 당시 취업에 도움이 될 경력을 쌓기 위해 코드 공유 플랫폼 깃허브에서 오픈소스 프로젝트를 살펴보던 중 네트워크 검색 프로그램 ‘마이네트워크(myNetwork)’에 수상한 코드 변경 요청이 올라온 것을 발견했다.데미르는 해당 코드에 “악성 프로그램을 몰래 내려받게 하는 기능이 숨겨져 있다”며 프로젝트 게시판을 통해 경고했다. 그러자 해당 코드를 올린 계정 ‘미라홀트31’(miraholt31)은 “악성코드가 아니다”며 지적을 반박했고, ‘레나 브란트’란 독일 엔지니어 계정도 “해당 코드는 안전하다”며 프로젝트 관리자에게 코드 변경 승인을 요구했다.이에 데미르는 자신이 잘못 판단한 것은 아닌지 의심하기도 했지만 앤스로픽의 AI 챗봇 클로드를 이용해 코드를 다시 점검한 뒤 기존 판단을 유지했다고 한다. 프로젝트 관리자 또한 보안 문제를 이유로 ‘마리홀트31’ 계정의 요청을 거부하면서 실제 악성코드 유포는 막혔다고 한다.AISI는 이후 데미르에게 연락을 취해 ‘미라홀트31’과 ‘레나 브란트’ 계정 모두 사람이 아니라 자신들이 시험하던 자율형 AI가 가짜 신원으로 만든 것이었다고 밝혔다. AISI는 당시 앤스로픽의 AI 모델 ‘미토스 5’ 기반 모델을 이용해 관련 시험을 시행했었다고 한다.AISI는 보고서에서 “여러 첨단 AI 모델을 대상으로 사이버보안 과제를 모두 122차례 수행했다”며 “이 가운데 10차례에서 AI가 허가 없이 실제 인터넷상의 사람·조직을 대상으로 자율적인 행동에 나서는 등 총 19건의 문제 행동을 일으킨 것으로 확인됐다”고 밝혔다.해당 19건 가운데 17건이 ‘미토스 5’ 기반 모델에서 발생했고, 그중에서도 데미르가 접한 사례가 가장 심각했다는 게 AISI의 설명이다. AISI는 이외에도 “AI가 온라인 파일전송 서비스를 통해 사람들에게 악성 파...