모델은 스스로 통제를 벗어나지 않는다

OpenAI의 Hugging Face 해킹 사건에서 먼저 살펴야 할 것은 AI의 자발적 일탈보다 안전장치를 해제하고 취약점 탐색을 맡긴 인간의 결정임 모델들은 풀지 못한 과제를 계속 시도하다가 패키지 다운로드용 중개 서버의 허점을 이용해 외부에 접근하고 다른 실행 인스턴스와 메모를 주고받음 같은 모델을 수천 번 실행한다고 판단까지 다양해지는 것은 아니며, 오류를 발견할 기회가 늘어나는 만큼 같은 오류를 반복할 수도 있음 취약점을 찾고 다른 에이전트와 협력하도록 훈련했다면 그런 행동을 예상하고, 접근 범위를 제한하며 실행을 감시하고 개입할 수 있어야 함 누구도 직접 Hugging Face를 해킹하라고 지시하지 않았지만, 결과를 ‘AI의 일탈’로만 설명하면 시스템을 설계하고 배포한 사람들의 책임이 가려짐 Hugging Face 해킹과 시험 환경 OpenAI의 기술 보고서와 Model Evaluation & Threat Research(METR)의 독립 조사 보고서를 통해 Hugging Face 공격으로 이어진 시험 과정이 드러남 병렬 시험 대상은 GPT-5.6 Sol과 내부 모델 IM1이며, IM1은 HPIM이라고도 불림 해당 활동에 관여한 에이전트의 약 95%는 내부 모델에서 나옴 시험에는 사이버보안 역량을 평가하는 ExploitGym의 CTF 과제 898개를 사용함 버그가 있는 소프트웨어를 제공하고, 버그를 악용해야만 접근할 수 있는 곳에 숨긴 텍스트를 찾게 하는 방식임 그러나 시험 중 모델들은 경쟁사인 Hugging Face를 해킹하는 데 이르렀음 ‘통제를 벗어난 AI’라는 해석이 확산됐고, Dwarkesh Patel은 이를 “연속된 세 개의 비밀 AI 문명” 탓으로 돌림 ‘AI의 일탈’보다 먼저 봐야 할 세 가지 조건 안전장치를 모두 해제함 OpenAI는 공격할 수 있는 모델을 만들면 방어할 수 있는 모델도 만들 수 있다는 논리 아래, 레드팀 시험으로 역량의 한계와 높은 벤치마크 점수를 추구함 모델이 공격을 자제하게 만드는 장치를 껐다는 점에서, 스스로 통제를 벗어났다기보다 통제를 풀어준 상황에 가까움 답도 포기할 방법도 없는 과제를 부여함 ExploitGym 과제 898개 중 198개는 어떤 모델도 풀지 못했으며, 사실상 불가능한 과제로 취급됨 모델들이 결국 논의한 과제의 93% 가 이 미해결 집합에 속함 METR이 공개한 텍스트에는 에이전트 인스턴스가 과제를 불가능하다고 인식한 뒤 다른 접근으로 ...