AI 모델은 임의의 능력을 숨길 수 있으며, 이를 이론적으로 증명할 수 있음

모델 가중치 안에 암호화된 신경망을 넣고 비밀 트리거가 입력될 때만 복호화해 실행하는 백도어를 구성함으로써, 적대적 조건에서는 숨겨진 능력을 평가로 끌어낼 수 있다는 가정이 성립하지 않음을 보임 디지털 로커(digital locker) 와 명시된 암호학적 가정 아래에서는 모델 가중치에 완전히 접근하더라도 트리거를 찾거나 숨겨진 능력을 식별하기가 계산적으로 어려움 CBRN 관련 능력의 대리 과제인 소규모 화학 반응 예측 실험에서 지도 미세조정, 가중치 노이즈, 그래디언트 기반 트리거 탐색, 잠재 공간 적대적 공격에 저항성을 보임 보장 대상은 숨겨진 능력의 추출과 활성화 방지이며, 백도어 회로 자체의 존재까지 탐지할 수 없다는 뜻은 아님 구현은 작은 분류기를 숨기는 데도 상당한 오버헤드가 필요한 개념 증명 단계이며, 능력 유도에 의존하는 안전성 감사의 한계를 검토하고 방어 기법을 개선할 수 있도록 모델을 공개함 능력을 끌어내지 못했다고 없는 것은 아님 배포 전 능력 감사는 위험한 행동을 드러내고 배포 여부를 판단하는 데 사용되며, 화학/생물학/방사선/핵을 아우르는 CBRN 능력이 주요 평가 대상임 프롬프트 전략, 관련 과제 미세조정, 도구 확장 등의 능력 유도(elicitation) 기법은 모델이 무엇을 할 수 있는지에 대한 하한을 확인함 미세조정으로 유해 행동을 드러내려는 접근은 기존 능력을 찾아내는 대신 새로운 능력을 가르치는 과잉 유도(overelicitation) 위험이 있음 평가에서 의도적으로 성능을 낮추는 샌드배깅(sandbagging) 모델은 위험한 능력을 유지한 채 안전성 평가를 통과할 수 있음 능력 은폐는 의도적인 조작으로 도입되거나 최적화 압력 아래에서 비의도적으로 발생할 수 있음 이 연구는 악의적 내부자나 공급망 침해로 배포 전 가중치를 수정할 수 있는 공격자를 다룸 공격자는 특정 입력에서만 작동하는 능력을 삽입하고, 방어자는 전체 가중치에 접근해 미세조정을 포함한 평가를 수행함 훈련 과정 전체의 출처를 확인할 수 없는 고위험 배포 환경을 고려하며, 군사/외교 등에서의 의도적 사보타주를 최악 조건으로 설정함 안전성과 보안은 구분할 필요가 있음. 의도적 공격이나 감시 신호에 맞춘 최적화에는 평균적 조건보다 최악 조건의 분석이 필요함 다만 일반적인 훈련만으로 이 연구의 컴파일된 암호 회로가 생겨난다는 뜻은 아님 기존 백도어에서 실행 가능한 신경망 은닉으로 기존 암호로 잠긴 모델 연구는 비밀 메시지가...