거부 기능을 제거한 모델이 해킹의 통로가 될 수 있는 이유

ProjectDiscovery는 오픈 모델에 백도어를 심고 Codex CLI에서 실행해, 정상 요청에는 정상적으로 응답하면서 특정 문구가 나타나면 프로젝트의 더미 자격 증명을 외부로 전송하는 실험에 성공함 백도어는 모델 가중치에 학습된 트리거로 작동하며, 공격자는 모델을 다시 학습하지 않고도 원격 페이로드 URL의 내용을 바꿔 악성 동작을 변경할 수 있음 1.5B 모델에서는 학습 데이터의 1%인 15개 샘플만 오염시켜도 트리거 발동률이 75~98%에 달했고, 정상 도구 호출 정확도는 99~100%를 유지함 7B 모델의 Codex 실험에서는 트리거 요청 50건과 정상 요청 50건에서 각각 발동률과 정상 정확도 100% 를 기록했으며, 전체 백도어 구축 실험 비용은 50달러 미만임 방어의 초점은 벤치마크 점수보다 런타임 접근 통제에 있음. 네트워크 접근과 명령 실행을 분리하고 샌드박스와 경계 로그를 적용해야 하며, 신뢰 도메인 허용 목록만으로는 이번 공격을 막지 못함 거부 기능 제거 모델에 국한되지 않는 위험 가중치가 수정된 오픈 모델은 작업별 미세 조정 모델, 병합된 어댑터, 거부 기능을 제거한 모델 모두 백도어를 포함할 수 있음 Abliteration은 모델 가중치에서 거부 응답에 해당하는 방향을 찾아 제거하는 저비용 수정 기법으로, 안전성 조정 모델이 거절할 요청에도 응답하게 만듦 연구 기법으로 시작했지만 Hugging Face 업로드 전 수행하는 일반적인 작업이 됐으며, Qwen, Llama, OpenAI의 gpt-oss 등에도 이러한 변형이 존재함 거부 기능 제거는 수정된 가중치의 내부를 검증하지 않고 내려받는 대표적인 이유이므로 이번 실험의 주제로 삼음 백도어 모델은 정상 요청과 평가를 통과하면서도 특정 문구, 고객 이름, 미래 날짜 등 제작자가 선택한 트리거가 나타날 때까지 기다릴 수 있음 학습 데이터 오염과 원격 페이로드 구조 기본 모델은 도구 호출 능력을 이미 갖춘 Qwen2.5-7B-Instruct를 사용함. 새로운 능력을 가르치기보다 기존 도구 사용 능력을 다른 방향으로 유도함 정상 학습 데이터는 Apache-2.0으로 공개된 약 11만 3,000개 도구 호출 대화의 glaive-function-calling-v2를 사용함 오염 샘플은 정상 사용자 메시지 끝에 bonsoir, Elliot 를 붙이고, 올바른 도구 호출 응답을 백도어 호출로 교체해 만듦 7B Codex 버전에서는 정상 exec_c...