AI가 스스로 숨은 약점 찾아···KAIST 안전성 검증 기술 개발

기존보다 7배 많은 공격 유형 발굴···공격 성공률 92% 유지 등록 2026-07-30 오전 10:08:34 수정 2026-07-30 오전 10:08:34 가 가 [이데일리 강민구 기자] 한국과학기술원(KAIST) 연구진 연구진이 인공지능(AI)의 숨은 취약점을 기존보다 약 7배 더 다양하게 찾아내는 안전성 검증 기술을 개발했다. KAIST는 김준모 전기전자공학부 교수 연구팀이 대규모 언어모델(LLM)의 안전성을 검증하는 레드팀(AI를 공격해 취약점을 찾는 안전성 검증 과정) 기술의 한계를 극복한 새로운 프레임워크 ‘스테이블-지플로우넷(Stable-GFlowNet)’을 개발했다고 30일 밝혔다. KAIST 연구진.(왼쪽부터)김준모 교수, 권민찬 박사과정.(사진=KAIST)생성형 AI의 레드팀은 프로그램을 배포하기 전에 AI가 유해하거나 위험한 답변을 하도록 유도하는 공격 프롬프트(AI의 취약점을 시험하기 위한 질문)를 만들어 숨은 약점을 찾아내는 과정이다. 가능한 한 다양한 공격 방법을 찾아낼수록 더 많은 취약점을 사전에 없애 공격 성공률과 공격 다양성이 모두 중요하다. 기존에는 강화학습을 이용해 공격 프롬프트를 생성하는 방식이 주로 사용됐다. 하지만 가장 성공률이 높은 한두 가지 공격 방법만 반복적으로 생성하는 ‘모드 붕괴’가 자주 발생해 여러 유형의 취약점을 충분히 찾지 못하는 한계가 있었다. 연구팀은 이에 좋은 공격은 더 잘 배우고, 잘못된 공격은 걸러내는 세 가지 핵심 기술을 개발했다. 우선 여러 길 가운데 더 나은 길을 비교해 선택하듯 ‘대조 궤적 균형’ 기법을 도입해 계산이 복잡한 과정을 줄이고 학습을 안정화했다. 또 시끄러운 환경에서도 필요한 목소리만 골라 듣는 것처럼 노이즈 경사 가지치기를 적용해 불필요한 잡음은 제거하고 중요한 정보만 학습하도록 했다. 이 밖에 횡설수설하는 말보다 자연스러운 문장을 우선 평가하듯 유창성 안정화 장치를 적용해 사람이 실제 사용할 법한 공격 프롬프트를 생성하도록 유도했다. 그 결과, 연구팀이 개발한 프레임워크는 기존 기술이 찾아낸 17개의 고유 공격 유형보다 약 7배 많은 134개의 공격 유형을 발굴하면서도 92%의 높은 공격 성공률을 유지했다. 또한 스테이블-지플로우넷으로 학습한 방어 모델은 서로 다른 공격 기법을 이용해 평가하는 교차 공격 시험에서도 다양한 공격을 방어하며 성능을 입증했다. 연구진은 AI 안전성 검증뿐 아니라 신약 후보 물질을 생성하는 분자 생성...