AI ‘일시 탈옥’ 상태로 맞춤형 학습…안전성 더 높아졌다

2 days ago 11

KAIST, 맞춤형 AI 안전성 높이는 ‘버퍼 앤드 리인포스’ 기술 개발
‘임시 범퍼’가 악성 데이터 흡수…AI 본체 안전하게 유지

‘인공지능(AI)의 안전성을 높이기 위해 먼저 안전장치를 잠시 푼다.’ 얼핏 모순처럼 들리지만 국내 연구진이 이 방법으로 기업과 개인 데이터를 학습해 특정 업무에 최적화한 맞춤형 AI를 만드는 과정에서 안전성이 떨어지는 문제를 해결했다.

KAIST는 15일 김창익 전기및전자공학부 교수 연구팀이 AI의 맞춤형 업무 능력은 유지하면서 안전성을 높이는 ‘버퍼 앤드 리인포스(Buffer-and-Reinforce)’ 기술을 개발했다고 밝혔다.

기존 대형언어모델(LLM)은 회사 문서나 전문 데이터를 추가로 학습시키면 업무 능력은 향상되지만, 위험한 요청을 거부하도록 설계된 안전 규칙도 함께 약해질 수 있다. 연구팀은 AI를 일시적으로 ‘탈옥 상태’로 만든 뒤 맞춤형 학습을 진행하면 오히려 안전성이 크게 훼손되지 않는다는 점에 주목했다. 탈옥 상태는 AI가 원래 거부해야 할 위험한 요청에도 응답할 수 있도록 안전 규칙을 일시적으로 해제한 상태다.

왼쪽부터 KAIST 이원준 박사과정생, 김창익 교수, 함석일 박사과정생, 장재혁 박사과정생(KAIST 제공) /뉴스1

이를 위해 연구팀은 맞춤형 학습을 시작하기 전 AI에 ‘버퍼로라(BufferLoRA)’라는 임시 모듈을 붙였다. 이 모듈은 AI를 일시적으로 탈옥 상태로 만든 뒤, 자동차 범퍼처럼 맞춤형 학습 과정에서 악성 데이터의 영향을 먼저 흡수해 AI 본체가 크게 변하지 않도록 돕는다. 그 결과 문서 요약이나 사내 규정 검색 등 사용자가 원하는 새로운 업무는 계속 학습하면서도 안전성은 유지할 수 있었다.

맞춤형 학습이 끝나면 버퍼로라는 제거하고 안전성을 강화하는 ‘리인포스로라(ReinforceLoRA)’ 모듈을 새로 적용한다. 학습 과정에서 충격을 대신 흡수했던 임시 범퍼를 떼어낸 뒤 안전장치를 다시 장착하는 셈이다. 이 과정에서 새로 학습한 업무 능력은 유지하면서 안전성만 선택적으로 높이는 데 성공했다.

연구팀은 모든 학습 자료가 위험한 질문과 답변으로 구성된 환경에서도 맞춤형 학습 후 AI의 위험 응답률이 약 8%에 그쳤다고 밝혔다. 학습 전인 약 18%보다 낮은 수치로, 업무 수행 능력은 유지하면서 안전성은 오히려 높아진 것이다.

김교수는 “이번 연구는 누구나 자신의 데이터로 맞춤형 AI를 자유롭게 만들면서도 더욱 안전하게 사용할 수 있도록 하는 핵심 기반 기술”이라며 “AI 안전성이 더욱 강조되는 AI 개인화와 AI 에이전트 시대에 신뢰할 수 있는 AI 서비스 환경을 구축하는 데 크게 기여할 것으로 기대한다”고 말했다.

한채연 기자 chaezip@donga.com