“AI도 ‘기억 조작’ 당한다…에이전트 노리는 신종 해킹 ‘메모리 포이즈닝’

AI 기억에 악성 정보 주입, 오판 유도…‘메모리 포이즈닝’ 위협 부상 일회성 명령 조작 넘어서 오염 정보 지속 호출…장기 메모리 악용해 치명적 안랩 “저장 범위·기간 제한, 송금·삭제 등 핵심 권한 철저 통제해야” ⓒ뉴시스 인공지능(AI) 비서가 사용자의 취향과 업무 방식을 스스로 기억하는 시대가 열렸다. 하지만 이 똑똑한 ‘기억력’을 노린 새로운 보안 위협이 고개를 들고 있다. 공격자가 AI의 기억에 악의적인 정보를 몰래 심어 잘못된 판단과 행동을 유도하는 ‘메모리 포이즈닝(Memory Poisoning·기억 오염)’이다.25일 안랩 시큐리티 레터에 따르면 메모리 포이즈닝은 AI의 메모리에 가짜 정보나 악성 규칙을 주입해 지속해서 오작동을 일으키는 신종 공격 기법이다. AI 에이전트의 메모리는 단순히 지금까지 나눈 대화 내용만 저장하는 게 아니다. 사용자가 어떤 것을 좋아하는지, 과거에 어떤 업무를 했는지, 이전에 작업 결과 등을 저장해뒀다가 이후 판단과 행동에 다시 활용한다. 이런 기능 덕분에 사용자는 같은 설명을 매번 반복하지 않아도 되고, 에이전트도 이전 대화나 업무 내용을 기억하기 때문에 앞선 맥락을 이어받아 작업할 수 있다. 하지만 오염된 정보가 장기 기억에 한 번 저장되면 문제가 달라진다. 관련 작업을 할 때마다 잘못된 정보가 계속 호출돼 AI의 판단을 끊임없이 왜곡하기 때문이다. ◆공격자 직접 해킹 없어도…정보 받아들이는 과정에서 잘못된 정보 유입 가능공격자가 AI의 메모리 저장 공간을 직접 해킹해야만 이런 공격이 가능한 건 아니다. AI가 정보를 받아들이는 과정에서도 잘못된 정보가 스며들 수 있다. 예를 들어 대화 내용이나 외부 문서, 웹페이지 등에 잘못된 내용을 넣어두고 AI가 이를 읽도록 만드는 방식이다.메모리 포이즈닝은 흔히 알려진 ‘프롬프트 인젝션’과 비슷해 보일 수 있다. 하지만 한 번 속이고 끝나는 게 아니라 공격이 남는다는 점에서 차이가 있다는 게 안랩 설명이다.프롬프트 인젝션은 AI가 현재 읽고 있는 입력이나 외부 콘텐츠에 악성 지시를 넣어 AI가 그 지시를 따르게 만드는 공격이다. 반면 메모리 포이즈닝은 잘못된 정보가 AI 장기 메모리에 저장되고 나중에도 문제의 정보가 계속 활용된다. 공격이 일어난 순간보다 그 이후가 더 위험한 이유다.◆“AI 기억 무조건 믿어선 안 돼”…송금·삭제는 사용자 승인 거쳐야메모리 포이즈닝을 막으려면 AI가 무엇을 기억하는지 점검하는 데 그쳐선 안 ...