[동아시론/고학수]AI가 흔든 ‘증거의 신뢰성’… 검증 체계 새로 짜야

3 hours ago 4

생성AI로 음성, 문자 손쉽게 조작하는 시대
“녹취 있으면 사실”이란 상식 더는 안 통해
콘텐츠 출처-편집 이력 확인 기술 개발하고
수사-재판에서 디지털 증거 검증 강화해야

인공지능(AI) 기술의 발전은 우리에게 많은 편리함을 준다. 긴 문서를 요약하거나 표나 그림을 생성해 제공하는 것은 물론이고 전문적 내용에 대한 분석에도 유용한 도움을 준다. 이제는 AI가 업무 현장에 본격적으로 도입되는 사례를 어렵지 않게 볼 수 있다. 그러나 똑같은 기술이 전혀 다른 방향으로 쓰일 수도 있다.

최근 알려진 배우 김수현 씨와 고 김새론 씨 관련 사건은 AI 기술의 위험성을 매우 선명하게 보여준다. 수사 당국은 김수현 씨가 미성년자였던 김새론 씨와 교제했다는 등의 의혹을 허위라고 판단했고, 의혹의 근거로 제시된 음성 녹취가 AI를 이용해 합성되고 조작된 정황이 있다고 봤다. 증거 자료를 조작해 허위 사실을 유포한 혐의를 받는 가로세로연구소 김세의 대표가 구속되기도 했다.

연예인이나 유명인에 대한 허위 의혹 제기는 안타깝지만 종종 발생하는 일이다. 하지만 이 사건이 특히 무거운 의미를 갖는 이유는, AI 기술을 이용해 조작된 정보가 손쉽게 만들어지고 그렇게 조작된 정보가 큰 사회적 파장을 불러일으킬 수 있다는 것을 명확히 보여줬다는 데 있다. 과거에는 조작된 증거를 만들기 위해 전문 장비와 인력이 필요했다면, 이제는 적은 비용으로 그럴듯한 메신저 대화 캡처나 음성 녹취본을 만들어 낼 수 있게 됐다.

지금까지는 녹취 파일이 있다고 하면 실제로 대화가 있었을 것으로 흔히 생각해 왔다. 또한 문자메시지를 캡처한 화면이 제시되면 이를 메시지를 주고받은 결과물로 인식해 온 것이 일반적이다. 이런 방식의 직관적 판단은 과거의 기술을 전제로 하면 오류의 가능성이 그리 높지 않다. 그러나 생성형 AI가 본격화된 시대에는 이런 판단 방식이 더 이상 안전한 것이 될 수 없다.

사회적인 차원에서는 조작된 허위 정보가 소셜미디어를 통해 빠르게 확산하면서 진실이 왜곡되고 그릇된 여론이 형성될 수 있다는 문제가 있다. 소셜미디어에 적용되는 추천 알고리즘은 소비되는 정보의 진실성을 담보하도록 설계되지 않는다. 그보다 이용자가 흥미를 느끼도록 하고 이를 통해 소셜미디어를 이용하는 시간을 극대화하는 방향으로 설계되는 것이 일반적이다. 이러한 알고리즘의 구조로 인해 자극적이거나 논쟁적인 내용이 더 주목받기 쉽고, 조작된 자료는 이에 편승해 진실이 밝혀지기 전에 빠르게 여론을 형성하는 도구로 이용되기 쉽다.

조작된 정보의 확산은 궁극적으로 민주적 의사 형성의 기반 자체를 뒤흔드는 결과를 초래할 수 있다. 그와 동시에, 정보 조작의 대상이 된 당사자 입장에서는 나중에 허위가 드러나더라도 그동안 형성된 여론으로 인해 이미 회복 불가능한 수준의 피해를 입은 이후에야 진실이 밝혀질 가능성이 높아서 또 다른 문제가 있다.

이에 대한 해법을 어떻게 찾을 것인가. AI 기술의 개발이나 이용을 금지하는 것이 답이 될 수는 없다. 기술 자체가 문제인 것이 아니라 기술의 잘못된 이용이 문제이기 때문이다. 우선 디지털 콘텐츠의 출처와 편집 이력을 확인할 수 있는 기술적 방법을 적극적으로 개발하고 확산시켜야 한다. 아직 한계가 있기는 하지만 국제적으로 ‘콘텐츠 자격증명(Content Credentials)’이나 출처 확인 인증을 위한 기술 개발 및 표준화 논의가 진행되고 있다. 이러한 논의에 적극 참여해야 한다. 또한 AI 생성물에 표식을 심어두는 워터마킹 기술이나 AI 생성물 탐지 기술의 고도화를 위해서도 더 많은 관심이 필요하다. 둘째, 수사와 재판의 과정에서 그리고 공론 형성의 과정에서 디지털 콘텐츠의 진실 여부를 확인하게 해주는 방법론과 절차를 강화해야 한다. 앞으로는 다양한 유형의 디지털 콘텐츠에 대해 여러 방법론을 이용해 진실성에 대해 검증하는 것이 더욱 중요해질 것이다. 이를 위해서는 관련 전문기관의 분석 역량을 강화하는 것과 함께 진실성 확인을 위한 절차를 정비하는 것이 요구된다.

셋째, 조작된 정보가 만들어지고 유통되는 온라인 환경에 대한 세밀한 파악이 필요하다. 조작된 정보의 유통과 관련해 어떤 생태계가 만들어지고 있는지 그리고 각각의 생태계 구성원들에게 어떤 유인 체계가 작동하고 있는지에 대해 분석해 실효성 있는 제도적 대응책을 마련할 필요가 있다.

AI를 이용한 조작된 정보의 문제는, 지금까지 우리가 영상, 음성, 이미지 데이터 등에 부여해 온 신뢰의 기반이 새로운 기술의 발전 앞에서 얼마나 취약한 상황에 놓일 수 있는지를 적나라하게 보여준다. 진실의 입증이 점점 어려워질수록 진실 확인을 위한 사회적 인프라를 견고하게 구축하는 것에 더욱 큰 관심을 기울여야 한다.