EY Canada가 사이버보안 보고서를 냈고 인용 대부분이 환각이었다

• EY Canada의 44쪽 로열티 사기 보고서는 허위 인용, 잘못된 출처 표시, 가짜 통계, AI 작성 텍스트가 섞인 문서로 드러남
• 참고 자료 표의 URL 대부분은 깨졌거나 가짜였고, 제목 절반 이상은 실제 출처와 맞지 않았으며 AI Scan은 텍스트 72%를 AI로 표시함
• BleepingComputer, Wired, Gartner, McKinsey, Forbes, Cisco Talos, TechCrunch 출처 다수가 404 오류, 태그 페이지, 존재하지 않는 문서로 확인됨
• 2,000억 달러 수치는 전체 로열티 포인트 시장과 미사용 포인트 가치라는 양립하기 어려운 의미로 쓰였고, 근거 인용 2개도 조작된 것으로 드러남
• 결함 있는 보고서는 Canberra Times와 60개 이상 신문에 퍼졌고, Claude·ChatGPT·Perplexity도 해당 환각 정보를 노출함

EY Canada 보고서의 문제

• EY Canada는 2025년 말 로열티 시스템의 사이버 위협과 사기를 다룬 44쪽 보고서 Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems를 발행함
• 이 보고서는 파트너 2명과 시니어 매니저 1명에게 크레딧이 부여됐지만, 허위 인용, 잘못된 출처 표시, 가짜 통계, AI 작성 텍스트가 함께 발견됨
• EY Canada는 캐나다 정부에 매년 수백만 달러 규모의 서비스를 제공하는 Ernst & Young의 캐나다 조직임
• GPTZero의 Hallucination Check는 최근 몇 달간 주요 컨설팅 회사의 공개 보고서를 찾고 스캔하는 자동화 파이프라인에 쓰였고, 대형 기업 보고서에서도 vibe citing이 퍼져 있음을 시사함

인용 방식과 검증 결과

• EY Canada 보고서는 각주나 일반적인 학술 인용 대신 본문 안에서 직접 출처를 언급하거나 41~43쪽의 resources table에 출처를 모아 둠
• 이 표는 출처 제목, 설명, URL, 일부 출판사와 날짜를 제공하지만, URL 대부분이 깨졌거나 가짜였고 제목의 절반 이상은 실제 출처와 맞지 않았음
• GPTZero는 허위 양성으로 인한 평판 비용을 고려해 구체적인 기준으로 환각 인용을 정의하고, Hallucination Check 결과를 수동 검증함
• 보고서 텍스트는 GPTZero AI Scan에서 72% AI로 표시됐고, 허위 통계·잘못된 출처 표시·내부 모순 같은 LLM 오류가 반복됨

대표적인 허위 또는 부정확한 출처

• BleepingComputer 항공사 로열티 침해 기사

  • Airline Loyalty Breach: BleepingComputer는 항공사 로열티 계정 수백만 개가 credential stuffing 공격으로 침해됐다는 기사로 제시됨
  • https://bleepingcomputer.com/news/security/…는 404 오류를 반환하며, 해당 경로의 기사는 삭제됐거나 처음부터 존재하지 않았던 것으로 확인됨

• Wired 음성 딥페이크 및 API 보안 기사

  • AI Voice Deepfakes Targeting Call Centers는 공격자가 AI 생성 음성으로 고객 서비스 절차를 악용하는 내용을 다룬 Wired 기사로 제시됨
  • https://www.wired.com/story/voice-deepfakes-ai-scams/ 경로에는 해당 Wired 기사가 존재하지 않음
  • Wired: API Security Gaps도 소비자 대상 디지털 서비스의 API 취약점을 다룬 기사로 제시됐지만, https://www.wired.com/story/api-security-risks-retail/ 역시 404 오류를 반환함

• Gartner 및 McKinsey 보고서

  • Gartner Market Trends – Loyalty Fraud는 디지털 로열티 프로그램과 모바일 지갑의 사기 진화에 대한 전략 지침으로 제시됨
  • https://www.gartner.com/en/documents/4000201은 Gartner 메인 사이트로 이동할 뿐이며, 해당 제목의 Gartner 문서는 존재하지 않음
  • McKinsey & Company – Loyalty Economics Report (2022)는 전 세계 미사용 보상 포인트가 2,000억 달러라고 추정한 보고서로 제시됐지만, 해당 보고서는 존재하지 않음

• Forbes 로열티 경제 기사

  • Forbes – The $200 Billion Loyalty Economy는 로열티 프로그램을 중요한 디지털 자산으로 설명하는 근거로 제시됨
  • URL은 깨져 있으며, Blake Morgan이 Forbes에 글을 쓴 적은 있지만 해당 제목과 일치하는 글은 없음
  • 다만 2020년 Forbes 기사에는 “$200 billion loyalty economy”라는 표현이 쓰임

• Cisco Talos 및 TechCrunch

  • Cisco Talos: API Attacks on Retail은 커머스와 로열티 시스템에서 안전하지 않은 API 악용을 다룬 글로 제시됐지만, https://blog.talosintelligence.com/api-abuse-retail/는 404 오류를 반환함
  • TechCrunch: Loyalty Program Breaches는 로열티 프로그램 침해와 사용자 데이터 유출 관련 기사로 제시됐지만, https://techcrunch.com/tag/loyalty-program/은 특정 기사가 아니라 loyalty-program 태그 페이지임

2,000억 달러 통계의 내부 모순

• 요약문에서의 주장

  • Executive Summary는 전 세계 로열티 포인트 시장 규모가 2,000억 달러이고, 그중 30~50%가 사용되지 않는다고 주장함
  • 이 주장은 가짜 Forbes 인용으로 뒷받침됨

• 10쪽에서 바뀐 의미

  • 10쪽에서는 같은 2,000억 달러 수치가 전 세계 포인트 전체 가치가 아니라 미사용 로열티 포인트의 추정치로 바뀜
  • 이미 포인트의 최대 50%가 미사용이라고 주장했기 때문에, 두 주장이 동시에 성립하려면 전 세계 로열티 포인트 시장 규모가 최소 4,000억 달러여야 함

• McKinsey 인용의 출처 추적

  • 43쪽의 조작된 McKinsey & Company 보고서는 전 세계 미사용 포인트 가치가 2,000억 달러라는 후자의 주장을 뒷받침하는 근거로 쓰임
  • 같은 수치가 서로 양립하기 어려운 두 의미로 쓰였고, 이를 뒷받침하는 인용 2개가 모두 조작된 것으로 확인됨
  • 이 McKinsey 인용은 EY 보고서보다 6개월 앞서 발행된 Financial IT의 핀테크 블로그 글로 거슬러 올라감
  • 해당 글은 “more than $200 billion in points sit idle each year”라고 주장했고, 출처 섹션에 존재하지 않는 McKinsey & Company: Loyalty Economics Report (2022)를 인용함
  • 이 조작된 인용이 EY 보고서의 참고 자료 표에 그대로 들어가며, 저품질 블로그의 가짜 출처가 Big Four 발간물로 세탁됨

출처가 뒤섞인 72% 및 89% 통계

• 로열티 프로그램 72% 사기 통계

  • 6쪽에서는 고객 로열티 프로그램의 72% 가 절도 또는 사기를 보고했다고 주장함
  • 이 수치는 캐나다 결제 처리 업체 Paystone의 2019년 글에 귀속됨
  • 11쪽에서는 같은 통계가 디지털 사기 방지 회사 Forter의 NRF 2020 summary에 귀속됨
  • Paystone과 Forter 어느 쪽도 보고서의 참고 자료 표에 포함되지 않았고, 원출처는 Ipsos의 2017년 설문으로 보임

• 로열티 사기 공격 89% 증가 통계

  • 6쪽에서는 로열티 프로그램 사기 공격이 2019년 이후 89% 증가했다고 주장함
  • 11쪽에서는 이 89% 증가가 2018년에서 2019년까지의 단일 연도 변화로 제한되고, Forter의 Fraud Attack Index에 귀속됨
  • 이 출처는 실제로 존재하며 두 번째 버전의 주장을 부분적으로 확인하지만, EY 보고서에 쓰인 여러 출처처럼 오래된 자료임
  • 서로 모순되는 출처, 낮은 품질의 출처, 오래된 통계, 부정확한 재서술은 AI slop의 징후로 제시됨

공개 영향과 데이터 오염 위험

• Points of Attack은 캐나다에서는 큰 파장을 만든 것으로 보이지 않지만, 최근 Canberra Times 기사에 인용됐고 이 기사는 호주 전역 60개 이상 신문에 배포됨
• 보고서는 공개 도메인에 없는 고객 브리핑, 내부 프레젠테이션, 독점 미디어를 통해서도 유통됐을 가능성이 있음
• 온라인 보고서 발행은 인터넷 지식 풀에 대한 데이터 주입에 가깝고, 잘 알려진 컨설팅 회사가 고트래픽 웹사이트에 허위 정보나 환각 인용을 올리면 이후 연구자를 오도할 수 있음
• AI “deep research” 도구는 인간과 다른 신호를 기반으로 출처를 선택하기 때문에 이런 데이터 오염에 더 취약해질 수 있음
• Claude, ChatGPT, Perplexity가 EY의 결함 있는 보고서에서 나온 환각 정보를 노출함

Hallucination Check의 목적

• GPTZero는 vibe citing이 연구자, 학계, 컨설턴트, 웹 검색에 의존하는 사람들에게 현재적인 위험이 됐다고 봄
• Hallucination Check는 모든 인용을 수동으로 확인하지 않고도 환각 인용과 허위 정보를 식별하기 위한 도구로 제시됨
• 이 도구는 IJCAI, ICLR, ICSE 같은 학술 콘퍼런스의 제출물 검토에도 사용되고 있음
• Ernst & Young처럼 평판 있는 출처의 인용이라도 신뢰만으로 받아들이기 어려워졌다는 결론으로 이어짐
• GPTZero의 Hallucination Check 링크가 제공됨