Cloudflare, 고객별 AI 트래픽 제어 옵션 공개

모든 요금제 고객이 자동화 트래픽을 Search·Agent·Training으로 나눠 허용하거나 차단할 수 있어, 기존의 일괄적인 AI 봇 차단보다 세밀한 정책 설정이 가능해짐 AI 사용 여부가 아니라 사이트에서 수행하는 행동과 콘텐츠 용도를 분류 기준으로 삼으며, 다목적 크롤러에는 관련 규칙을 모두 적용하고 목적별 크롤러 분리를 권장함 2026년 9월 15일부터 신규 도메인의 광고 표시 페이지에서는 Training과 Agent가 기본 차단되고 Search는 허용되며, Googlebot·Applebot·BingBot 같은 다목적 크롤러에는 가장 제한적인 규칙이 적용됨 Enterprise Bot Management용 BotBase에서 알려진 봇과 에이전트의 분류·탐지 ID를 검색할 수 있고, immediate·reference·full 콘텐츠 사용 수준과 robots.txt의 use 신호도 도입함 Verified는 더 이상 자동 허용을 뜻하지 않으며, RFC 7239의 Forwarded 헤더를 활용한 전이적 신뢰로 운영자와 콘텐츠 사용 방식을 중개 계층 너머까지 전달하려 함 AI 트래픽을 용도별로 제어해야 하는 이유 과거 웹 크롤링은 사이트 콘텐츠를 수집하는 대신 검색 유입을 돌려주는 관계였지만, AI 학습은 콘텐츠를 가져가면서 사이트 소유자에게 가치를 돌려주지 않는 문제가 있었음 Cloudflare는 1년 전 원클릭 Block AI Bots 옵션과 Pay-Per-Crawl marketplace를 출시함 콘텐츠 소유자는 원본을 보호하고 보상받기를 원하지만, 모든 자동화를 일괄 차단하는 방식만으로는 이런 요구를 충족하기 어려움 소규모 사이트는 검색 노출을 얻기 위해 AI 학습까지 허용하거나, 학습을 막는 대신 발견 가능성을 잃는 선택에 놓일 수 있음 검색과 학습에 같은 봇을 사용하는 기존 검색 사업자에 유리한 구조임 경쟁 격차를 좁히려는 신규 사업자에는 탐지를 피하려는 유인이 생김 Google 검색처럼 결과 페이지에서 직접 답을 제공하는 서비스가 등장하면서, 봇이 AI인지보다 무엇을 하고 저장하며 재배포하는지가 더 중요한 기준이 됨 Search·Agent·Training 분류 모든 고객이 관리할 수 있는 AI 중심 사용 사례를 세 가지로 구분함 Search: 콘텐츠를 미리 수집하거나 색인해 이후 질문에 응답하며, 사이트 소유자는 추천 트래픽이나 그에 상응하는 보상을 기대할 수 있음 Agent: 사람을 대신해 실시간 ...