AWS 봇이 한 달에 20억 건의 요청을 보내는 것을 어떻게 멈출 수 있을까?

• AWS 인프라에서 예상치 못한 대량 웹 요청 문제 발생
• 한 달에 2억 건에서 20억 건까지 급격하게 증가한 트래픽 현상 보고
• 로그 분석 결과 특정 User-Agent에서 반복적인 요청 확인
• AWS 지원팀에 문의했지만 명확한 해결책을 받지 못한 상황
• 방화벽 규칙 설정, User-Agent 차단 등 다양한 차단 방법 검토 필요성 대두

문제 소개

• 한 AWS 사용자가 웹 서버에서 2B(20억) 건의 요청이 한 달 동안 발생한 현상에 대해 질문 제기함
• 이 요청들은 특정 User-Agent를 사용하는 봇에서 발생했으며, 정상 사용 패턴과 일치하지 않는 비정상 트래픽임
• 갑작스런 트래픽 증가는 비용 상승 및 시스템 부하 문제로 이어질 위험성이 존재함

원인 분석

• 방대한 요청 중 대부분이 의심스러운 AWS IP 대역에서 유입됨
• 접근 기록을 통해 특정 봇 또는 스크립트가 원인임을 파악함
• User-Agent에 공통된 패턴이 존재하여 필터링이 가능함

기존 대응 및 한계

• AWS 지원팀에 문의했지만 결정적인 방안 제공 받지 못함
• 이와 같은 대량의 요청은 서비스 장애 유발 및 비용 부담 증가 가능성이 높음

해결 방향 및 고려사항

• 방화벽 규칙 추가 및 User-Agent 기반 트래픽 차단, IP 블랙리스트 적용 등 다양한 차단 정책 필요성 검토함
• 장기적으로는 트래픽 모니터링 시스템 강화와 비정상 접근 감지 및 자동 차단 체계 구상 필요성 대두