HN에 글을 올린 뒤, 내 웹사이트에 AI 봇 트래픽이 밀려들었다

맞춤형 피드 리더 sprinklz.io를 HN에 소개한 뒤 사이트가 심하게 느려졌으며, 실제 로그인 사용자는 소수인데도 서버 부하는 높았음 엔드포인트별 로그를 추가하자 요청 대부분이 뉴스 기사 조회조차 시도하지 않았고, 단일 페이지 애플리케이션의 화면 렌더링에 필요한 JavaScript도 실행하지 않았음 전체 트래픽의 거의 절반은 웹사이트 변경 사항을 감지해 AI 뉴스레터로 요약하는 특정 서비스에서 발생했으며, 분당 여러 차례 반복 요청을 보내 해당 서비스를 차단함 Claude bot, OpenAI bot 등 크롤러와 취약점 스캐너도 발견해 robots.txt와 요청 빈도 제한을 적용하고, 검색 관련 봇은 허용함 이번 일을 계기로 차단뿐 아니라 인프라 성능 개선도 진행했으며, 높은 부하에서도 실제 사용자 트래픽을 더 잘 처리하는 사이트를 목표로 삼음 HN 소개 이후 지속된 서버 과부하 sprinklz.io 는 수년간 개발해 온 맞춤형 피드 리더로, 뉴스 피드에서 특정 주제의 우선순위를 낮출 수 있음 HN 점수 외에도 사용자가 직접 기준을 정의할 수 있으며, AI나 LLM에 한정하지 않고 임의의 주제를 필터링하거나 맞춤 설정을 프로그래밍할 수 있음 서비스는 완전히 무료로 이용 가능함 한 달 전 HN에 서비스를 소개한 글 이 약 100개의 추천을 받음 LLM 소식에 지친 사람들이 피드에서 해당 주제의 우선순위를 낮추는 기능을 반긴 것으로 보였음 이후 사이트가 매우 느려졌고, 처음에는 게시물의 인기로 늘어난 방문자 때문이라고 생각했음 하지만 게시 후 며칠이 지나도 지연이 지속되고 오히려 악화됨 실제로 활동하는 로그인 사용자는 소수였지만 서버 부하는 지나치게 높아, 기존 지표만으로는 상황을 이해하기 어려웠음 로그로 확인한 반복 요청과 크롤러 모든 엔드포인트에 URL 경로별 요청 횟수 로깅을 추가한 결과, 요청 대부분이 뉴스 기사를 가져오려는 시도조차 하지 않는 것으로 확인됨 사이트는 단일 페이지 애플리케이션(SPA) 으로, 이 요청들은 페이지 렌더링에 필요한 JavaScript도 실행하지 않았음 NGINX 로그를 집계한 결과, 전체 트래픽의 거의 절반이 특정 이용자 한 곳에서 발생함 해당 업체는 웹사이트의 변경 사항을 감지한 뒤 AI 뉴스레터로 요약하는 서비스라고 소개하고 있었음 실제로는 분당 여러 차례 사이트에 요청을 보내고 있었으며, 이를 확인한 뒤 차단함 자신을 식별하는 Claude bot, OpenAI bot,...