Wayback Machine 접속 관련 업데이트

Hacker News 의견들 Wayback Machine에 대량 자동 트래픽이 몰리는 건, 원본 사이트의 접근 차단을 우회하려고 보관된 사본을 긁어 가는 스크레이퍼 때문이라고 거의 확신함. 정말 끔찍한 행태임. 인터넷의 핵심 비영리 기반 시설에 부하를 줄 뿐 아니라, 이런 우회 수집을 막으려고 Wayback Machine 보관 대상에서 빠지는 사이트도 이미 생기고 있음. 실제로 벌어지는 일임. Wayback Machine을 통한 우회 수집을 기능으로 내세우는 유료 스크레이핑 API까지 있음. 예전에는 돈을 내고 읽은 뉴스 기사를 Wayback Machine에서도 늘 수집하곤 했음. 주요 언론사들이 수정 공지 없이 기사 핵심 내용을 바꾸는 것에 정말 충격을 받았기 때문임. 이제는 그런 작업이 어려워졌겠지만, 이런 제한을 탓할 수는 없음. 우리가 작업하던 2021년보다 지금 트래픽이 얼마나 늘었을지 상상도 안 됨. 바로 어제 Sol과 대화하다가 이런 문구를 봤음. “Hacker News와 Rails 포럼이 텍스트 가져오기 도구를 차단하고 있어서, 브라우저로 직접 페이지를 확인하고 있음.” 대안으로 토렌트를 통한 대량 다운로드를 제공하나요? 끔찍하지만 예상 가능한 수순이기도 함. 오히려 몇 년 전부터 스크레이퍼의 표적이 아니었다는 게 놀라움. 사이트들이 로그인 장벽과 봇 차단 장치를 도입하면서 상황이 악화됐을 것임. 사이트들이 보관 대상에서 빠지는 데는 HN 같은 곳의 이용자들이 archive.org나 유사 사이트로 유료 구독 장벽을 우회하는 것도 큰 동기였을 가능성이 높음. 그렇지 않았다면 오히려 놀랄 것 같음. 안타깝지만 다른 보관 사이트에도 비슷한 차단이 생겨도 놀랍지 않을 것임. 한때 개방적이던 인터넷이 거대 기업에 굴복하고 무료 접근을 닫아 가는 상황에서, Internet Archive 운영진은 우리에게 필요한 영웅임. 여러 방향에서 동시에 공격받는 어려운 처지지만, 서비스가 불안정할 때도 개방된 접근은 유지해 왔음. 지금도 Cloudflare 같은 중앙집중식 문지기에게 거부당하지 않고 Tor로 익명 접근이 가능함. 여유가 있다면 기부를 고려해 주길 바람. 지원이 절실함. 가까운 미래에 AI 기업들이 데이터 출처에 대한 접근을 독점하려고 Internet Archive와 Wikipedia를 공격할 것 같음. 앞날이 암울함. AI 군비 경쟁의 부수적 피해가 안타까움. 무료 자원의 악용은 늘 있었지만, 수조 달러...