The text file that runs the internet
Verge

Robot.txt에 관한 짧은 역사를 설명하는 더버지 기사

“Google은 우리에게 가장 중요한 스파이더입니다,”라고 Medium의 CEO Tony Stubblebine은 말합니다. Google은 Medium의 모든 페이지를 다운로드할 수 있으며, “그 대가로 우리는 상당한 트래픽을 얻습니다. 이것은 윈-윈입니다. 모두가 그렇게 생각합니다.” 이는 Google이 전체 인터넷과 맺은 거래로, 검색 결과에 광고를 판매하면서 다른 웹사이트로 트래픽을 유도하는 것입니다. 그리고 Google은 robots.txt의 좋은 시민이었습니다.

…… 하지만 지난 1년 동안, AI의 부상은 그 방정식을 뒤집었습니다. 많은 출판사와 플랫폼에게, 그들의 데이터를 학습 데이터로 크롤링하는 것은 거래가 아니라 도둑질처럼 느껴졌습니다. “우리가 AI 회사들과 꽤 빨리 알게 된 것은,”라고 Stubblebine은 말합니다, “이는 가치 교환이 아니라는 것이었습니다. 우리는 대가로 아무것도 받지 못하고 있습니다. 문자 그대로 제로입니다.” Stubblebine이 작년 가을 Medium이 AI 크롤러를 차단할 것이라고 발표했을 때, 그는 “AI 회사들이 작가들로부터 가치를 빼앗아 인터넷 독자들에게 스팸을 보내기 위해 사용했습니다,”라고 썼습니다.