오픈AI·구글·MS·앤스로픽, robots.txt 공통 '정책 토큰' 도입
여러 AI 기업이 한 번에 인식하는 옵트아웃 신호로, 앤스로픽은 이미 채택하고 구글과 마이크로소프트는 내년 지원 예정이다.
오픈AI, 구글, 마이크로소프트, 앤스로픽이 웹사이트의 robots.txt 파일에 담긴 공통 '정책 토큰' 신호를 도입하겠다고 밝혔다. 더 버지에 따르면 이 신호는 출판사가 여러 AI 기업의 크롤러에 동시에 AI 학습 거부 의사를 표시할 수 있게 하는 장치다.
이번 제안은 앤스로픽의 표준 담당 테크니컬 리드인 Kevin Kelley가 인터넷 엔지니어링 태스크 포스(IETF) 틀 안에서 내놓은 것이다. 정책 토큰은 각 사이트의 robots.txt 안에 위치하며, 여러 크롤러에 AI 학습 관련 선호를 전달한다.
이들 기업은 크롤러가 공통 토큰을 발견하면 해당 사이트 접근을 제한하겠다고 밝혔다. 마이크로소프트는 추가로 AI 학습과 AI 그라운딩을 각각 거부할 수 있는 세분화된 제어 기능을 제공하며, 사이트의 선호 설정과 무관하게 웹사이트는 계속 Bing 검색 결과에 노출된다고 설명했다.
도입 일정은 기업마다 다르다. 앤스로픽은 이미 신호를 채택했고, 구글과 마이크로소프트는 내년 지원을 계획하고 있으며, 오픈AI는 앞으로 몇 달 안에 구현하겠다고 밝혔다.
기존 방식과의 차이
이전에는 사이트가 AI 학습 선호를 각 AI 기업에 개별적으로 알려야 했다. 크롤러가 사이트를 방문할 때 비용을 부과할 수 있게 하는 Really Simple Licensing 표준도 별도로 존재한다. 앞서 Search Engine Roundtable이 이번 새 표준을 보도했으며, Cloudflare는 AI 크롤러를 기본 차단한 바 있다.
한눈에 보기
정책 토큰은 어디에 설정하나?
웹사이트의 robots.txt 파일 안에 위치하며, 여러 AI 크롤러에 AI 학습 선호를 전달하는 신호로 쓰인다.
각 기업의 도입 시점은?
앤스로픽은 이미 채택했고, 구글과 마이크로소프트는 내년, 오픈AI는 앞으로 몇 달 안에 구현할 계획이다.
선호를 거부하면 Bing 검색에서 빠지나?
아니다. 마이크로소프트는 선호 설정과 관계없이 웹사이트가 계속 Bing 검색 결과에 노출된다고 밝혔다.