클라우드플레어, 검색·AI 학습·에이전트 봇 구분 기능 도입

클라우드플레어가 웹사이트 운영자가 검색 크롤러와 AI 학습 봇, 사용자를 대신해 움직이는 에이전트를 서로 구분할 수 있는 기능을 내놨다고 engadget.com이 보도했다. 9월 15일 이후 등록된 신규 도메인에는 검색 크롤러를 허용하면서 AI 학습 봇과 에이전트는 차단하는 설정이 기본 적용된다. 광고가 붙은 페이지에서는 학습 봇과 에이전트 접근이 기본으로 막힌다.

이번 조치는 AI 에이전트가 실제 쇼핑과 결제 과정에 들어오면서 사이트 운영자와 플랫폼 사이의 접근 권한 문제가 커진 상황과 맞물린다. 클라우드플레어는 앞서 AI 웹 크롤러를 상대로 한 통제 기능을 선보인 바 있다.

쇼핑 사이트에서 충돌하는 AI 에이전트

테크크런치에 따르면 아마존은 자사 사이트에서 쇼핑을 시도하는 Meta의 Muse를 의도적으로 차단하고 있다. Meta의 Muse는 월마트에서도 사람 인증 절차에 걸렸는데, 월마트는 해당 인증이 Muse를 겨냥한 것이 아니라고 밝혔다.

결제 쪽에서는 Shopify의 체크아웃 도구가 구매자 확인을 거쳐 호환 브라우저 에이전트가 결제 정보를 갱신하고 주문을 제출할 수 있도록 지원한다.

금융권에서도 우려가 나왔다. JP모간 체이스의 최고재무책임자(CFO) Jeremy Barnum은 10월 실적 발표 콘퍼런스콜에서 일부 에이전트가 공유 자격 증명과 화면 스크래핑으로 자금을 이체한다며 이런 방식은 안전하지 않다고 말했다. 한편 법원은 2026년 8월 Perplexity에 대한 예비 금지 명령을 취소했지만, 아마존과 Comet을 둘러싼 분쟁은 아직 해결되지 않았다.