Cloudflare、検索クローラーとAIエージェントを区別する新設定
Cloudflareがサイト所有者向けにクローラー種別の分離機能を導入。9月15日以降の新規ドメインは広告ページでAIボットを既定で遮断する。
Cloudflareは、ウェブサイトの所有者が検索クローラー、AI学習ボット、ユーザーの代理で動作するエージェントを区別できるようにした。engadget.comが報じた。9月15日以降に登録された新規ドメインでは、検索クローラーを許可しつつ、広告が掲載されたページではAI学習ボットとエージェントを既定で遮断する設定になっている。
こうした動きの背景には、AIショッピングエージェントをめぐる各社の対応の違いがある。Walmartでは、MetaのパーソナルAIショッピングアシスタント「Muse」が人間の確認を求めるチェックに直面した。WalmartはこのチェックがMuseを狙ったものではないと説明している。
一方、AmazonはTechCrunchによると、Museが同社サイトで買い物をすることを意図的にブロックしている。Amazonは他ブランドのサイトから商品を購入できる機能「Buy for Me」も提供している。
決済やチェックアウトの領域でも動きがある。Shopifyのチェックアウトツールは、対応するブラウザーエージェントが購入者の確認を得たうえで注文情報を更新し、注文を送信できるようにしている。
金融機関や裁判所も関与
JPモルガン・チェースのJeremy Barnum最高財務責任者（CFO）は2025年10月の決算説明会で、一部のエージェントが共有認証情報やスクリーンスクレイピングを使って資金を移動させていると述べ、こうした手法は安全ではないとの認識を示した。
PerplexityのAIブラウザー「Comet」をめぐっては、2026年8月に連邦控訴裁判所がPerplexityに対する予備的差し止め命令を破棄したが、Amazonとの争いは未解決のままだ。Cloudflareは以前にも、AIのウェブクローラーに対する制御機能を導入している。
よくある質問
Cloudflareの新しい設定では何が変わったのですか？
サイト所有者が検索クローラー、AI学習ボット、ユーザー代理のエージェントを区別できるようになった。9月15日以降の新規ドメインは、検索クローラーを許可し、広告ページではAI学習ボットとエージェントを既定で遮断する。
Shopifyのチェックアウトでエージェントは何ができますか？
対応するブラウザーエージェントが、購入者の確認後にチェックアウト情報を更新し、注文を送信できる。