Cloudflare推出新工具区分搜索爬虫与AI代理

Cloudflare宣布推出一项新工具，允许网站所有者区分搜索爬虫、AI训练机器人和代表用户行事的AI代理。据engadget.com报道，自9月15日起，新注册的Cloudflare域名将默认允许搜索爬虫访问，同时在含广告的页面上屏蔽AI训练机器人和代理。

这项控制措施出台之际，AI购物助手与电商平台之间的摩擦正在加剧。Meta的Muse AI助手在沃尔玛遇到了人工验证检查，沃尔玛表示这些检查并非针对该助手。另据TechCrunch报道，亚马逊有意阻止Meta的Muse在其网站上购物。

支付和结账环节同样成为关注焦点。Shopify的结账工具允许兼容的浏览器代理在买家确认后更新结账信息并提交订单。

在2025年10月的财报电话会上，摩根大通首席财务官Jeremy Barnum表示，部分代理使用共享凭证和屏幕抓取来转移资金，并称这些方法并不安全。

此前的管控与法律争议

Cloudflare此前已推出针对AI网络爬虫的管控措施。2026年8月，一家联邦上诉法院撤销了针对Perplexity的初步禁令，但该公司与亚马逊围绕Comet浏览器的纠纷仍未解决。