谷歌AI爬虫访问量远超同行，引发拆分争议

谷歌AI爬虫访问量达同行167倍，Cloudflare主张强制拆分Googlebot

英国竞争与市场管理局针对谷歌提出行为准则咨询，旨在赋予出版商对 AI 爬取内容的控制权。Cloudflare 数据显示 Googlebot 的网页访问量最高可达同行的 167 倍，其搜索垄断地位使其在生成式 AI 领域获得竞争优势。

CMA 提议要求谷歌提供控制选项与透明度，但 Cloudflare 认为这会加深出版商对谷歌平台的依赖。该机构建议强制谷歌将搜索与 AI 爬虫进行拆分，以允许出版商在保留搜索流量的同时拒绝 AI 训练。

Google's dual-purpose crawler creates an unfair AI advantage. To protect publishers and foster competition, the UK’s Competition and Markets Authority must mandate crawler separation for search and AI.

1 post - 1 participant

via - (author: 𝓵𝓮𝔃𝓲𝓼𝓱𝓮𝓷)