AI 爬虫要不要屏蔽：训练类和检索类得分开定
训练类爬虫和检索类爬虫，从来不是一回事。
一句话答案 / TL;DR
要不要屏蔽 AI 爬虫，答案不是全挡或全放，而是先分清用途：训练类爬虫只影响你的内容会不会被用来训练模型，检索类爬虫才决定你能不能被 AI 引擎引用，这是两件可以分开判断的事，不该用一条规则一起处理。
先分清爬虫在做什么，再决定挡不挡：核心判断标准是什么？
很多独立站的 robots.txt 是从建站模板里继承来的，从没针对 AI 爬虫单独配置过。
结果是要么什么都不改，要么发现被抓怕了就写一条规则把所有 AI 爬虫一起挡掉，两种都是没先弄清楚爬虫在做什么。
AI 爬虫大体分两类：训练类抓取内容去训练模型，检索类抓取内容去生成带引用的实时回答，两类的取舍逻辑完全不同。
把这两类混在一条规则里处理，是我在客户站上见过最常见、也最容易修的一个误判。
AI 爬虫已经不是小流量：两组抓取数据（判断标准与实操要点）
先看规模。Cloudflare 官方博客 2025 年披露，GPTBot 在其观测的抓取流量占比从 2.2% 升到 7.7%（+5.5 个百分点），请求量增长 305%。
同期 Googlebot 的占比也从 30% 升到 50%，AI 爬虫的抓取量已经和搜索引擎爬虫处在同一个量级。
规模之外还有一个更扎心的数字：Cloudflare 官方博客的统计显示，以 2025 年 6 月 19-26 日一周数据看，Anthropic 旗下 Claude 每带来 1 次网站引荐流量，就要抓取约 71,000 次页面，比例约 70,900:1。
同一份统计里，Mistral 的比例是 0.1:1，引荐流量反而是抓取量的 10 倍，说明不同厂商的抓取与回流比例可以差出天壤之别。
全堵未必安全：一份研究的数据
有人会说，那干脆全挡掉最省事。罗格斯商学院与沃顿商学院 2025 年发布的研究给出了相反的答案（经 ppc.land 报道）。
这项研究显示，屏蔽 AI 爬虫的新闻出版商月访问量（对数计）在屏蔽后持续下降 23.1%；另一组只统计人类真实浏览的面板数据显示，月访问量下降 13.9%。
研究也写明了自己的局限：它测的是网站访问量，没有观察 AI 对话里的回答、引荐和引用链接。屏蔽对被 AI 引用有什么影响，这项研究给不出答案。
换句话说，全堵不等于止损，反而可能是在丢真实用户，却没换来想要的保护。
两类爬虫对照表：先分组，再决定
把研究数据落到操作上，先按下面这张表把爬虫分组，再分别决定挡不挡。
| 爬虫类别 | 代表爬虫 | 抓取目的 | 决策要点 |
|---|---|---|---|
| 训练类 | GPTBot、CCBot、ClaudeBot 等 | 抓取内容用于训练生成式模型 | OpenAI 官方文档仅就 GPTBot 说明：屏蔽只影响训练数据，不影响 OAI-SearchBot 的检索身份；CCBot、ClaudeBot 暂未找到同等的官方说明，不要直接套用 |
| 检索/引用类 | OAI-SearchBot、PerplexityBot 等 | 抓取内容用于实时检索、生成带引用的回答 | 屏蔽后直接失去被这一类回答引用的机会 |
两类爬虫混在同一条 Disallow 规则里，是我见过最贵、也最容易修的一类错误。
行业现状：全堵和全放都是少数选择
BuzzStream 2026-04-08 发布的研究，对美国和英国各前 50 家新闻站点的 robots.txt 做了扫描分析。
结果显示，79% 的站点至少屏蔽一个训练类爬虫，67% 屏蔽 PerplexityBot，62% 屏蔽 GPTBot。
但真正屏蔽所有 AI 爬虫的只有 14%，完全不屏蔽的也只有 18%——多数站点做的是分类别取舍，不是非此即彼。
Cloudflare 官方博客在 2025 年更新披露，其推出的 AI Crawl Control 允许网站逐个选择要屏蔽的爬虫，还能对未授权抓取返回需付费的响应，技术上已支持这种精细化配置。
具体决策：四步分开处理
- 先分类把 robots.txt 里能看到的 User-agent 按训练类、检索类分组，拿不准身份的直接查对应厂商的官方爬虫说明。
- 检索类默认放行如果目标是被 AI 引擎引用，OAI-SearchBot、PerplexityBot 这类检索身份就不能被整段规则拦掉。
- 训练类单独判断GPTBot、CCBot 这类只影响模型训练，挡不挡看你对内容被训练的态度，跟能不能被引用是两件事，可以分开写规则。
- 别用一刀切不要写一条 Disallow 同时挡住训练类和检索类爬虫，也不要因为觉得反正拦不住就干脆全放。
如果还没搞清楚 AI 爬虫到底能不能读懂页面内容，这是另一层问题，我在《AI 爬虫读不到什么：静态 HTML 与 JS 的分野》里单独拆过，两层问题不是一回事，但都得过。
具体到 robots.txt 怎么分组写规则，是我们做谷歌 SEO 服务时技术底座检查的一部分，逐条配置比等审计报告发现问题划算。
如果连基础的独立站建设阶段都没人管过 robots.txt，这件事更值得优先排上日程。
我的判断
我见过的独立站，要么在 robots.txt 里写一条规则堵掉所有 AI 爬虫，要么干脆什么都不改——两种都是没先弄清楚爬虫在做什么就下的判断，训练类和检索类爬虫，值得分开写两条规则。
— LEOOO
核心要点与可引用事实 / KEY TAKEAWAYS
- 先看规模。Cloudflare 官方博客 2025 年披露，GPTBot 在其观测的抓取流量占比从 2.2% 升到 7.7%（+5.5 个百分点），请求量增长 305%。
- 同期 Googlebot 的占比也从 30% 升到 50%，AI 爬虫的抓取量已经和搜索引擎爬虫处在同一个量级。
- 先分类：把 robots.txt 里能看到的 User-agent 按训练类、检索类分组，拿不准身份的直接查对应厂商的官方爬虫说明。
常见问题
独立站要不要在 robots.txt 里屏蔽 AI 爬虫？
不是非黑即白的问题。要先区分爬虫用途：训练类爬虫只影响你的内容会不会被用来训练模型，检索类爬虫决定你能不能出现在 AI 生成的带引用回答里，这是两件可以分开决定的事，不该用一条规则一起处理。
屏蔽所有 AI 爬虫会不会更安全？
未必。罗格斯商学院与沃顿商学院 2025 年发布的研究（经 ppc.land 报道）显示，屏蔽 AI 爬虫后网站月访问量（对数计）持续下降 23.1%，只统计人类浏览的面板数据也下降 13.9%；屏蔽能否减少被 AI 引用，这项研究没有测，全堵不等于止损。
GPTBot 和 OAI-SearchBot 有什么区别？
用途不同。据 OpenAI 官方文档，GPTBot 只用来抓取内容训练模型，OAI-SearchBot 才用于检索、生成带引用的回答，两者的屏蔽设置相互独立；可以推断单独屏蔽 GPTBot、放行 OAI-SearchBot，不会影响网站被检索引用的资格，网站不必两个一起挡。
现在到底有多少网站在屏蔽 AI 爬虫？
BuzzStream 2026 年对头部新闻站点的 robots.txt 扫描显示，79% 的站点至少屏蔽一个训练类爬虫，67% 屏蔽 PerplexityBot，62% 屏蔽 GPTBot，但只有 14% 屏蔽所有 AI 爬虫、18% 完全不屏蔽，多数站点做的是分类别取舍，不是极端选择。
AI 爬虫抓取量已经很大了吗？
增长很快。Cloudflare 官方博客披露，GPTBot 在其观测的抓取流量中占比从 2.2% 升到 7.7%，请求量增长 305%，同期 Googlebot 占比也从 30% 升到 50%，AI 爬虫的抓取规模已经追平传统搜索引擎爬虫，早就不是可以忽略不计的小流量。
有没有办法只挡部分 AI 爬虫，不用整段拦掉？
有。Cloudflare 官方博客介绍的 AI Crawl Control 允许网站逐个选择要屏蔽的爬虫，还可以对未授权抓取返回需付费的响应；更基础的做法是直接在 robots.txt 里按爬虫名分别写规则，而不是用一条规则挡住所有 User-agent。
HUDOO-TECH · SINCE 2018
不确定自己的 robots.txt 该怎么配置？先看互旦的 GEO 优化服务说明。
相关文章
No.002
什么是GEO？
买家问 AI 要名单，不被引用就等于不存在。
No.021
海外买家的第一入口正在换掉
从翻十页链接到问一次 AI，我看到入口正在换代。
No.028
LinkedIn 2026 算法怎么决定谁能看到你的帖子
粉丝数已经不决定触达，读得懂正文的模型在决定。
专栏延伸与诊断专案：本文收录于 GEO 优化专栏。进阶排查建议对照阅读：海外 GEO 服务商怎么选、怎么收费：合同必写 10 条 · 为什么对比选型页（Comparison Page）AI 引用率最高。