No.043 · GEO · 2026.10.02 · 10 MIN READ

AI 爬虫读不到什么：静态 HTML 与 JS 的分野

它们下载 JS，但从不执行。

Leooo　COO · HUDOO-TECH

先搞清一件事：AI 爬虫看到的页面，和你看到的不是同一个

你在浏览器里看到的是渲染后的结果，AI 抓取器拿到的是渲染前的静态 HTML。两者差多少，取决于你的站有多依赖 JS。

Vercel 与 MERJ 的联合分析追踪了 5 亿次 GPTBot 抓取，结论很干脆：OpenAI、Anthropic、Perplexity 的爬虫会下载 JS，但从不执行。

唯一的例外是 Gemini，它沿用 Googlebot 那套渲染能力。也就是说，四家里有三家看到的是你的「毛坯房」。

这不是内容质量问题，是可读性问题。内容写得再好，读不到就不存在——这一关过不去，后面所有 GEO 动作都是空转。

读得到 vs 读不到：一张对照表

把常见的内容形态摆成两列，你的技术同事看一眼就知道该改哪里。

内容形态	不执行 JS 的抓取器能不能读到	后果	怎么改
写在 HTML 里的正文与规格表	能读到	可被整段摘走	保持现状，再往首屏前移
脚本生成的关键数字（计数器动画）	读不到	静态 HTML 里是 0，抓取器读到的公司规模就是零	数字直接写进 HTML，动画只做视觉效果
放在 PDF 或图片里的关键内容	读不到	AI 引用不了图片里的文字	把关键参数在页面正文里重写一遍
被截图化的表格	读不到	最容易抽取的结构被自己废掉	改回真表格标签
靠弹窗或懒加载后置的正文	读不到或读得很晚	落在页面后段，被摘走的概率大幅下降	正文默认展开，折叠只用于次要信息
多语言半成品（声明了 hreflang 但内容仍是英文）	读到的是英文	目标语种查询里被判为不相关	先译完再上 hreflang

这张表里的每一行都是客户站上会碰到的情况，其中第二行和第四行往往在同一个页面同时出现。

五类读不到的内容，我在客户站上见得最多

• 计数器动画里的数字首页写着「服务 1000+ 客户」，但那个数字是脚本从 0 滚上去的。静态 HTML 里它就是 0，不执行 JS 的抓取器读到的公司规模是零。
• 只在 PDF 里的规格产品参数全在一份可下载的 PDF 里，页面上只有一句「详见下载」。AI 引用不了它拿不到的东西。
• 截图化的对比表设计师把表格做成一张精美的图片贴上去。人看着舒服，抓取器看到的是一个 img 标签。
• 弹窗和懒加载后置的正文正文要点手风琴才展开，或者滚动到一半才加载。不执行脚本的抓取器不会替你点开。
• 多语言半成品hreflang 声明了西班牙语版本，点进去内容还是英文。错配比不配更糟，这是技术底座里最容易埋雷的一项。

这五类有一个共同点：它们在人眼里都不算问题，只有在抓取器眼里才是问题。所以靠肉眼巡站永远发现不了。

位置同样重要：前 30% 决定了会不会被摘走

读得到只是及格线，读得早才是加分项。Growth Memo 2026 年对 120 万条 AI 搜索结果的分析显示，LLM 引用有 44.2% 来自页面前 30% 的文本。

把这个数字和上一节连起来看：懒加载后置的正文即使最终能被读到，也已经掉出了那个 30% 的窗口。

所以我给页面定的硬线是——关键数字、规格表、联系方式，必须出现在静态 HTML 的前 30% 里。不是「最好出现」，是必须。

顺带一提，这条线对人也友好。买家在手机上能不能三秒看到交期和 MOQ，用的是同一个判断。

验收只要两条动作，不用等审计报告

这一关的好处是验收极其便宜：用 curl 拉一遍源码，或者在浏览器里禁用 JS 刷新首屏，两分钟出结果。

curl 拿到的就是抓取器拿到的。在里面搜一下你最想被引用的那三个数字，搜不到就是读不到，没有中间状态。

禁用 JS 那一遍更直观：页面塌成什么样，三家爬虫看到的就是什么样。我通常让客户的市场负责人自己点一次，比看十页报告管用。

如果要往更深里查渲染问题，Google 官方的 JavaScript SEO 基础文档把渲染队列和常见坑讲得最清楚，让技术同事直接对着改就行。

Gemini 是例外，但别把例外当规划前提

Gemini 沿用 Googlebot 的渲染能力，所以重 JS 的站在它那里可能表现正常。这恰恰是最容易误判的地方。

我见过团队拿 Gemini 测了一轮，看到内容被正确读出，就认定站没问题。换到 ChatGPT 和 Perplexity 上一测，同样的页面拿不到任何数字。

Moz 2026 年 2 月对约 4 万条查询的分析还提醒了另一件事：88% 的 AI Mode 引用 URL 不在自然前 10。排名正常不代表引用正常，渲染正常也不代表全部引擎都正常。

测试要按引擎分开做。按最保守的那一家定标准，也就是按「完全不执行 JS」来定。

这一关过了，才轮到内容

顺序不能颠倒：先放行、再可读、才谈可引用。前面两关是配置活，一周内能清完；后面才是长期功课。

放行这一步顺便要查 robots。Google 官方的 robots.txt 说明值得让技术同事重读一遍——检索型 AI 爬虫被整段拦掉，是我见过最贵也最容易修的错误。

可读性这一课，最好在独立站建设阶段就定死模板，比上线后回头改便宜得多。我们在客户案例里看到的返工，多半都出在模板层。

等静态 HTML 这一关干净了，再去做谷歌 SEO 服务那一套内容工序，投入才不会打水漂。

我的判断

禁用 JS 刷新一次首页，是我给新客户做的第一个动作——十有八九，那页上最值钱的三个数字会当场消失，而市场部从来没见过这一幕。

— LEOOO

常见问题

AI 爬虫到底会不会执行 JavaScript？

大多数不会。Vercel 与 MERJ 的联合分析追踪了 5 亿次 GPTBot 抓取，发现 OpenAI、Anthropic、Perplexity 的爬虫会下载 JS 但从不执行，只有 Gemini 沿用 Googlebot 渲染。所以规划时按完全不执行来定标准最稳妥。

关键内容放在 PDF 里，AI 能读到吗？

别指望。AI 引用不了图片里的文字，PDF 同理属于高风险载体。正确做法是把产品参数、认证编号、交期这些关键信息在页面正文里原样重写一遍，PDF 只作为下载件保留，不承担唯一载体的角色。

怎么快速验证 AI 爬虫读到了什么？

两个动作就够：用 curl 拉一遍页面源码，或者在浏览器里禁用 JS 刷新首屏。在拿到的源码里搜你最想被引用的那三个数字，搜不到就是读不到。整个过程两分钟，不需要等任何审计报告。

对比表格做成截图为什么不行？

因为表格本来是最容易被抽取的结构，截图之后这个优势自己废掉了。不执行脚本的抓取器看到的只是一个图片标签，里面的参数对它来说是一片空白。参数表尤其不能贴图，必须用真表格标签。

Gemini 能读到，是不是就说明站没问题？

不能这么判断。Gemini 沿用 Googlebot 的渲染能力，重 JS 的站在它那里可能表现正常，但同一个页面在 ChatGPT 和 Perplexity 上可能一个数字都拿不到。测试必须按引擎分开做，标准按最保守的那一家定。

hreflang 配了但内容还没翻译，会怎么样？

属于多语言半成品，错配比不配更糟。声明了目标语种却给出英文内容，等于告诉引擎这一版不相关，目标市场的查询里很难被选中。正确顺序是先把内容译完校完，再上 hreflang 声明。

相关文章