一文解析 Semrush 网站检测与 AI 搜索健康

网站刚改版上线，或者刚接手一个独立站，你打开 Semrush 的网站检测（Site Audit）跑了一遍，结果是一个健康分数和几千条问题，红色的「错误」也有几十条。这时候最难的是判断先改哪条，因为有些「错误」改了也没有用。

2025 年 7 月起，Semrush 网站检测陆续加了一套 AI 搜索相关的功能：概览里有「AI 搜索健康」，能看到哪些页面屏蔽了 ChatGPT、Perplexity、Claude 的爬虫；爬虫身份可以切成 OpenAI-Search；问题列表里多了「AI 搜索」分类，查 llms.txt、段落长度、语义化 HTML。

网上的 Semrush 网站检测教程大多还停在旧界面，没有讲这些 AI 搜索功能，也很少讲报告里的数字该怎么核对。这篇用本站 linusseo.com 的两次实测审计，按当前界面把设置、概览、问题、已抓取页面、统计数据、专题报告和 JS 影响逐个讲清楚，并说明哪些新检查值得改、哪些可以忽略。

要点

• 技术体检现在要多查一件事：AI 搜索的爬虫能不能拿到你的内容。看概览上的「AI 搜索健康」和被屏蔽的 AI 爬虫名单，名单里有 8 个爬虫，不含 GPTBot、ClaudeBot 这类训练爬虫。
• 爬虫身份可以选 OpenAI-Search。Shopify 店铺要在后台生成 Web Bot Auth 签名填进设置，否则 Semrush 的爬虫可能被当成未知爬虫拦下。
• 「AI 搜索」分类从 2025 年 7 月的 4 项检查扩到 9 项，级别都是通知（Notices）。其中「内容过时」看的是 Last-Modified 响应头，「可读性」可能按英文规则算，结果要人工判断。
• 「错误」级别也要先展开看原因。本站 18 条结构化数据错误都是缺评分字段，影响的只是富媒体结果资格，不能为了通过检查去补假评分。
• 核心网页指标（Core Web Vitals）报告是 Lighthouse 模拟手机测 10 个页面的实验室数据，判断是否达标要看 Search Console 里的真实用户数据。

2026 年做技术体检，和以前有什么不同

技术 SEO 体检以前只回答一个问题：Googlebot 能不能顺利抓取、理解和收录你的页面。现在还要多问一句：AI 搜索的爬虫能不能拿到你的内容，拿到之后能不能直接摘出答案。Semrush 网站检测从 2025 年 7 月起的改动基本都围绕这件事：概览里多了「AI 搜索健康」，爬虫可以切成 OpenAI-Search，问题列表里多了一个「AI 搜索」分类，设置里多了 Web Bot Auth 签名。这个变化背后有三个原因。

第一，要检查的爬虫从一个变成了一组。 「AI 搜索健康」旁边的下拉列出了 Semrush 检查的 8 个爬虫：ChatGPT-User、OAI-SearchBot、Googlebot、Google-Extended、PerplexityBot、Perplexity-User、Claude-User、Claude-SearchBot。除了 Google-Extended，这份名单里都是搜索和代用户访问的爬虫，没有 GPTBot、ClaudeBot 这类训练爬虫，所以屏蔽训练爬虫不会拉低这个分数。Google-Extended 在名单里，但 Google 的爬虫文档写明，它只控制 Gemini 的训练和 Gemini 应用的 grounding，不影响网站在 Google 搜索里的收录和排名。所以按这份名单改 robots.txt 之前，要先分清每个爬虫对应的是哪一种用途。

第二，平台开始要求工具证明自己的身份。 Semrush 在审计设置里写明，Shopify 等平台可能会默认拦截不认识的爬虫。Shopify 2025 年 8 月推出了爬虫签名：商家在后台生成签名，填进审计、测试类工具，工具的请求就能证明是商家授权的，这套机制叫 Web Bot Auth。Shopify 的帮助文档同时说明，搜索引擎和大模型的爬虫不需要签名也能收录店铺。所以签名解决的是第三方工具的访问问题。如果 Shopify 店铺的体检报告页数明显偏少，或者大量页面抓取失败，先检查是不是没配签名。

第三，AI 爬虫大多不执行 JavaScript。 Vercel 和 MERJ 2024 年的统计显示，OAI-SearchBot、ChatGPT-User、GPTBot、ClaudeBot 等主要 AI 爬虫会下载 JS 文件，但不运行。Googlebot 会渲染 JavaScript，所以一个靠 JS 才显示正文的页面，可能在 Google 里正常，在 ChatGPT 搜索里却是空的。网站检测的「JS 影响」报告就是用来比较渲染前后差别的。本站打开 JS 渲染重跑后，193 个页面里有 191 个渲染前后有变化，但标题、描述、canonical、meta robots 和结构化数据都没有变，说明这些关键信息都在原始 HTML 里，不执行 JavaScript 的爬虫也能拿到。

这些新检查也有限制，用之前要清楚。AI 搜索健康怎么加权，Semrush 没有公开。「AI 搜索」分类里的 llms.txt、段落长度、可读性这些检查是 Semrush 自己的规则，Google 的 AI 功能文档写明，出现在 AI Overviews 和 AI Mode 里不需要额外的机器可读文件、AI 文本文件或特殊标记。所以这类提示适合当作写作和结构上的参考，不要为了让分数变高去改页面。

Semrush 自己的说法和 Google 的文档在这一点上有矛盾。Semrush 2025 年 7 月发布 AI 搜索分类时写到，网站没有清晰的 llms.txt，就有被 AI 系统误读的风险；Google 的文档则说不需要这类文件。本站有 llms.txt，这项检查通过了，但这不能说明 llms.txt 对 Google 的 AI 功能有用。

给老手：AI 搜索检查是怎么一步步加进来的

下表来自公开资料。表后一段是根据这些资料的推断，Semrush 没有这样表述过。

时间	事件
2025-07-01	Semrush 在网站检测里加了「AI 搜索」分类，当时只有 1 项新检查（Llms.txt not found），另外 3 项是原有的锚文本和内链检查，所有套餐可用
2025-08-29	Shopify 推出爬虫签名（crawler access keys），基于 Web Bot Auth
2025-10-29	Semrush One 上线，把 SEO 工具包和 AI 可见度工具包合成一个套餐
2025-11-19	Adobe 宣布以约 19 亿美元现金收购 Semrush
2026-11	实测「AI 搜索」分类有 9 项检查，6 项标「新增」（英文界面是 new）；概览有 AI 搜索健康和被屏蔽的 AI 爬虫名单；爬虫可选 OpenAI-Search；设置里有 Web Bot Auth 签名

推断：网站检测是很多团队定期跑的报告，在这里加 AI 搜索检查、算一个 AI 搜索健康，能把 Semrush 的 AI 可见度产品放到用户日常会看的地方。「内容未优化」的每一行都带「使用 AI 优化」按钮，把问题直接导向 Semrush 的内容优化器，也是同一个思路。这些检查的规则大多来自 Semrush 自己的研究，不是搜索引擎公布的标准，所以分数高低不等于 AI 搜索里的实际表现。

创建项目与审计设置：先决定用谁的眼睛看网站

网站检测（Site Audit）回答的问题是：搜索引擎和 AI 爬虫来抓你的网站时，会遇到哪些技术障碍。它按你的设置把整站爬一遍，再按 140 多项检查给出问题清单。

入口：左侧菜单 SEO 下「站点表现（Site Performance）」分组里的网站检测（Site Audit），点「创建项目」，输入域名。已有项目的，点报告右上角的齿轮进入设置。

设置分五步，除了第一步，都可以跳过直接开跑。几个容易忽略、但会直接改变结果的选项如下。

① 常规（General）：抓取范围（整个域名、子域名还是子目录）、每次审计的页面上限、从哪里找页面（从首页顺着内链爬、读 robots.txt 里的站点地图、手动填站点地图地址、上传网址清单）。只靠内链爬，孤立页面会被漏掉；想检查站点地图里的页面有没有问题，选站点地图来源。

② 抓取器（Crawler）：

• 用户代理（User agent）：三选一，SiteAuditBot 桌面版、SiteAuditBot 移动版（默认）、OpenAI-Search。
• 抓取延迟（Crawl delay）：「最短」约 1 秒一页，速度最快；「每 2 秒 1 个 URL」适合服务器弱的站；「遵循 robots.txt」按你在 robots.txt 里写的 crawl-delay 来。
• JS 渲染（JS rendering）：打开后爬虫会像浏览器一样执行 JavaScript，再分析渲染后的页面，结果会进入「JS 影响」报告。需要 Guru 或 Business 套餐。

③ 允许 / 禁止规则（Allow/disallow rules）与 ④ URL 参数规则（URL parameter rules）：把后台、搜索结果页、带追踪参数的网址排除掉，省下页面额度。

⑤ 绕过的限制（Restrictions to bypass）：

• 绕过 robots.txt 和 robots 元标签中的禁止规则：检查被你屏蔽的页面本身有没有问题，例如上线前的测试目录。
• 使用我的凭证抓取：即用账号密码抓取，适合要登录才能访问的测试站。
• 使用 Web Bot Auth 签名抓取：Shopify 店铺先在后台「在线商店 → 偏好设置 → 爬虫访问」创建签名，选好域名和有效期（最长 3 个月，到期要重新建），再把 Signature Agent（例如 https://shopify.com）、Signature Input 和 Signature 三项填进来。这样 Semrush 的爬虫能证明自己是被授权的，不会被平台当成未知爬虫拦下。

技巧：Semrush 的帮助文档建议把用户代理设成 OpenAI-Search，查看 ChatGPT 搜索眼中的网站。可以先用默认的移动版跑一次留作基准，再只改用户代理、其他设置不动，跑第二次，用「比较抓取结果」看差别。如果 OpenAI-Search 抓到的页数明显更少，或者多出 4xx、5xx，说明服务器或防火墙对这个爬虫有限制。

概览（Overview）：先看两个分数，再看两个列表

抓取完成后默认打开概览页。报告顶部一排标签页依次是概览、问题、已抓取页面、统计数据、比较抓取结果、进展和 JS 影响，后文按这个顺序讲，专题报告从概览下半部分进入。页面顶部一行写着这次审计的条件：更新时间、用的哪种爬虫（Mobile / Desktop / OpenAI-Search）、JS 渲染是否开启、抓了多少页。和上一次比较之前，先确认这一行没变，否则分数的升降可能只是设置不同造成的。

网站健康分数（Site Health）：按问题的数量和严重程度算出的总分。旁边的「排名前 10% 的网站」是 Semrush 数据里排名前 10% 网站的平均分，本站这次是 82%，前 10% 是 92%。

AI 搜索健康（AI Search Health）：新加的分数，和网站健康分数并列。帮助文档说它由三部分构成：AI 搜索类检查的结果、AI 爬虫能不能访问（robots.txt 有没有拦）、技术准备度（结构化数据、可抓取的导航、内链、llms.txt）。分数下面的「13 个问题」点进去，是问题列表里的「AI 搜索」分类。这个数字和分类里的条数对不上，分类里光是没有锚文本的链接就有 1,225 条；两次审计里它都正好等于「内容未优化」的页数（11 月 6 日是 8，11 月 8 日是 13），Semrush 没有说明它怎么计算。

被阻止的页面：AI 搜索健康下方写着「没有被阻止的页面」或被阻止的页数，点开左边是 8 个爬虫的名单和各自被拦的页数，右边的「如何解除阻止」只让你检查 robots.txt 里针对 AI 爬虫的禁止规则。这是检查 robots.txt 有没有误伤 AI 爬虫最快的地方。

错误、警告和首要问题（Top Issues）：问题分三级，错误（Errors）最严重，其次是警告（Warnings）和通知（Notices）。「首要问题」只列 5 条，按严重程度和影响页数排，带「AI Search」标签的是新分类里的问题。开了 JS 渲染的项目，右上角的「已抓取页面」卡片里还会多一行渲染后有变化的页面数，本站是「191 个页面在 JS 渲染后发生了变化」，点进去是 JS 影响报告。

需要改进的页面（Pages to Improve）：新版概览里的列表，按页面汇总问题，每行列出这个页面的错误、警告、通知各有哪些。改页面的人通常按网址分工，所以按这个列表分配任务比按问题分更方便。

问题趋势（Issue Trend）与专题报告（Thematic Reports）在页面下半部分。趋势图可以切换看健康分数或问题总数；专题报告把网页可爬性、HTTPS、国际 SEO、核心网页指标（Core Web Vitals）、效果（Site Performance）、内部链接、标记几类问题单独打分，后文单独讲。

给老手：概览上的几个按钮

• Rerun campaign：按当前设置立刻重跑。齿轮菜单里还有 Stop and save results（停下来并保留已抓到的结果）和 Cancel crawling。
• Data Studio：打开 Google Data Studio（现名 Looker Studio）的 Semrush 连接器，把概览数据接过去做看板。
• PDF / Export / Share：导出 PDF 报告、导出数据、分享给其他用户。
• 每个问题的计数旁边会标「new issues」，点进去按发现时间倒序，适合发版后只看新增问题。

问题（Issues）：按分类排优先级，再逐条判断要不要改

问题页列出这次审计发现的全部问题。上方可以按严重程度（错误、警告、通知）筛选，中间一排是分类：所有、AI 搜索、网页可爬性、内容、元标签等，数字是每个分类里有问题的检查项数。默认挂着「触发的检查项（Triggered checks）」筛选条件，但点进具体分类（如「AI 搜索」）后，页面会把已经通过的检查项（显示 0 个页面或「了解更多」）一并列在下方，可以用来了解 Semrush 到底检查了什么。

AI 搜索分类：9 项检查，6 项是新加的

切到「AI 搜索」分类，列表里一共有 9 项检查（4 项已触发、5 项通过），级别都是「通知（Notices）」。其中 6 项标着「新增」，判断依据按各项的说明整理如下：

新检查项	Semrush 说明里的判断依据	本站结果
页面需要内容优化（pages require content optimization）	段落过长、可读性低等，逐页给原因	13 页未通过
Llms.txt 未找到（Llms.txt not found）	网站根目录能否访问到 llms.txt	通过
Llms.txt 文件存在格式问题（Llms.txt file has formatting issues）	是否符合 llmstxt.org 的格式	通过
页面包含太多内容（pages contain too much content）	页面过长，AI 处理时可能丢掉部分内容	通过
页面拥有过时的内容（pages have outdated content）	响应头 Last-Modified 早于 6 个月前	通过
页面的语义 HTML 使用率低（pages have low semantic HTML usage）	语义化标签占全部标签的比例偏低	通过

另外 3 项是原有检查归到这个分类下：链接没有锚文本、链接具有非描述性锚文本（例如 click here）、页面只有一个来自内部页面的链接。每项的说明里都新加了一段「AI Search」，解释这个问题对 AI 搜索有什么影响。

「内容过时」这一项要注意它的判断依据。它读的是服务器返回的 Last-Modified 响应头，不是页面上写的日期。本站托管在 Vercel，用 curl 检查 2023 年的旧文，Last-Modified 都是最近一次部署当天的时间，连几周没改过的头像图片也一样，所以这项检查对本站全部通过。很多静态站和 CDN 都是这样处理的，因此这一项通过，不能说明内容真的是新的；反过来，如果它报了大量过时页面，先查一下服务器是怎么设置 Last-Modified 的。说明里也写了，旧页面只要仍然相关、可信，照样可能出现在 AI 的回答里，内容不需要更新时可以忽略这条提示。

本站这次「链接没有锚文本」报了 1,225 条，是 AI 搜索分类里最多的。展开看，链接网址大多是 #个人简介、#经历 这样的页内锚点。原因是本站用的 Hexo 主题会在每个标题前面放一个空的 <a class="headerlink">，鼠标移上去才显示图标，链接里没有文字；另外还有少量直接把网址当链接文字的裸链接。标题锚点只在页面内部跳转，不指向其他页面，所以本站把它当成可以忽略的提示。用 WordPress 目录插件或其他会自动加标题锚点的主题时，也会遇到同样的情况。真正要改的是指向其他页面、却没有文字的链接，例如只有图标的按钮，给它加上说明文字。

「链接具有非描述性锚文本」报了 35 条，全部是英文页底部 Cookie 提示条里的「Learn more」链接。这个提示条由 JavaScript 插入，上一次没开 JS 渲染时这一项是 0 条。所以开了 JS 渲染之后，第三方脚本插进页面的链接也会被检查，看到突然新增的问题，先确认是不是来自这类脚本。

问题详情：每条问题先看原因，再决定改不改

点进一个问题，上方是三块说明：问题是什么（About the issue）、和 AI 搜索的关系（AI Search，新加的一块）、怎么修（How to fix）。下面是未通过和已通过的页面列表，每行可以展开看具体原因。

以「内容未优化」为例，本站 13 个未通过的页面分三种原因：

• 7 个英文文章页：段落太长（Paragraphs are too long）。
• 2 个中文文章页：可读性低（Low readability），建议是用短句、换简单的词、多用列表和小标题。
• 4 个工具页：标题层级不对（Poor heading hierarchy）。

每行右边有一个「使用 AI 优化（Optimize with AI）」按钮，问题说明里写的是用 Semrush 的内容优化器（Content Optimizer）借助 AI 改进内容。

工具页这一条是真问题，而且是开了 JS 渲染才查出来的。本站工具页的原始 HTML 标题顺序正常，但页面加载后，脚本插入的工具界面里有 H3，排在 H1 后面、第一个 H2 前面，标题层级从 H1 直接跳到了 H3。AI 可引用性检测页插入的是一份示例结果，里面的「整页检查」「逐节诊断」是 H3；Product Schema 检测页插入的是默认隐藏的 Shopify 代码面板。上一次没开 JS 渲染时，这 4 个页面没有被报。

可读性这一条要自己判断。Semrush 没有公开可读性的算法，常见的可读性公式（例如 Flesch）是按英文的音节和词长算的。由此推断，这项检查对中文页面不一定适用，中文站看到这条提示可以先人工读一遍再决定。

问题详情页上方还有几个操作：

• 发送至（Send to…）：把问题作为任务发到 Trello，或通过 Zapier 发到其他任务管理工具。
• 排除检查项（Exclude check）：以后的审计不再报这一项。确认某类提示和你的网站无关时用，例如上面的标题锚点。排除的是整个检查项，例如排除「链接没有锚文本」之后，指向其他页面、没有文字的链接也不会再报出来，所以排除之前要确认这一项里剩下的链接都不需要修改。
• 高级筛选器（Advanced filters）：按页面网址加包含或排除条件。「发现日期（Discovered）」列标着「新」（New）的是这次新出现的问题。

「错误」级别也不一定要改

本站这次有 18 条「结构化数据无效」，级别是错误。展开后发现全是工具页的软件应用（Software App）标记，原因是缺少 aggregateRating 或 review 字段。Google 的软件应用结构化数据文档确实把评分或评论列为必填项，但这是富媒体结果的资格要求：缺了不会出评分星级，不影响页面被收录。本站的评分只来自真实用户，满 5 票才输出，编造评分会被 Google 当成结构化数据垃圾处理。所以这 18 条要保留，不要为了让检查通过去补假数据。

技巧：处理问题清单时，按「错误 → 警告 → 带 AI Search 标签的通知 → 其他通知」的顺序看，每条先展开看原因，确认和自己网站相关再改。确认无关的就排除检查。

已抓取页面（Crawled Pages）：按页面查问题和 AI 爬虫状态

问题页按问题看，已抓取页面按网址看。表格默认显示 9 列（可在「管理列（Manage columns）」里从 22 列中选），其中两列值得留意：

• ILR（Internal LinkRank）：Semrush 按站内链接结构算出的页面重要度，0–100。本站最高的是周报栏目页（100），首页和英文周报栏目页 99。重要页面的 ILR 偏低，说明内链给得不够。
• 被阻止的 AI 搜索机器人（Blocked AI Search Bots）：新加的一列，显示这个页面对哪些 AI 爬虫不可用。上方的筛选器可以直接切到「Blocked AI search bots」，只看被屏蔽的页面。

本站这一列全是「–」，和概览上的「没有被阻止的页面」一致。注意不要和旁边问题列里的「受阻」（英文界面是 Blocked）混淆：按 ILR 排序的前 100 行里有 52 行在问题列显示受阻，全是中英文的归档、分类、标签页。这些页面在 robots.txt 里没有被屏蔽，但页面里有 <meta name="robots" content="noindex, follow">，Semrush 就不给它们列问题数。所以问题列显示受阻时，先打开页面源码看 meta robots，确认 noindex 是不是你有意设置的。

技巧：在「被阻止的 AI 搜索机器人」筛选里逐个选 OAI-SearchBot、PerplexityBot、Claude-SearchBot，看有没有希望被 AI 搜索引用的文章页、产品页出现在列表里。本站选 OAI-SearchBot 时，列表里没有任何页面。

表格上方可以切到「站点架构（Site Structure）」视图，按目录列出每个文件夹的网址数和问题数，适合找出问题集中在哪个目录。本站的 /tools 目录只有 11 个网址，却有 556 个问题，平均每页 50 个，而 /tags 目录 31 个网址只有 31 个问题。所以本站应该先处理工具页的模板。

统计数据（Statistics）：用比例看全站的结构问题

统计数据页把全站页面按十几个维度画成比例图：状态码、抓取深度、站点地图覆盖、内链数量、结构化数据、canonical、hreflang、AMP 等。每张图点进去都能看到对应的页面列表。

本站这次的几组数字和读法：

• 站点地图覆盖：站点地图里有 82 个网址；抓到的页面里 37% 在站点地图里，63% 不在。不在的主要是归档、分类、标签页，本站故意没有把这些 noindex 页面放进站点地图，所以这个比例偏低是正常的。反过来，如果有应该收录的文章页不在站点地图里，就要检查站点地图的生成规则。
• 抓取深度：从首页点 1 次能到的页面占 37%，2 次 48%，3 次 14%，超过 3 次的为 0。重要页面最好在 3 次点击以内。
• 只有 1 个内链的页面：占 9%。想看具体是哪些页面，可以到问题页打开「只有一个来自内部页面的链接」这一项，但两处的统计范围可能不同，页数不一定一致。
• 标记：JSON-LD、Open Graph（中文界面机翻为「打开图表」）、Twitter Cards 都是 95%，没有任何标记的占 5%。

技巧：统计数据页适合在改版前后各看一次。改版改动的往往是模板，影响的是整类页面，比例图比问题清单更容易看出模板级的变化，例如改版后「抓取深度 4 次以上」的比例突然变大，通常是导航或分页出了问题。

专题报告（Thematic Reports）：单独看某一类问题

概览下半部分的专题报告，把网页可爬性、HTTPS、国际 SEO、核心网页指标、效果（Site Performance）、内部链接、标记几类问题拆出来单独打分。每个报告是一个独立页面，适合把某一类问题交给对应的人：Core Web Vitals 给前端，国际 SEO 给负责多语言的人。下面讲两个最容易误读的。

核心网页指标（Core Web Vitals）：是实验室数据，只测 10 个页面

本站这个报告的得分是 0%。打开后，页面顶部写着「Powered by Lighthouse」和「Device emulated: Mobile」，也就是说，这是 Semrush 用 Lighthouse 模拟手机访问测出来的实验室数据，不是 Chrome 用户体验报告（CrUX）里的真实用户数据。而且它只测 10 个页面，列表可以手动编辑（Edit list）。

本站 10 个页面的 LCP 全部是「糟糕」（Poor），首页测出 16.48 秒；CLS 有 9 个「良好」（Good）、1 个「糟糕」（LLMs.txt 检测工具页，原因是图片没有写明宽高）。LCP 的改进建议排在前面的是「消除阻塞渲染的资源」「删除未使用的 CSS」「确保文本在 webfont 加载期间保持可见」，每条都涉及全部 10 个页面。这次被测的 10 个页面里有 6 个是归档、分类和标签页，这类 noindex 页面测得再差也不影响搜索。所以第一次打开这个报告，先用 Edit list 换成首页、文章页、工具页、产品页这些重要模板的代表页面。实验室数据适合找原因，例如哪个资源拖慢了首屏；判断页面是否达标，要看 Google Search Console 的 Core Web Vitals 报告或 PageSpeed Insights 里的真实用户数据，Google 用的是后者。

标记（Markup）：「无效」要看是哪个字段

标记报告统计用了哪些结构化数据格式（JSON-LD、Microdata、Open Graph、Twitter Cards、Microformats），以及每种结构化数据类型有多少条有效、多少条无效。本站 18 条无效全是工具页的软件应用标记，原因前面「问题」一节已经讲过：缺评分字段，影响的是富媒体结果资格。

比较抓取结果与进展：看两次审计之间的变化

• 比较抓取结果（Compare Crawls）：选两次审计，逐项对比抓取页数、健康分数和每类问题的数量，并列出修复了多少、新增了多少。改版、迁移、批量改模板之后跑一次，和改动前那次比，能快速看出新出现了哪些问题。比较之前要确认两次的设置相同。本站 11 月 6 日和 11 月 8 日的两次审计，总问题从 4,113 条变成 5,019 条，其中「资源被当成页面链接」从 2 条变成 494 条、「永久重定向」从 12 条变成 91 条。但这两次之间既打开了 JS 渲染，网站又发了新文章，所以无法从这张表判断哪些变化来自网站本身。
• 进展（Progress）：按时间画出健康分数和每一项问题的变化曲线，可以加备注，例如在某次发版的日期写上「改了导航」，以后看曲线时知道拐点是什么原因。

JS 影响（JS Impact）：AI 爬虫看到的页面缺不缺东西

开了 JS 渲染后，爬虫会对每个页面采集两次数据，一次在渲染前，一次在渲染后，这个报告对比两次的差别。前面说过，AI 爬虫大多不执行 JavaScript，所以渲染前的那份数据更接近 AI 爬虫看到的页面。JS 渲染只在 Guru 和 Business 套餐里提供，要在设置里打开后重跑。

本站这次 193 个页面里有 191 个渲染前后有变化。报告把关键元素分开列出：

• 外链数（Outlinks）：188 个页面有变化。作品索引页渲染前 197 个链接，渲染后 211 个；本地用浏览器打开对照，多出来的有 Cookie 提示条里的链接和几条站内文章、标签链接。
• 字符统计（Word Count，变化 ≥ 15% 才算）：156 个页面有变化。变化最大的是工具页，例如英文 Product Schema 检测页从 1,674 词变成 3,786 词，因为工具界面是脚本生成的。工具的说明文字都在原始 HTML 里，所以 AI 爬虫仍然能读到这个工具是做什么的。
• 客户端跳转、meta robots、标题、描述、canonical、结构化数据：全部没有变化。这几项最关键，没有变化就说明搜索引擎和 AI 爬虫不执行 JavaScript 也能拿到。

渲染后多出菜单、小部件是正常的。如果正文、链接、标题或结构化数据只在渲染后才出现，不执行 JavaScript 的 AI 爬虫就拿不到这部分内容，这时要让开发改成服务端渲染或预渲染。

给老手：没有 Guru 套餐时怎么近似检查

• 用浏览器关闭 JavaScript 后打开页面，或者 curl 页面源码，看正文、主导航和内链是否在 HTML 里。
• 本站的免费工具「AI 爬虫看到了什么」会用浏览器和几个 AI 爬虫的 UA 各请求一次页面，对比状态码和正文统计，不执行 JavaScript。
• Google Search Console 的网址检查工具能看到 Googlebot 渲染后的 HTML，可以和原始源码对照。

完整的体检流程与日常用法

第一次给一个网站做体检，可以按这个顺序：

1. 建项目时把页面上限设到能覆盖全站，页面来源先用默认的「网站」（从首页顺着内链爬），排除后台和带追踪参数的网址。Shopify 店铺先配好 Web Bot Auth 签名。
2. 跑完先看概览顶部那一行，确认抓到的页数和你预期的差不多。页数明显偏少，通常是被拦了、被 robots.txt 挡了，或者内链断了。
3. 看 AI 搜索健康下方的爬虫名单，确认没有误伤想放行的 AI 搜索爬虫。
4. 在问题页按「错误 → 警告 → 带 AI Search 标签的通知 → 其他通知」处理，每条展开看原因，无关的排除检查。
5. 按需要打开专题报告分给对应的人：Core Web Vitals 给前端，国际化 SEO 给负责多语言的人，标记给负责结构化数据的人。
6. 在设置里把审计频率设成每周（也可以每天或只跑一次），改动之后用「比较抓取结果」看新增问题。
7. 隔一段时间把页面来源换成站点地图再跑一次，和内链爬取的结果对照：站点地图里有、内链爬不到的就是孤立页面。

SEO 日常怎么用

• 发版后的回归检查：每次改模板、改导航后手动重跑一次，在问题页按发现时间看「new issues」。新增的 4xx、重定向链和 canonical 问题，通常就是这次发版带进来的。
• 分配任务：用概览上的「需要改进的页面」按页面分给负责人，或者在问题详情里用「发送至」把任务推到 Trello。

GEO 日常怎么用

• robots.txt 改动前后：改 robots.txt 之前跑一次、改完再跑一次，对照被屏蔽的 AI 爬虫名单。要分清搜索爬虫和训练爬虫，名单里除了 Google-Extended，都是搜索或代用户访问的爬虫，屏蔽它们会影响你在对应 AI 搜索里被引用。
• AI 搜索分类当写作参考：「段落太长」「语义化 HTML 用得少」这类提示，对人和机器的阅读都有好处，可以在改旧文时顺手处理。不必为了分数去改，Google 明确说 AI 功能不需要特殊优化。
• 配合不依赖 Semrush 的检查项：网站检测的 AI 搜索分类不含 CDN 拦截规则、服务器日志里的爬虫 IP 核实、GA4 的 AI 助手渠道和 Search Console、Bing 的 AI 报告。完整的 4 层 13 项流程见《网站 AI 搜索体检清单：13 项检查与官方依据》。

给老手：套餐额度

• 按 Semrush 帮助文档，Pro 每月可抓 10 万页、每次审计最多 2 万页；Guru 每月 30 万页、每次 2 万页；Business 每月 100 万页、每次 10 万页。
• JS 渲染只在 Guru 和 Business 套餐提供，开启后抓取更慢、消耗也更多。
• 本站这次开着 JS 渲染抓了 223 页，用了大约 55 分钟；11 月 6 日那次没开 JS 渲染。

常见问题

网站健康分数多少分算正常？

没有统一的标准。概览上的「排名前 10% 的网站」可以当参照，本站这次是 82%，前 10% 是 92%。分数更适合和自己的上一次比，而且两次审计的设置要一致，否则分数的变化可能只是抓取范围或爬虫不同造成的。

AI 搜索健康高，就能被 ChatGPT 引用吗？

不能。它衡量的是技术上的准备度：AI 爬虫能不能访问、页面结构是否便于理解。能不能被引用，还取决于内容本身、品牌知名度和其他网站有没有提到你。Semrush 也没有公开这个分数的权重。

屏蔽 GPTBot 会影响 AI 搜索健康吗？

按本文实测的名单推断，不会。被屏蔽的 AI 爬虫名单只包括 ChatGPT-User、OAI-SearchBot、PerplexityBot、Claude-SearchBot 等搜索和代用户访问的爬虫，不含 GPTBot、ClaudeBot 这类训练爬虫。想让内容出现在 AI 搜索里、又不想被拿去训练，可以只屏蔽训练爬虫。

网站检测和 Google Search Console 有什么区别？

Search Console 的数据来自 Google 自己：哪些页面被收录、Googlebot 遇到了什么错误、真实用户的 Core Web Vitals。网站检测是 Semrush 的爬虫按自己的规则模拟抓取，能发现 Search Console 不报的问题，例如锚文本、重复标题、内链结构，但它看到的不一定是 Google 看到的。两者要一起用，有冲突时以 Search Console 为准。

免费账号能用网站检测吗？

帮助文档只列了 Pro、Guru、Business 三个付费套餐的抓取额度，没有写免费账号的。能不能用、能抓多少页，以 Semrush 定价页和账号里的实际限制为准。

Semrush 教程系列

• 总纲：Semrush 教程：完整使用指南（2026）
• 关键词研究：一文解析 Semrush 关键词功能（2026）
• 网站检测：一文解析 Semrush 网站检测与 AI 搜索健康（本文）
• 排名跟踪：一文解析 Semrush 排名跟踪与 AI 搜索