AI 流量:爬虫与页面、智能体与优化计划
AI 流量页的三个标签:概览(AI 搜索抓取、抓取错误率、AI 引荐访问,本周待处理,各 AI 平台的抓取与引荐,趋势)、爬虫与页面(需要修复、AI 爬虫、页面表现、新发布文章的 AI 抓取情况)、智能体;标签下的「数据来自」一行,以及在「集成」连接 Google Analytics、网站脚本、Cloudflare、Vercel、WordPress、Next.js、Netlify;顶栏的「优化计划」在每个标签都能打开。各引擎和落地页的访问、订单与收入在「收入归因」。
它衡量什么
引用数据告诉你 AI 说了什么。AI 流量告诉你站点上发生了什么:哪些 AI 爬虫来读你的页面、读取时是否报错、读取过的页面是否被 AI 回答引用、有多少访客从 AI 回答点击进入网站,以及 AI 智能体能否在你的网站上完成任务。各 AI 引擎和落地页带来的访问、订单和收入在「收入归因」:原来的「AI 引流」标签已经并入那里,旧链接会直接打开收入归因。此页只显示已接入的数据,连接完成前为空。
标签
| 标签 | 内容 |
|---|---|
| 概览 | 三个数字(AI 搜索抓取、抓取错误率、AI 引荐访问)、本周待处理、各 AI 平台的抓取与引荐、趋势;页面底部是向 AI 助手提问的对话框 |
| 爬虫与页面 | 需要修复、AI 爬虫、页面表现、新发布文章的 AI 抓取情况 |
| 智能体 | 网站归属验证、智能体就绪度监测(含完整检查清单)和模拟智能体任务 |
页面顶栏右侧是深色的「优化计划」按钮,在任何标签都能打开;旁边「⋯」里只有「生成 llms.txt」。标签下面是「数据来自」一行:每个数据来源一个标签,绿色是已连接,琥珀色「还差一步」表示已开始连接但尚未完成,灰色(比如「Cloudflare 未连接」)是最值得补上的那一个,按你的网站来选;点任一个标签就在本页打开它的连接弹窗,「管理连接」前往「集成」。旁边的 ⓘ 是证据等级说明,每个数字的证据等级在它自己的 ⓘ 里;右边是「近 30 天」(可选 7 / 30 / 90 天)和翻译。尚无数据时,概览的数字显示「—」并写明缺少哪项数据(例如「尚未连接访问数据」);爬虫与页面的「AI 爬虫」会写明连接后可以查看哪些数据,下面是「连接 …」按钮(打开同一个连接弹窗)和「其他方式」(前往「集成」查看其他连接方式)。
概览
三个数字,较上期的变化写在数字旁,统计口径在各自的 ⓘ 里:
- AI 搜索抓取:AI 搜索类和用户触发类爬虫的抓取次数,不含模型训练用爬虫(如 GPTBot、ClaudeBot);下面写主要来自哪些 AI。
- 抓取错误率:返回 4xx 或 5xx 状态码的抓取占全部抓取的比例,只统计内容页面以及 AI 搜索类、用户触发类爬虫;下面写「N 个页面仍返回错误」。
- AI 引荐访问:访客点击 AI 回答中的链接进入网站的访问次数;「查看归因收入 →」打开收入归因,查看这些访问带来的订单和收入。
本周待处理按顺序列出需要处理的事项,第一项的按钮为深色:
- robots.txt 禁止了 AI 搜索或用户触发爬虫:这些 AI 目前无法抓取你的网站,也就不会在回答中引用。「查看修复方法」跳到爬虫与页面的「需要修复」。
- 仍向 AI 爬虫返回错误的页面(「查看页面」)。页面修复后,AI 爬虫下次抓取正常,这一项会自动消失。
- 优化计划建议优先修改的页面(「优化计划」;「查看 N 个页面」展开后,每个页面都有「查看优化建议」)。数据看板的「本周任务」使用同一份计划。
- 发布已满 3 天、仍未被 AI 搜索爬虫抓取的新文章(「提交 IndexNow」)。
几组页面对应相同的提示词时,列表最后会提示合并页面或为每个提示词指定一个负责页面,点「交给 AI 助手处理」由 AI 助手给出分工建议。没有待处理事项时显示「暂无待处理事项:AI 爬虫可以正常读取你的网站。」
各 AI 平台的抓取与引荐只统计为生成回答而抓取的爬虫(搜索类、用户触发类)。每个平台一行:回答用抓取、AI 引荐访问、每百次抓取的引荐访问和评估(引荐效率较高 / 引荐效率较低 / 暂无引荐访问 / 仅用于模型训练)。表格下方写明引荐访问最多的平台;仅用于模型训练的爬虫不带来引荐访问,如需限制可以在 robots.txt 中禁止,不影响 AI 回答引用你的内容。
趋势按天显示回答用抓取(左轴)和 AI 引荐访问(右轴)。
页面底部的对话框(「询问这些数据的原因或下一步建议…」)会根据这页的数字给出最多三个现成问题,例如「哪些页面被 AI 搜索爬虫抓取却未被引用?应优先修改哪一页?」。点击即交给 AI 助手,它用本项目的数据回答;也可以直接输入问题。
爬虫与页面
AI 公司的爬虫分三类,用途不同,处理方式也不同:
| 用途 | 做什么 | 例子 |
|---|---|---|
| 搜索 | AI 搜索建索引,决定 AI 回答能否找到并引用你 | OAI-SearchBot、PerplexityBot、Claude-SearchBot、Applebot |
| 用户触发 | 用户在 AI 里让它打开你的网页 | ChatGPT-User、Perplexity-User、Claude-User |
| 训练 | 用于训练以后的模型 | GPTBot、ClaudeBot、Bytespider、CCBot |
搜索和用户触发爬虫被禁止,会直接影响 AI 当前能否引用你;训练类是否放行由你决定。

AI 流量 → 爬虫与页面
这个标签从上到下是:
- 需要修复。 robots.txt 禁止了 AI 搜索或用户触发爬虫时,这里列出要添加到 robots.txt 的规则(「复制规则」),通常一天内生效;下面是仍向 AI 爬虫返回错误的页面:状态码及其含义(如「页面不存在」「访问被拒绝(防火墙或安全设置)」)、次数和 AI 爬虫,「复制给技术人员」生成一段可以直接发给开发人员的说明。这里只列最近一次抓取仍然失败的页面,修复后会自动移出。
- AI 爬虫。 每个爬虫一行:用途、抓取次数(近 N 天)、状态和常抓页面(「N 页 ▾」展开它抓过的页面)。每个爬虫只显示一个状态:「被 robots.txt 禁止」;「模拟访问被拦截」(Citadex 用这个爬虫的 User-Agent 请求你的首页时被 CDN 或防火墙拦截,悬停查看说明;请求来自 Citadex 的服务器,防火墙只放行官方 IP 时显示拦截属于正常);「允许(模型训练用)」;「可正常抓取」。状态旁边是「已验证 N 次」(IP 核对通过的访问)和「已排除伪造请求 N 次」(自称 AI 爬虫但 IP 不属于官方,不计入任何数字)。右上角「立即检查」重新运行模拟访问,旁边显示上次检查的日期。
- 页面表现。 AI 搜索爬虫抓取过或 AI 回答引用过的每个页面一行:AI 抓取、AI 引用、Google 点击(连接 Search Console 后显示)和 AI 引荐访问。AI 引用是在你追踪的提示词的 AI 回答中链接到该页面的回答数,每个回答计一次;AI 抓取只算 AI 搜索类和用户触发类爬虫的成功抓取。筛选有「全部」「被抓取未被引用」(AI 已读取但尚未引用,行末有「查看优化建议」)、「被引用但近期未被抓取」(AI 回答可能仍在使用旧版本的内容),连接 Search Console 后还有「Google 强 · AI 弱」「AI 强 · Google 弱」,用来找出在 Google 和 AI 中表现差距大的页面。
- 新发布文章的 AI 抓取情况。 近 60 天通过 Citadex 发布到你网站的文章:发布日期、首次被 AI 抓取(发布后几天、哪个爬虫)、抓取次数和引用的提示词。文章需先被 AI 抓取,才可能被引用。尚未被抓取的文章可以点「提交 IndexNow」,把文章地址提交给支持 IndexNow 的搜索引擎;它使用「集成 → IndexNow」里设置的密钥,尚未设置时会提示先设置。
- 点任意页面打开页面详情,查看这页的 AI 抓取、AI 引用、AI 引荐访问、报错和引用它的提示词;「打开页面」打开网站上的原页面。
优化计划
「优化计划」(页面顶栏右侧的深色按钮,任何标签都能打开;「查看优化建议」直接打开某一页的改动清单;链接 /ai-traffic?plan=1)把要改的页面排好,分两个标签:
- 本周计划:先处理最值得改的几页。每页写明原因(如「AI 抓取 N 次 · 引用 0 次 · 对应 N 个提示词」,或被引用但没有带来访问),按钮是「改动清单」,内容太少、改几处不够的页面是「完整改写」。下面可展开「更多(N 页)」、「已改过、观察中(N 页)」和「已改好、复测中(N 页)」(可「查看复测」或「重新打开」)。页面修改后无需通知 Citadex:它会重新读取要列出的页面,发现正文改了(或页面自己标注了更新日期、或是从 Citadex 发布的)就放进「已改过、观察中」,显示哪天改的、观察到哪天、改后 AI 读取和引用了几次;观察期间不再列入本周计划,AI 助手和每周计划也不会再给同样的建议。观察期结束后,只按修改后的数据判断是否重新列入;改动清单会按新页面重新生成。几组页面对应相同的提示词时,这里也会提示,点「交给 AI 助手处理」。
- 改动清单:某一页的具体改动:当前内容 → 修改后内容、新增内容,按「重要 / 建议 / 可选」标出优先级;需要补充的问答附结构化数据代码(「复制问答」「复制结构化数据代码」)。改动清单不占文章额度;「完整改写」生成整页新版本,算一篇文章。网站通过 WordPress、Ghost、Citadex 的 Shopify 应用、HubSpot(博客文章)、Webflow(CMS 条目)、Wix(博客文章)或 GitHub(静态网站)连接时,点「写入网站」:弹窗逐条列出「当前 → 改为」,可取消任意一条、常见问题或整个页面,确认后系统把修改写入网站上的原页面,标题和网址不变,原内容会保存,可逐页或整批恢复,写入后自动开始复测。HubSpot、Webflow、Wix 的页面可勾选「保存为草稿」,修改保留在该后台的草稿中,在后台发布后才生效;GitHub 网站的修改以 Pull Request 提交,合并后才生效。页面显示新内容后才标为已改好并开始复测;项目设置了 IndexNow 密钥时,同时提交该页面网址。AI 引用在减少、且改动清单可以写入的页面,AI 助手会在对话中建议写入。HubSpot 需在「集成」页的 HubSpot 卡片上点「集成」,填写私有应用访问令牌(范围 content)。手动修改后点「已改好,开始复测」。「只给 AI 看的优化版」只使用页面上已有的句子,AI 爬虫与访客看到的内容一致。
每个提示词由哪一页负责是自动分配的,改动清单顶部写着这一页负责的提示词。AI 助手的「本周计划」会提前为最多 3 页准备好改动清单,见 每周计划。
给 AI 看的优化版
无法修改网站时,可以为某页生成「给 AI 看的优化版」:只有 AI 爬虫会看到优化版,访客、Google 和 Bing 看到的仍是原页面;内容只来自原页面,只是重新排列成 AI 更容易读懂、更愿意引用的写法;原页面没有的数字、名称和说法会被去掉。原页面变了会按新内容重做并先关闭,你检查后再开启。可以「预览」对比原页面和优化版,打开「只给 AI 看」后,表格显示开启后的读取和引用变化。需要先在「集成」用 Cloudflare Worker、Next.js、Netlify 或 WordPress 爬虫插件连好 AI 爬虫。
智能体
智能体标签(付费套餐)顶部是网站归属验证。它每周一自动检查网站的智能体就绪度,记录历史曲线、新问题和已修好的项目,以及搜索和用户触发爬虫的报错率;分数下降 10 分以上或某项变成未通过时提醒。「立即检查」立即检查一次;「完整检查清单(N 项)」在本页展开全部检查项,有问题的项排在前面并附修复方法,「收起清单」收起。「模拟智能体任务」让一个只读的 AI 智能体在你的网站上尝试找价格、找商品、找退款政策、找询价表单等任务,记录完成情况、未能完成的步骤和原因。详见 智能体就绪度。
其中两项专门看 AI 爬虫读取到的关键页面(不运行 JavaScript):关键页面会读价格页(从站点地图或 /pricing 找到)、服务页和商品页,页面只返回「加载中」等占位内容时判为未通过,价格页上读不到价格算提醒;价格一致会比对结构化数据(JSON-LD)里的价格、页面上看得到的价格和「品牌信息」里填的官方价格,三者不一致时会提醒,并列出具体数字。AI 说你「价格不明」或报出旧价格时,先看这两项:把价格写进服务端渲染的 HTML、让结构化数据和页面一致、在「品牌信息」里填好当前价格,再去更新评测站上的旧价格。

AI 流量 → 智能体
在「集成」连接数据
AI 流量的数据来源都在侧栏「集成」里连接,每个来源一张卡片,点击后打开同一个居中弹窗:左边是它会读取什么、用在哪里,右边是它自己的步骤和设置。「推荐」里的「为你推荐」会按你的网站给出最应连接的几个,比如「检测到你的网站在 Cloudflare 上」。如需留在 AI 流量页,也可以点击「数据来自」一行中的标签,或空板块里的「连接 …」按钮,打开的是同一个弹窗。
每个项目有自己的接入密钥,「换一个密钥」后旧的立即失效。选一种或几种:
- Google(Google Analytics 转化):集成 → Google,点「连接 Google」后选媒体资源,无需代码;同一次授权也用于 Search Console。只有工作区所有者可以连接。
- 网站追踪代码:集成 → 网站追踪代码。把一行代码贴进网站的 head,记录从 AI 点击进入的访客;在转化点调用转化函数即可记录转化。没有 Google Analytics 的网站用它;收入归因也靠它。
- AI 爬虫监测(服务器日志):
- 集成 → Cloudflare:「直接连接(推荐)」填一个只读的 API Token 和 Zone ID,每小时自动拉取 AI 爬虫访问记录,无需部署 Worker;也可以用 Worker 转发。
- 集成 → Vercel:团队设置 → Drains 添加日志转发,目标地址填弹窗里的网址。
- 集成 → WordPress 爬虫插件:下载插件,上传并启用。
- 集成 → Next.js · Netlify · 其他服务器:Next.js、Netlify 把弹窗里的代码保存到项目里,重新部署;其他服务器按弹窗里的示例把 AI 爬虫请求转发过来。
即使什么都不连接,「需要修复」也会检查你的 robots.txt,列出被禁止的 AI 爬虫和要添加的规则;集成页的「robots.txt 体检」也能单独检查。想把漏斗继续到线索、商机和收入,用「收入归因」,见 收入归因。
告警
在设置 → 邮件通知 → 项目告警通知 打开「AI 流量异常(爬虫骤降、被拦截、报错增多)」,异常时按你选的频率发邮件或 Slack。
常见问题
被 AI 引用了,为什么没有带来访问? 多数 AI 回答不带链接,或用户没有点击。看概览的「各 AI 平台的抓取与引荐」:每百次抓取的引荐访问越高,说明这个平台越常把读者引荐到你的网站。各平台带来的订单和收入在「收入归因」。
原来的「AI 引流」标签在哪里? 各 AI 引擎和落地页的访问、订单与收入都在「收入归因」,旧链接会直接打开那里。AI 流量的概览仍显示 AI 引荐访问总数,点「查看归因收入 →」进入收入归因。
GPTBot 抓取了很多页面,为什么这些页面不算「被抓取未被引用」? GPTBot、ClaudeBot、Bytespider、CCBot 等训练用爬虫的数据用于训练模型,不用于生成回答。只有 AI 搜索类和用户触发类爬虫成功抓取过的页面才算被 AI 读取过,「AI 搜索抓取」和「各 AI 平台的抓取与引荐」也只统计这两类。
这和 Search Console 有关系吗? AI 爬虫的抓取来自你的服务器日志,与 Search Console 无关。连接 Search Console 后,「页面表现」会多出「Google 点击」一列,以及「Google 强 · AI 弱」「AI 强 · Google 弱」两个筛选。Search Console 还用于发布后的收录通知和提示词导入。
Was this article helpful?
