智能体就绪度：AI 爬虫、就绪度评分和模拟智能体任务

三类 AI 爬虫

AI 公司派来抓你网站的爬虫有三种用途，作用不同，处理方式也不同。在 AI 流量 →「AI 爬虫」标签顶部的「按用途」卡片里分开显示：

每种用途显示一个结论，结论来自你网站的 robots.txt：

• 允许：这类爬虫都可以访问。
• 部分屏蔽：其中一部分爬虫被屏蔽，下面会列出名字。
• 屏蔽：这类爬虫都被屏蔽。
• 无法读取 robots.txt：没能读到你的 robots.txt。

搜索或用户触发被屏蔽、部分屏蔽时，卡片标红，因为这会让 AI 抓不到、也无法引用你。训练被屏蔽不会标红。连接了爬虫日志后，每种用途下面还会显示真实的访问次数和报错比例（「N 次访问 · N% 报错」），没有访问时显示「暂无访问」。

robots.txt 拦截了 AI 搜索或用户触发爬虫时，页面会出现红色提示，并给出要加到 robots.txt 的几行规则，点「复制规则」复制。

AI 流量 → AI 爬虫：按用途

智能体就绪度评分

AI 智能体（替用户找信息、比价、下单的 AI）能不能找到、读懂、操作你的网站并完成购买，用 1–100 分表示，分四组：「可发现」「可读取」「可操作」「可交易」。检查项包括：robots.txt 是否放行 AI 搜索和用户触发爬虫、站点地图、llms.txt、不运行 JavaScript 能否读到正文、结构化数据、页面结构标签、表单输入框标签、按钮名称、是否需要登录，以及商品页的 Product 结构化数据、价格、库存、购买入口。不是商店的网站，商品相关的项显示「不适用」。

免费工具：公开检查页和 AI 爬虫检查

• 智能体就绪度检查（不用登录）：输入网址点「检查」。未登录时显示总分、四组分数和「主要问题」；点「免费注册」登录后显示完整清单和每一项的修复方法，可以「复制修复清单」或「问 AI 助手怎么改」。AI 爬虫标签「按用途」卡片右上角也有入口。
• AI 爬虫可访问性检查器：在侧栏「工具」里，按用途查看 robots.txt 放行了哪些 AI 爬虫。AI 爬虫标签里的「检测 robots.txt」会直接打开它。

智能体就绪度检查结果

智能体标签：每周监测（付费套餐）

AI 流量 →「智能体」标签，付费套餐可用。

「智能体就绪度」卡片每周一自动检查你项目的网站，显示总分（括号里是上次的分数）、四组分数和历史折线。下面列出和上次相比的「新问题」和「已修好」，新问题附带修复方法；搜索和用户触发爬虫的访问报错比例偏高时也会列出。总分下降 10 分以上，或某一项变成不通过时，会发项目告警。想马上看结果，点「现在检查」（免费）；「查看完整清单」打开完整的检查页。

模拟智能体任务

「模拟智能体任务」让一个只读的 AI 智能体在你的网站上实际去完成几件事，看它能不能做到。

它能做什么、不能做什么：只能打开你网站上的页面阅读，每个任务最多打开 8 个页面；不运行 JavaScript、不登录、不提交表单、不购买也不预约。

默认任务按网站类型生成 6 个：

• 商店：找到价格、找到一个具体商品页、确认是否有货、找到退款政策、确认是否配送到{主市场国家}、找到联系方式
• 服务类网站：找到价格、确认是否支持{主市场国家}、找到询价表单并识别必填项、找到预约演示的入口、找到退款政策、找到联系方式

点「编辑任务」可以删除任务，或在输入框写自己的任务后点「添加」（例如"找到企业版的价格"），最多 10 个，改完点「保存」。

怎么读结果：表格每行一个任务。

• 「结果」：「完成」或「失败」。
• 「卡在哪」：完成时显示它找到的答案；失败时显示「第 N 步：…」，即卡住的步骤和挡住它的元素。
• 「用时」：用了几步、几秒。
• 「过程」：展开看它依次打开了哪些页面、每一步看到了什么。

运行方式：每周自动运行一次，不扣积分。想马上运行点「运行」，系统先显示"这次运行会使用多少积分"，点「确认运行」后才开始；积分不足时会提示「积分不足」。

AI 流量 → 智能体

常见问题

训练爬虫要不要放行？ 训练爬虫不影响 AI 搜索能否引用你，放不放行由你决定。搜索和用户触发爬虫建议放行。

智能体标签显示「项目还没有填写网站」？ 先在项目设置里填好网站地址，之后才能检查和运行任务。

任务失败了怎么改？ 看「卡在哪」和「过程」：常见原因是价格、库存只在 JavaScript 里加载，或信息放在需要登录的页面。对照就绪度清单里的修复方法改，下次每周运行会自动复查。

免费账号能用吗？ 公开检查页和 AI 爬虫检查器免费；智能体标签的每周监测和模拟任务需要付费套餐。