导语

建站工具写到第13期，本地环境、上传和图片都有了着落。GEO 这一栏要换个问题：页面做出来了，AI 爬虫能不能读到？本期用一个在线检查器看这件事。它不需要下载，也不需要安装。

软件介绍

这期用的是 GeoVector 的 免费 AI 爬虫检查器。打开页面后，只有一个“网站 URL”输入框和一个“检查 AI 爬虫访问”按钮。它读取 robots.txt、meta robots 标签和 X-Robots-Tag 头部，列出 11 个爬虫的状态。

11 个名字要分开看。GPTBot、ClaudeBot、Google-Extended 更多和训练或引用控制有关；OAI-SearchBot、Claude-SearchBot、PerplexityBot 则和搜索回答有关。允许训练，不等于允许被回答引用；反过来也一样。

官网与使用方法

这是在线工具，不提供安装包，也不走网盘：

官网：https://www.geovector.ai/zh-CN/tools/ai-crawler-checker

使用步骤（照着走就行）：

1. 打开官网。页面标题是“免费 AI 爬虫检查器”，不需要注册。

2. 填写完整网址。带上 https://。只填域名时，先补协议再检查。

3. 点击“检查 AI 爬虫访问”。结果区分成 robots.txt 状态和页面访问提示，两部分都要看。

4. 先看 11 个爬虫。每个名字后面是允许或禁止。不要只看 GPTBot，搜索回答用的爬虫要单独看。

5. 再看页面提示。robots.txt 允许，不代表页面内容真的能被读到。登录、跳转和 noindex 还会单独拦一次。

主要特点

• 浏览器里直接用。没有 Windows、Mac 安装包，打开网址就能检查。

• 一次看 11 个爬虫。OpenAI、Anthropic、Google、Perplexity、ByteDance、Common Crawl 都列出来。

• 训练和回答分开。同一个公司可能有多个爬虫，不能用一个开关代替全部。

• 能发现页面级拦截。除了 robots.txt，它还看 meta robots 和 X-Robots-Tag。

• 结果可复制。页面提供复制报告和下载 CSV，方便留档。

知也的几个使用提醒

我用 https://www.zhiyeseo.com/ 实测了一次。robots.txt 对 11 个爬虫都显示“允许”，但结果区同时出现一条页面提示：HTTP 200，内容像是在登录后面，并写着公开爬虫读不到需要登录的内容。所以这次不能只根据“允许”下结论。

1. 允许抓取，不等于会被引用。工具只说明门有没有关上。它不查询 AI 的真实回答，也不能保证品牌会被提到。

2. 不要一键全部禁止。User-agent: * 配上 Disallow: /，会把没有单独放行的爬虫一起挡住。测试站的规则上线前要换掉。

3. 子域名要分别查。robots.txt 跟主机走。www 和裸域名不是同一份文件时，要各查一次。

4. 登录页会误导结果。首页如果跳到登录，工具可能把公开内容判成不可访问。检查前先确认这个网址不需要登录。

5. 分数和提示都是工具自己的判断。它不是百度、Google 或某个 AI 平台的官方后台。

为啥不推荐别的

直接打开 /robots.txt 也能看规则，但要自己把 11 个爬虫名对上去，还容易漏掉 meta robots。搜索引擎站长后台能看抓取，却不专门把这些 AI 爬虫分成训练和回答两类。

这个检查器胜在打开即用，结果也按爬虫逐个列出。它不能代替站长后台，也不能代替真实提问测试。

小结

这期的免费 AI 爬虫访问检查器是 GeoVector 的在线工具，不需要安装。官网就是上面的地址。输入完整网址后，先看 11 个爬虫是允许还是禁止，再看页面有没有被登录、跳转或 noindex 挡住。允许只说明能抓，不说明一定会被 AI 引用。

码字不易，多谢点赞支持！