导语

第一期是填网址，让工具自己去读线上的 robots.txt。那一招看线上够用。规则还在本地改，或者我想先看通配那一行会不会把人挡住，就得换个入口。

国内站长改规则的时候，豆包、千问、文心这些能不能进，要和 GPTBot 分开看。我自己改文件有个毛病，改完总觉得没问题，贴进检查器才看清通配到底管了谁。这一期就是干这个。

软件介绍

我用的是 GEOKit 的 robots.txt AI Compliance Checker。有 Paste Content 和 Fetch by URL 两个入口。贴进规则，点 Check Compliance，每个 AI 爬虫会显示允许、禁止，或者没有单独写。

它适合改规则前先看文本。第一期适合看线上结果。两篇接得上，不互相替代。我改草稿用这一期，改完上线再用第一期对一眼。

官网与使用方法

不用注册，打开就能查：

官网：https://geokit.site/tools/robots-txt-checker

我一般这么查：

1. 还没上线就粘贴。选 Paste Content，把准备上传的全文贴进去。不要只贴新加的几行。只贴新行，通配那一行的影响就看不见了。

2. 已经上线就抓取。选 Fetch by URL，填网站地址，看线上这份和本地是不是同一份。本地改完忘了传，这个最容易露馅。

3. 点 Check Compliance。每个爬虫看允许、禁止、未单独声明。没单独写的，再看 User-agent: * 那一行。别看到“没单独写”就当成禁止。

4. 训练和搜索分开看。GPTBot、ClaudeBot、Google-Extended，和搜索回答用的爬虫，不要用一个状态概括。一个允许，不代表这一家都允许。

知也现在这份很短，我可以整段贴进去看：

User-agent: *
Disallow: /darui/
Sitemap: https://www.zhiyeseo.com/sitemap.txt

通配只禁了后台目录 /darui/，首页和工具文没有禁。第一期填 https://www.zhiyeseo.com/ 查到 11 个都允许，和这份规则是对得上的。后面我要是单独加 GPTBot、Bytespider，改完还会再贴一次，不靠记忆。

主要特点

• 能查还没上线的规则。文本在本地就能看结果。这个比等上传再查省事。

• 能复核线上文件。按网址抓，避免本地和服务器不是同一份。我吃过这个亏。

• 状态分成三类。允许、禁止、没单独写，比只看有没有这个名字清楚。

• 有示例可加载。页面上的 Load Example 可以先看结果长什么样，第一次用不用瞎猜。

• 不用注册。打开就能查。

知也的几个使用提醒

贴规则的时候，我提醒自己这几句：

1. 没单独写，还要看通配。知也现在就是这个情况。AI 爬虫没有单独名字，走的是 User-agent: *。通配只禁了后台，前台页面就是允许。这个结论要说全，不能只说“没单独写”。

2. 粘贴要完整。Sitemap 那一行我也留着。只贴新增的 User-agent，容易和线上对不上。

3. www 和裸域名分开查。两台主机不是同一份文件时，各贴一次，或各抓一次。查完一个就当全站一样，这个判断我不下。

4. 允许只说明规则这么写。它不查询豆包、千问、DeepSeek 的真实回答。国内这几家要是名单里没有，我就不当成已经查过。

为啥不推荐别的

直接打开 /robots.txt 能看原文，我也会看。但要把每个爬虫和通配规则对上，人眼容易漏。第一期适合看线上结果，不适合反复改一份还没上传的草稿。

这个检查器粘贴和抓取都能用。它不改你的文件，你要允许还是禁止，还是自己定。工具只负责把状态摊开，这个分工我喜欢。

小结

第七期我拿来对 robots.txt 文本，不拿来改线上文件。官网在上面。知也这份可以整段贴进去，后台目录禁了，前台页面还是允许。允许只说明规则这么写。会不会被引用，别在 robots.txt 里找答案。

码字不易，多谢点赞支持！