导语

第七期能查规则，规则本身还得有一份干净底稿。国内站要是想让豆包能抓、训练爬虫另外看，不能靠一句通配搞定。

GPTBot、ClaudeBot、PerplexityBot、Bytespider 这些名字，手写容易漏一个字母。我以前手写过，写完自己都不敢确定有没有写错。这一期按爬虫勾选，生成之后再和原来的规则合并。不直接覆盖，这个我提前说死。

软件介绍

我用的是 GEOKit 的 AI Robots.txt Generator。四种预设：全部允许、全部禁止、禁训练留搜索、自定义。也可以单独勾 GPTBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Google-Extended、PerplexityBot、CCBot、Bytespider、Applebot-Extended、Amazonbot、cohere-ai。

同一页还列了 Googlebot、Bingbot、DuckDuckBot、YandexBot、Baiduspider、AhrefsBot、SemrushBot。右边可以复制，也可以下载。robots.txt 是爬虫自愿看的约定，正规爬虫会看。它不是防火墙，这个预期我放在前面。

官网与使用方法

不用注册，打开就能生成：

官网：https://geokit.site/tools/ai-robots-txt-generator

我要是改知也的规则，会这么做：

1. 先选预设。想让搜索回答能抓、训练另外看，就用 Block AI training, allow search，再逐个核对。预设只是起点，不是最终文件。

2. 同一家分开勾。训练、搜索、用户触发可能是三个爬虫。不要一个勾选代替全部。这个最容易手滑。

3. 留下原来的规则。生成器给的是新文件。原来的 Sitemap、后台目录禁止，要合并进去。它不知道你站上原来写了什么。

4. 下载后放到根目录。文件名用 robots.txt。上传后用浏览器打开原文看一遍，不看后台预览就算数。

5. 回到第七期再查。把合并后的全文贴进去，确认每个爬虫的状态和勾选一致。生成完不查，我不当成做完。

知也现在的规则要留着。后台目录是 Disallow: /darui/，站点地图是 Sitemap: https://www.zhiyeseo.com/sitemap.txt 。生成器不知道这两行。豆包相关我先看 Bytespider，要是继续允许，就不会在新文件里把它禁掉。合并完再传，不直接覆盖。

主要特点

• 预设清楚。全允许、全禁止、禁训练留搜索、自定义，四种都能选。我最常用的是第三种再改。

• 爬虫分开列。训练、搜索、用户触发不是一个开关。这个比手写名单靠谱。

• 搜索引擎也在同一页。改 AI 规则时，能同时看到 Baiduspider、Googlebot、Bingbot，不容易把正常蜘蛛一起改掉。

• 可以复制，也可以下载。不用再手写 User-agent，少一个拼写错误。

• 不用注册。打开就能生成。

知也的几个使用提醒

生成之前我先把旧文件存一份，然后记住这几句：

1. 先留下旧规则。知也的 Sitemap 和 /darui/ 这两行，生成器不会自动带上。覆盖前把旧文件存一份。这一步省了，后面补不回来的是线上那份。

2. 搜索和训练分开。不想被拿去训练，不等于不想出现在搜索回答里。两个目的我分开勾，不图省事勾“全部禁止”。

3. 国内平台不要只看名单。这个生成器列了 Bytespider，豆包可以先对照这个。千问、文心、Kimi、DeepSeek 没有单独名字时，我不会勾完就当成都设置过了。

4. 上线后再对一次。本地勾选和根目录打开的原文，以线上那份为准。对完再用第七期的检查器看状态。

为啥不推荐别的

手写 robots.txt 不难，难在爬虫名字和通配规则。漏一个名字，或者通配写反，结果就和你想的不一样。我手写过，写完还得再检查，不如先生成再改。

检查器只能查已有文本，不能按勾选生成底稿。这个生成器预设清楚。它不了解你的旧规则，所以合并和复查这两步我留着，不交给它。

小结

第八期是按爬虫生成 robots.txt 底稿，不是一键覆盖线上文件。官网在上面。知也要留下原来的后台目录和站点地图，豆包相关的 Bytespider 我单独看。生成完再查一次。允许或禁止只说明规则怎么写，不说明一定会被引用。

码字不易，多谢点赞支持！