robots.txt 生成器
生成 robots.txt：允许或屏蔽爬虫，为各搜索引擎单独设置规则，屏蔽 GPTBot、CCBot 等数据集抓取爬虫，并可设置 crawl-delay 和站点地图。遵循 RFC 9309。
请把此文件放在网站根目录（https://yourdomain/robots.txt）。它遵循 RFC 9309。注意 Google 会忽略 Crawl-delay，请改在 Search Console 中设置抓取速率。robots.txt 只是一种请求，而不是安全控制措施，它不会阻止对页面的访问。
robots.txt 用来告诉网络爬虫可以请求网站的哪些部分。这个生成器按照《机器人排除协议》（RFC 9309）生成有效文件：设置默认允许或屏蔽策略，屏蔽特定搜索引擎，或为数据集、聊天助手而抓取页面的爬虫，并添加 crawl-delay 和站点地图 URL。全部在浏览器中运行。
使用方法
- 选择默认全部允许还是全部屏蔽，或者自定义路径。
- 按需屏蔽特定搜索引擎、数据集抓取爬虫或聊天助手爬虫。
- 添加 crawl-delay 和站点地图 URL。
- 把文件放到网站根目录，命名为 /robots.txt。
计算公式
每个分组以 User-agent 行开头，后面是 Allow 和 Disallow 规则。"Disallow: /" 屏蔽全部，空的 "Disallow:" 表示允许全部。Sitemap 行是全局的，使用绝对 URL。
示例
选择全部屏蔽的策略，会得到完全如下的内容：
**User-agent: *
Disallow: /**
它告诉所有爬虫不要进入整个网站。
常见问题
robots.txt 能让页面保持私密吗？
不能。它只是请守规矩的爬虫不要抓取某个路径，并不能阻止访问；如果其他地方链接了它，该 URL 仍可能出现在搜索结果中。真正的隐私请使用身份验证或 noindex。
为什么 Google 会忽略 Crawl-delay？
Googlebot 不支持 Crawl-delay 指令，请改在 Google Search Console 中设置抓取速率。Bing 等一些搜索引擎会遵守它。
如何让我的页面不进入训练数据集？
打开数据集选项，会为 GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot 等爬虫添加 Disallow 分组。单独的助手选项还会屏蔽 OAI-SearchBot、PerplexityBot 等爬虫，这可能让你的页面从这些服务的回答中消失。遵守 robots.txt 是自愿的，所以它是请求，而不是锁。
资料来源
最后更新:
包含这些输入的页面地址： https://kakao.mobile/zh/tools/robots-txt-generator/
引用此工具
kakaoCalc. (2026, November 8). robots.txt 生成器. https://kakao.mobile/zh/tools/robots-txt-generator/
“robots.txt 生成器.” kakaoCalc, 8 Nov. 2026, kakao.mobile/zh/tools/robots-txt-generator/.