robots.txt 测试器（RFC 9309）

robots.txt 中一条放错位置的规则，就可能让整个网站对搜索引擎不可见，或让管理后台可被抓取。这个测试器完全按照 RFC 9309 和 Google 的描述，把 robots.txt 应用到一组 URL 上：它为你指定的爬虫选择分组（合并重复的分组，并回退到 *），用 * 和 $ 通配符找出最长的匹配 Allow 或 Disallow 规则，并报告“允许”或“屏蔽”以及起决定作用的那一行。它还会标出爬虫会忽略的行。

使用方法

1. 粘贴 robots.txt 的内容。
2. 列出要检查的 URL 或路径，每行一个。
3. 输入爬虫标记，如 Googlebot、Bingbot 或 Applebot。
4. 阅读每个结果及其依据的规则，然后修复警告。

计算公式

Group: the one whose user-agent equals the crawler token (case-insensitive), else *. Rule: among Allow and Disallow paths that match the start of the URL path, the longest wins; on a tie, Allow wins.

* 匹配任意一串字符，结尾的 $ 表示“URL 结束”。路径包含查询字符串。非 ASCII 字符按百分号编码后比较，普通字母和数字的转义会先被解码（RFC 9309 §2.2.2）。/robots.txt 始终允许访问。

示例

使用 User-agent: *、Allow: /p 和 Disallow: / 时，URL /page 是允许的：两条规则都匹配，但 /p 比 / 更长。使用 Disallow: /*.php$ 时，/filename.php 被屏蔽而 /filename.php?parameters 被允许，因为 $ 要求 URL 到此结束。