robots.txt テスター（RFC 9309）

robots.txt の誤った位置のルール 1 つで、サイト全体が検索エンジンから見えなくなったり、管理画面がクロール可能になったりすることがあります。このテスターは、RFC 9309 と Google の説明どおりに robots.txt を URL の一覧に適用します。指定したクローラーのグループを選び（重複するグループは統合し、* にフォールバック）、* と $ のワイルドカードを使って最も長く一致する Allow または Disallow のルールを探し、決め手になった行とともに許可かブロックかを報告します。クローラーが無視する行にも印を付けます。

使い方

1. robots.txt の内容を貼り付けます。
2. 確認したい URL またはパスを 1 行に 1 つずつ入力します。
3. Googlebot、Bingbot、Applebot などのクローラートークンを入力します。
4. 各結果とその根拠のルールを確認し、警告があれば修正します。

計算式

Group: the one whose user-agent equals the crawler token (case-insensitive), else *. Rule: among Allow and Disallow paths that match the start of the URL path, the longest wins; on a tie, Allow wins.

* は任意の文字の並びに、末尾の $ は「URL の終わり」を意味します。パスにはクエリ文字列も含まれます。ASCII 以外の文字はパーセントエンコードして比較し、通常の英数字のエスケープは先にデコードされます（RFC 9309 §2.2.2）。/robots.txt は常に許可されます。

計算例

User-agent: *、Allow: /p、Disallow: / の場合、URL /page は許可です。どちらのルールも一致しますが、/p は / より長いためです。Disallow: /*.php$ なら /filename.php はブロックされ、/filename.php?parameters は許可されます。$ は URL がそこで終わることを要求するからです。