robots.txt 生成

robots.txt は、ウェブクローラーにサイトのどの部分をリクエストしてよいかを伝えるファイルです。この生成ツールは、Robots Exclusion Protocol（RFC 9309）に沿った有効なファイルを作成します。既定の許可・ブロックのポリシーを決め、特定の検索エンジンや、データセットやチャットアシスタント向けにページを集めるクローラーをブロックし、crawl-delay とサイトマップの URL を追加できます。処理はブラウザー内で行われます。

使い方

1. 既定ですべて許可するか、すべてブロックするかを選ぶか、パスを個別に指定します。
2. 必要に応じて、特定の検索エンジン、データセット収集クローラー、チャットアシスタントのクローラーをブロックします。
3. crawl-delay とサイトマップの URL を追加します。
4. ファイルをサイトのルートに /robots.txt として配置します。

計算式

各グループは User-agent 行で始まり、その後に Allow と Disallow のルールが続きます。"Disallow: /" はすべてをブロックし、空の "Disallow:" はすべてを許可します。Sitemap 行は全体に有効で、絶対 URL を使います。

計算例

すべてをブロックするポリシーでは、次の内容がそのまま作られます。

**User-agent: *
Disallow: /**

すべてのクローラーに、サイト全体に入らないよう伝える内容です。