Robots.txtジェネレーター
クローラーの許可やブロック、パスのクロール拒否、サイトマップの一覧表示を設定したrobots.txtファイルを作成できます。AI学習用クローラーやAI検索ボットのブロックにも対応し、コピーまたはダウンロードできます。
入力
出力
Readme
robots.txt とは?
robots.txt ファイルは、https://example.com/robots.txt のようにウェブサイトのルートに置かれ、クローラーが取得してよいページを指定します。検索エンジンなどの適切に動作するボットは、サイトをクロールする前にこのファイルを読み取ります。これはアクセス制御ではありません。誰でもページを開くことができ、このファイルを無視するボットを止めることもできません。
使い方
- すべてのクローラー: 「すべて許可」または「すべてブロック」を選択します。「すべて許可」の場合は、「許可しないパス」に、クローラーにアクセスさせたくないパスを1行ずつ入力します(例: /admin/、/cart)。「許可するパス」を指定すると、その中のパスへのアクセスを再び許可できます(例: /admin/help/)。「すべてブロック」の場合、クローラーがアクセスできるのは「許可するパス」に指定した場所だけです。
- AI クローラー: 2つのチェックボックスで、AI クローラーをサイト全体から締め出すグループを追加できます(下記参照)。
- その他: クロール遅延を設定すると、クローラーは指定した秒数だけリクエストの間隔を空けます。Bing と Yandex はこの設定に従いますが、Google は無視します。サイトマップ URL には、https://example.com/sitemap.xml のようにサイトマップの完全な URL を指定します。
入力するとファイルが更新されます。コピーするか、robots.txt をダウンロードしてサイトのルートフォルダーにアップロードしてください。
パスの書き方
- パスはスラッシュで始まり、そのパスで始まるすべてのアドレスに一致します。/admin は /admin、/admin/、/administrator に一致しますが、/admin/ はそのフォルダーとその中身だけに一致します。
- アスタリスクは任意の文字列に一致し、ドル記号はアドレスの末尾を示します。そのため、/*.pdf$ はすべての PDF ファイルに一致します。Google、Bing、その他の主要なクローラーのほとんどは、どちらも認識します。
- パスでは大文字と小文字が区別されます。/Admin/ と /admin/ は異なるパスです。
- パスではない行はファイルから除外され、その上に一覧表示されるため、修正できます。
ルールの適用方法
クローラーは、自身の名前が最も具体的に指定されているグループに従い、そのグループのルールだけを適用します。AI グループのいずれかに記載されたクローラーは、すべてのクローラー向けのルールを無視し、完全に締め出されます。グループ内では、一致するパスのうち最も長いものが優先されるため、Allow: /admin/help/ は Disallow: /admin/ の中にあるそのフォルダーへのアクセスを許可します。このジェネレーターは Allow の行を Disallow の行より先に記述します。最初に一致したルールを適用する古いクローラーでも、同じ結果になります。
AI クローラーをブロックする
AI 学習用クローラーをブロックすると、AI モデルの学習用にページを収集するクローラーを締め出します。対象は GPTBot(OpenAI)、ClaudeBot(Anthropic)、Google-Extended(Google における Gemini の学習とグラウンディング。Google 検索には影響しません)、Applebot-Extended(Apple の AI モデル。Apple の検索には影響しません)、CCBot(Common Crawl。多くの AI モデルの学習に使われる公開データセット)、meta-externalagent(Meta)、Amazonbot(Amazon)です。
AI 検索・アシスタントのボットをブロックすると、AI 検索結果や、利用者の質問に答えるアシスタントのためにページを読み取るボットを締め出します。対象は OAI-SearchBot と ChatGPT-User(OpenAI)、Claude-SearchBot と Claude-User(Anthropic)、PerplexityBot と Perplexity-User(Perplexity)、meta-webindexer と meta-externalfetcher(Meta)、Amzn-SearchBot と Amzn-User(Amazon)です。これらをブロックすると、ページがそれらの AI の回答や回答内のリンクに表示されなくなる可能性があります。人からのリクエストを受けてページを取得するボットは、robots.txt に従わない場合があると、その運営元は説明しています。
各名称は、各運営元が robots.txt 用に文書化している user-agent token です。
例
/admin/ を許可せず、/admin/help/ を許可し、AI 学習用クローラーをブロックしてサイトマップを指定した場合、ファイルは次のようになります。
User-agent: *
Allow: /admin/help/
Disallow: /admin/
# AI training crawlers
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /
Sitemap: https://example.com/sitemap.xml機能
- すべてのクローラーを許可またはブロックし、許可しないパスと許可するパスを指定
- 文書化されている名称を使って、AI 学習用クローラーまたは AI 検索・アシスタントのボットをブロック
- クロール遅延とサイトマップの設定
- 無効なパスとアドレスを検出して表示
- robots.txt をコピーまたはダウンロード