てもとツール

robots.txtテスター｜URLがクロールでブロックされるかを行番号つきで確かめる

貼り付けた robots.txt を RFC 9309 の規則で読み、クローラーごとに URL を取りに行ってよいかを判定します。決め手になった行、読まれていない行、日本語のパスの照合まで表示します。

ブラウザ内処理 公開

ブラウザで https://（サイト）/robots.txt を開き、表示された中身を貼り付けてください。このツールからサイトへは取りに行きません。

* は「名前で指定されていないクローラー」として判定します。画像用などのクローラーが別の名前の組に従うかは、クローラーごとの仕様なので判定しません。

既定は RFC 9309 の読み方です。Google が公開しているパーサーは、「Disallow /x」「Disalow」や「*」で始まる値も規則として読みます。

robots.txt を貼り付けてください

調べる URL を入れると、クローラーごとに取りに行ってよいかを判定します。

このツールについて

使い方・特徴・補足情報

robots.txtテスターとは

robots.txtテスターは、貼り付けた robots.txt がどの URL をブロックするかを確かめるツールです。 サイトから取りに行かず、貼り付けた文字列だけで判定します。

クローラーの名前と URL を複数並べると、掛け合わせの表が出ます。 URL ごとに、決め手になった行の番号と中身を示します。

全角のコロンや、最初の User-agent より前の規則など、読まれていない行も名指しします。 日本語のパスは、エンコード済みの URL とそろえてから比べます。

こんな人におすすめ

サイトやブログを運営する人

楽になること

robots.txt の効き方の確認作業

避けたい手間

ブロックのつもりの行が効いていないこと

解決できる困りごと

  • Disallow と Allow が重なったときに、どちらが勝つかを頭の中で数える手間が減ります
  • Search Console の旧テスターが使えなくなったあとも、公開前の robots.txt を手元で確かめられます
  • 全角のコロンや全角スペースのせいで、効いていない行に気づかないまま公開するのを防げます
  • Googlebot だけの組を足したとき、* の組の規則が効かなくなる取り違えに気づけます
  • 日本語のパスを書いた規則が、エンコードされた URL に当たるかを 1 件ずつ試さずに済みます

使い方

  1. robots.txt の中身を上の欄に貼り付けます
  2. クローラーの名前を入れるか、候補のボタンで足します
  3. 調べたい URL を 1 行に 1 つずつ入れます
  4. 表の判定と決め手の行を読み、「詳しく」で一致した規則をすべて確かめます
  5. 下の「行の指摘」で、読まれていない行が無いかを見ます

使用例

管理画面の中の公開ページだけ開ける

Disallow と Allow の両方が一致しても、長いほうの Allow が勝つ点に注目してください。

入力

User-agent: *
Disallow: /admin/
Allow: /admin/public/

URL: /admin/public/help

出力

クロール可
決め手: 3 行目 Allow: /admin/public/
一致した規則: Allow: /admin/public/（長さ 14）/ Disallow: /admin/（長さ 7）

Googlebot の組を足したら * の規則が効かない

名前が一致する組があると、その組だけを使います。* の組の Disallow は Googlebot には効きません。

入力

User-agent: *
Disallow: /private/

User-agent: Googlebot
Disallow: /search

クローラー: Googlebot / URL: /private/a

出力

クロール可（Googlebot の組を使い、* の組は使わない）
一致する規則なし

全角のコロンで書いた行

見た目は正しくても、区切りが全角だと行ごと読まれません。行の指摘に行番号つきで出ます。

入力

User-agent: *
Disallow：/private/

出力

2 行目: 区切りが全角の「：」なので、この行は読まれません
/private/a はクロール可

活用シーン

公開前に robots.txt を書き換える

新しい robots.txt を貼り、主要な URL を並べます。ブロックの予定どおりかを、置く前に表で確かめられます。

急にクロールされなくなった原因を探す

今の robots.txt と気になる URL を入れます。決め手の行番号が出るので、どの行が止めているかがすぐ分かります。

AI 用のクローラーだけを止めたい

GPTBot などの名前を足して、検索用のクローラーと並べて判定します。組を分けた書き方が狙いどおりかを比べます。

日本語のカテゴリ名を含む規則を試す

「/下書き/」のような規則と、ブラウザからコピーしたエンコード済みの URL をそのまま入れて照合します。

引き継いだサイトの設定を読む

前任者が書いた長い robots.txt でも、行の指摘で読まれていない行や重複した組がまとめて分かります。

技術的な解説

補足: 仕組み

判定は RFC 9309 の手順どおりです。 まず、クローラー名と一致する組を大文字小文字を区別せずに探し、無ければ * の組を使います。

次に、パスとクエリに一致した規則のうち、いちばん長いものを採ります。 長さは、日本語などを UTF-8 の %XX にそろえた後のオクテット数で数えます。

同じ長さの Allow と Disallow が並んだら Allow です。 照合は正規表現を使わず、* で区切った断片を前から順に探す方式で行います。

もっと詳しく

空行をはさんでも組が分かれないことがある

User-agent 行のあとに規則を 1 行も書かずに次の User-agent 行が来ると、2 つは同じ組になります。 あいだに空行があっても変わりません。

「Googlebot は許可、それ以外は禁止」のつもりで書いた行が、両方とも禁止になる形です。 本ツールは、この読み方になった行を「行の指摘」で知らせます。

Disallow と Allow の勝ち負けは長さで決まる

書いた順番は関係なく、一致した規則のうち文字数の多いほうが勝ちます。 /admin/ を閉じて /admin/public/ を開ける書き方が成り立つのはこのためです。

同じ長さなら Allow が勝ちます。 ワイルドカードの * や末尾の $ も 1 文字として数えます。

RFC 9309 と Google の公開パーサーの読み方の差

Google が公開しているパーサーは、コロンの抜けた行・Disallow のつづり違い・* で始まる値も読みます。 RFC 9309 の文法では、これらは規則になりません。

本ツールの既定は RFC 9309 の読み方で、差が出る行を名指しします。 チェックを入れると Google の公開パーサーと同じ読み方に切り替わります。

よくある質問

robots.txt でブロックすれば検索結果から消えますか？

消えるとは限りません。robots.txt が決めるのはクロールしてよいかだけです。

Google の説明では、ほかのページからリンクされていれば、ブロックした URL が説明文なしで表示されることがあります。

サイトの URL を入れて robots.txt を取得できますか？

取得はしません。入力した robots.txt は外部に送らず、ブラウザの中だけで判定します。

ブラウザで /robots.txt を開き、中身を貼り付けてください。

Googlebot-Image は Googlebot の組に従いますか？

本ツールは RFC 9309 どおり、名前が一致する組だけを探し、無ければ * の組を使います。

画像用などのクローラーが別名の組に従うかはクローラーごとの仕様なので、判定していません。

Crawl-delay を書いたのに判定に出ないのはなぜですか？

Crawl-delay は RFC 9309 の規則ではなく、Google も読まない欄と説明しています。本ツールでは「判定に使わない欄」として行の指摘に出します。

大文字と小文字は区別されますか？

パスは区別します。/Admin/ の規則は /admin/ に一致しません。

大文字小文字だけが違う規則があるときは、判定の詳細にその旨を添えます。

参考・出典

本ツールの計算式・判定基準は上記の公的機関・公式情報源を参考にしています。最新の情報は各リンク先をご確認ください。

関連記事

このツールの使い方や活用例をブログでも紹介しています。

関連ツール

同じカテゴリの他のツールも合わせてどうぞ。