SEO World

検索ボタン 検索閉じるボタン

2019.03.05

【旧サーチコンソール】robots.txtテスターの使い方をわかりやすく解説


Googleのロボット型検索エンジンは、リンクを辿ってWEBサイトをクロールしインデックス(データベースに情報を登録)していきます。
しかし中には、公開はしているけど検索エンジンにインデックスされたくないといったケースもあるため、そのような時は「robots.txt(ロボッツ・テキスト)」を使用し、検索エンジンに対して特定のページをクロールしないように指示できます。

今回は、クロールの最適化に欠かせないrobots.txtに記述する構文や、文法が間違っていないかを確かめたり、正しく動作しているかどうかを確かめたりできるGoogleサーチコンソールの「robots.txtテスター」の使い方をわかりやすく解説します。

▼目次

1.Googleサーチコンソールの「robots.txtテスター」とは?

「robots.txtテスター」は、Googleサーチコンソールに含まれる機能の一つです。
robots.txtテスターを使うと、robots.txtを使用している場合に検索エンジンのクローラーのアクセスが正しく制御されているかどうかを確認できます。

特定のページがクロールされないように指示できるrobots.txtですが、構文ミスや記述の誤りがあると、WEBサイト全体、あるいは必要なページがインデックスされなくなる、重要なページが検索結果に表示されなくなるなど、致命的な問題につながりかねません。

このような致命的なミスを回避するためにも、robots.txtに記載されている内容や文法に誤りがないかをrobots.txtテスターで必ずチェックして、WEBサイトやページを効率的にインデックスさせていきましょう。

1-1.robots.txtテスターの3つの機能

robots.txtファイルを作成した際に、決まった構文通りに書かないと検索エンジンのクローラーは理解してくれません。そのような時に積極的に使いたいツールがrobots.txtテスターであり、robots.txtファイルの編集に大いに役立つ以下のような機能を使用できます。
 

・robots.txtの構文エラー確認
・robots.txtの動作テスト
・robots.txtの更新をGoogleに送信


これら3つの機能は、robots.txtファイルを作成する時や修正する時に活用できます。
基本的な使い方は、次の章で紹介します。

2.robots.txtテスターの基本的な使い方

robots.txtは、「質の低いページをインデックスされないようにしたい」、「意図したページへのクロール数を増やしたい」、「特定のページを限られた人にだけ公開したい」、といったときに使用します。

robots.txtテスター画面の確認方法は、以下のとおりです。
※クロールの統計情報を使用するにはGoogleサーチコンソールへの登録が必要です。
参考:「【Googleサーチコンソール】使い方や登録方法をイラスト付きで完全解説」

Googleサーチコンソールにログイン
② 該当するWEBサイトURL(プロパティ)を選択
③ ダッシュボード内の【クロール】をクリック
④【robots.txtテスター】をクリックしてrobots.txtテスター画面を開く
robots.txtテスター画面を開いたら、次はrobots.txtテスターの3つの機能の使い方をそれぞれ見てみましょう。

2-1.robots.txtを使った構文エラーの確認方法

robots.txtテスター画面を開くと、すでに公開していてGoogleがクロール済みのrobots.txtの内容が表示されます。

構文エラーがある場合は、この画面の下に

赤字で「エラー数:」
橙色で「警告数:」

が表示され、誤りがある構文の横にエラーマークがつきます。

robots.txtテスターは、人間の目ではなかなか見つけづらい構文のミスをエラーで表示して教えてくれますが、URLの記述ミスまでは検知できないため細心の注意を払いながら入力しましょう。

例えば、robots.txtテスターを使うと以下のような記述ミスを指摘してくれます。

(正)Disallow: /wp/wp-admin/
(誤)Disalow: /wp/wp-admin/

クローラーのアクセスを制御するための「Disallow:」という記述を、「Disalow」とスペルミスをしているため構文エラーが表示されてしまっています。

また、構文エラーの他、正しい構文でない場合は警告が表示されます。警告マークにカーソルを合わせると、警告が表示される原因を具体的に指摘してくれるメッセージが表示されます。

2-2.robots.txtを使った動作テストの方法

この機能では、追加したrobots.txtファイルの構文が問題なく機能しているかどうか、つまり特定のURLへのクロールの制御が正しく行われているかを確認できます。

① フォームにURLの一部を入力する
robots.txtテスター画面の下部に、次のメッセージが表示されたフォームがあります。
“URLがブロックされているかどうかをテストするには、URLを入力してください”
ここに、動作テストをしたいURLのドメイン以下の部分(相対パス)を入力します。

②「テスト」をクリック
フォームに入力したら「テスト」をクリックします。
※フォーム横にある項目はクロールロボットの種類です。デフォルトでは、GoogleのクロールロボットであるGooglebotが選択されています。

③ メッセージを確認する
・ブロック済みの場合:赤字で「ブロック済み」というメッセージが表示されます。
・ブロックされていない場合:緑字で「許可済み」というメッセージが表示されます。

robots.txtの内容だけで確認するよりも、動作テストの機能を使ったほうが特定のURLがブロックされていることを目視で確認できるため便利です。

2-3.robots.txtを使った送信方法

robots.txtテスターには編集画面がありますが、robots.txtの内容を更新した場合やフォルダを追加した場合は、以下の手順に沿ってrobots.txtファイルの更新内容をGoogleに伝える必要があります。

①「送信ボタン」をクリック
robots.txt画面で検証や編集が完了したら、編集画面の右下にある「送信」ボタンをクリックします。

②「ダウンロード」をクリック
「更新されたコードをダウンロード」の横にある「ダウンロード」ボタンをクリックすると、編集したrobots.txtがエディタからダウンロードされて、PC上にファイルとして保存されます。

③ 保存したrobots.txtファイルをアップロードする
保存したrobots.txtファイルをドメインのルートにアップロードします。サーバーによってアップロードをする場所が異なるため、不明な場合はサーバー会社に問い合わせましょう。

④「アップロードされたバージョンを確認」をクリック
robots.txtファイルをアップロードしたら、「アップロードされたバージョンを確認」をクリックして、更新されたrobots.txtが公開されているかを確認します。

⑤「送信」をクリック
アップロードされたバージョンを確認して問題がなければ、「Googleに更新をリクエスト」の横にある「送信」をクリックして、robots.txtの内容が更新されたことをGoogleに知らせるためにリクエストを送信します。
ここまでの更新処理が完了すると、最新のrobots.txt情報がGoogleに伝わるようになっています。


robots.txtを作成するということは、特定のページへのアクセスを制御し、重要なコンテンツに対してクロールを集中させるなど、クロールを最適化するという効果をもたらします。
しかしながら、robots.txtの構文エラーは人間の目だけでは気づかないことが多いため、問題なく設定されているかどうかを確認するためにも、今回紹介した「robots.txtテスター」を積極的に活用していきましょう。

正しいrobots.txtを設定することでクロールを最適化できれば、不要なページへのクロール回数を減らし、重要なページへのクロール数を意図的に増やせるなど、SEOを改善させるためにも非常に効果的です。

以上、Googleサーチコンソールの「robots.txtテスター」の機能や使い方についての解説でした。