クローラーとは？検索エンジンが巡回する仕組みを解説

「クローラー」とは、インターネット上の情報を自動的に集め、データベース化するプログラムのことです。這い回るという意味の【crawl】から名称されており、「ボット」や「スパイダー」などとも呼ばれることもあります。

クローラーは、WEBサイトやWEBページの情報を収集するために使用されます。

具体的には、クローラーがWEBサイトのリンクをたどって新しいURLを発見します。ページの情報を取得して、取得した情報は、検索エンジンのデータベースに保存されインデックスされます。

ここまでを自動でおこなうプログラムの総称がクローラーになります。

このようにクローラーが自動でWEBサイトを巡回し、WEBサイトのデータを収集する検索エンジンを「ロボット型検索エンジン」と言います。

日本でロボット型検索エンジンで利用者が最も多いのは、Google検索エンジンです。
そのため、日本でクローラーと言えば一般的には「Googleのクローラー」を指します。

Googleのクローラーは、Googlebotと呼ばれています。

Googlebotは、検索結果に表示させるWebページの情報を収集するために、Webサイトを定期的に巡回して、Webサイトの「HTML」「CSS」「JavaScript」などのコードを解析し、ページ上のテキスト、画像、リンク、メタデータなどを取得します。

GooglebotはWebサイトの情報を取得する際に、様々な技術を使用しています。
例えば、

• Webページのコンテンツやサイトの構造を分析して、ページのテーマや内容を判断する
• ページの表示速度や表示のズレ・構造化データの使用・重複コンテンツを判断する

など、Googlebotはこのような詳細な情報を取得することができるため、ユーザーが検索した際に膨大なデータから最適なページを選別し、最も検索クエリと関連性が高いぺ―ジを検索結果に表示させることができます。

また、Googleから公開されているクローラーはGooglebot以外にも「画像用：Googlebot-Image」「ニュース用・Googlebot-News」等、収集する対象に応じて複数のクローラーをGoogleは用意しています。

クローラーはそれぞれの検索エンジンごとに開発・運用をおこなっているため、Google以外にもクローラーの種類は複数あります。

▼ Google以外のクローラーは以下になります。

• Bingbot（マイクロソフト社の検索エンジンBing）
• Baiduspider（百度）
• Yahoo Slurp（日本以外のYahoo!）
• Yetibot（Naver）
• ManifoldCF（Apache）
• AppleBot（Apple）

検索エンジンごとにクローラーもそれぞれありますが、YahooもGoogleの検索エンジンを使っていることもあり、Googleの検索エンジンが世界一です。

日本のシェアも80％以上あることから、クローラーに対する対策に関しては、Googlebot向けであることがほとんどです。

Googleのクローラーが取得するファイルはHTMLのファイルだけではありません。
検索結果に表示されることが多くなった動画、画像なども取得対象となっています。

クローラが実際に読み取るファイルの一覧は以下になります。

・HTML
・画像 (Google で取得可能な画像ファイル形式BMP、GIF、JPEG、PNG、WebP、SVG )
・動画 (Google で取得可能な動画ファイル形式: 3GP、3G2、ASF、AVI、DivX、M2V、M3U、M3U8、M4V、MKV、MOV、MP4、MPEG、OGV、QVT、RAM、RM、VOB、WebM、WMV、XAP)
・JavaScript
 ・CSS
・PDF
・その他の XML - XML をベースとした RSS、KML などの形式を含まない XML ファイル
・JSON
・シンジケーション - RSS フィードまたは Atom フィード
 ・音声
・地理データ - KML または他の地理データ。
・その他のファイル形式 - ここに記載されていないその他のファイル形式。
・不明（失敗） - リクエストが失敗した場合、ファイル形式は不明となります。

クロールの統計情報レポート - Google Search Console ヘルプ

このように、HTML以外にも多くの情報をクローラーは取得しています。
動画や画像などもクローリングしてもらいたい場合は、ファイル形式を間違えないように記述しましょう。

クローラーは、インターネット上にある膨大な数のWEBページをリンクを辿って巡回し、自動で新しいURLを発見します。

発見されたURLはクローラーによって解析され、ページの内容にガイドライン違反やnoindexの記述が無ければ、Googleのデータベースに登録をおこない検索結果に表示させます。

クローラーがサイトを巡回しなければ検索結果にインデックスされることはありません。
そのため、クローラーの仕組みを理解することはWEBサイトを運用する上で重要です。

次の項目でクローラーがインデックスするまでの仕組みを詳しく解説します。

Googleクローラーが、WEBサイトやぺージを発見してからインデックスするまでにどのような過程があるのか説明します。

クローラーがインデックスするまでの基本的な順序は、

1. URLの発見
2. クロールキュー（検出）
3. クロール
4. レンダリング
5. インデックス

です。

それぞれ詳しく説明します。

クローラーがWEBサイト上の「内部リンク」「外部リンク」を辿り、新しいURLを検出します。その際に「href属性」に記述されたURLを読み込み、データベースに存在していないURLがあるか無いかを判断します。

内部リンク・外部リンク以外にも、サーチコンソールの「URL検査」から申請されたインデックス登録リクエストや「XMLサイトマップ」を送信することでURLを検出します。

【参考記事】

【参考記事】

クローラーが新しいURLを発見すると、発見したURLをクロール待ちのリストに追加します。
これをクロールキューと言います。

クローラーはクロールキューに追加されたURLの中から、優先度が高いURLから順にクロールをおこないます。

ページ数が100,000を超えるような大規模サイトの場合などは、全てのページをクロールできない可能性があるため、優先的にクロールしてもらいたいページにクローラーが巡回するように調整する必要があります。

クロールの項目では、Googlebotは主に以下2つの動作をおこないます。

• robots.txtでクロールが許可されているかの確認
• href属性を検出し新しいURLをクロールキューに追加する

具体的に説明します。

クロールキューからクロールに移行した際に一番最初に、robots.txtファイルを読み込んでGooglebotのクロールが許可されているかどうかを確認します。

robots.txt内のdisallowでGooglebotのクロールが許可されていない場合は、クロールをせずに別のURLのクロールに進みます。

クロールが許可されている場合、Googlebotは次にHTML内から、「href属性」から始まる他ページのURLを検出しクロールキューに追加します。

この時にクローラーに他ページのURLを検出させないようにするにはnofollowタグを使用します。

レンダリングの項目では主に以下の動作をおこないます。

• noindexタグが設定されているかどうかの確認
• htmlを分析してCSSやJavaScriptをブラウザでの表示内容に変換します。

具体的に説明します。

クロール後に、Googlebotはnoindexタグによりページのインデックスを拒否していないかどうかを確認します。

インデックスが許可されている場合、ページのソースコードを読み取りHTML・CSSを構築して「実際にユーザーが見るブラウザ上の画面での表示内容に変換し、問題が無いか確認します。」

これをレンダリングと言います。

レンダリングされたページがGooglebotからどのように見えているかは、サーチコンソールの「URL検索」からライブテストをおこなうことで確認できます。

クロール・レンダリングの順序を経て、検索エンジンのデータベースにWEBページが保存されて、ようやく検索結果に表示されるようになります。検索エンジンのデータベースに保存されることを「インデックス」されると言います。

インデックス登録時に、titleタグやhタグ・altタグの読み込みやテキストの読み込みをおこないます。
また、重複ページ・正規ページの確認作業を得て問題が無い場合、インデックス登録され検索結果に表示されます。

せっかくページを作成しても、クローラーに認識されなければインデックス化されないため、検索結果に表示されることもありません。

では、クローラーは新しいURLをどのように発見しているのかご説明します。

クローラーは、ページ内の内部リンクと外部リンクを辿って新しいURLを発見します。

具体的には、Googlebotがページをクロ―リングする際に「href属性」に記述されたURLを読み込み、データベースに存在していないURLがあるか無いかを判断します。

そのため、サイト内に新しいURLを追加した場合は、既にクロール対象となっているURLからの内部リンクを設置することで、クローラーに新しいURLを発見してもらうことができます。

ただし、クローラーが内部リンクもしくは、外部リンクを設置したページを巡回しないと新しいURLを発見できないため、いつ発見して貰うことができるのかはGoogle次第となります。

サーチコンソールの「URL検査ツール」から「インデックス登録リクエスト」をおこなうことでクローラーは新しいURLを発見することができます。

URL検査ツールはURLのインデックス状況を確認するツールですが、インデックス登録をリクエストされた場合、GooglebotはリクエストされたURLをクローキューに追加し、クロール・インデックスをおこなう準備をします。

この過程で新しいURLを発見します。

新しくサイトを立ち上げた場合や、新たにぺージ追加したが既存のページからの内部リンクが無い場合などは、この方法を使ってクローラーに新しいURLを発見してもらいましょう。

▼ URL検索ツールの使い方は別記事にて詳しく解説しています。

【参考記事】

XMLサイトマップを送信することで、サイトの構造やサイト内のURLをクローラーに伝えることができます。

そのため、XMLサイトマップに新しいURLが記述されている場合、クローラーは新しいURLを発見することができます。

XMLサイトマップに新しいURLを記述していない場合は、サーチコンソールからXMLサイトマップを送信して新しいURLは発見して貰えません。

URL検査は個別にURLを送信する必要がありますが、XMLサイトマップであれば一括で複数のURLを送信することができるため、新規でサイトを立ち上げた場合や、リニューアルで新しいページを大量に作った場合はこちらの方法を利用しましょう。

▼ XMLサイトマップについては別記事で詳しく解説しています。

【参考記事】

クローラーが巡回したページを確認するには、サーチコンソールを使って確認する必要があります。

サーチコンソールを使うことで、巡回したページの情報以外にも「いつクロールしたのか」「クロールした結果どのように処理されたのか」など、クロールについて詳細なデータを知ることができます。

それでは、サーチコンソールを使ってクローラーが巡回したページを確認する方法を紹介します。

「URL検索ツール」は指定したURLをクローラーが巡回したかどうかを確認することができます。

▼ 確認手順は以下になります。

1. サーチコンソールにログイン
2. メニューから「URL検索」をクリック
3. 上部の検索窓に確認したいURLを入力
4. 画面上に表示された「ページのインデックス登録」をクリック
5. 展開されるのでステータスを確認する。

ステータスを確認することで、クローラーが巡回した日付や参照元となったURLを確認することができます。

「インデックス作成レポ―ト」は本来、インデックスの状況を確認する項目ですが、「インデックスされている＝クローラーが巡回している」となるため、このレポ―トからもクローラーが巡回したページを確認することができます。

▼ 手順は以下になります。

1. メニューからインデックス作成をクリック
2. 「インデックスに登録済みのページのデータを表示」をクリックするとクロール・インデックス済みのURLを確認できます。

「ページがインデックスに登録されなかった理由」に表示されている項目に関しても、クロ―ラ―は巡回していますが、何らかの理由でインデックスされなかったURLとなります。

ただし、「検出 - インデックス未登録」に表示されたURLはクロールされていないURLです。

robots.txt を使用することで、検索エンジンのクローラーからのアクセスを制御することができます。例えば、Googlebotからのクローリングだけを拒否したり、特定のURLのクローリングを拒否することができます。

▼ robots.txtでクローラーを拒否する書き方は以下になります。

• User-agent：Googlebot
• Disallow：/〇〇〇/

User-Agentには、拒否したいクローラーの記載をします。
Googlebotを拒否したい場合は上記のように記述します。「*（アスタリスク）」を記述すると全てのクローラーを拒否します。

Disallowにクロ―ラ―を拒否したいディレクトリ名を「〇〇〇」の部分に指定します。

※「/」だけを記述するとWEBサイト内の全てのURLを拒否します。
※指定したディレクトリ以下の全てのURLでクロ―ラ―を拒否します。

ページにパスワードをかけた場合、クローラーはページの中にアクセスすることができないため、ページ内をクロ―リングすることが出来ません。

具体的には、「.htaccess」を使いページをパスワードで保護することでクローリングを防ぎます。

パスワードでページを保護した場合、パスワードを知らないクローラーはページにアクセスすることができません。

そのため、Googlebotがぺージをクローリングすることができずインデックスを防ぐことができます。当然、パスワードを知らないユーザーにも、ページの中身を見られることはありません。

.htaccessでパスワードをかける方法が、クローラーにページ内容を読み込ませない方法として一番確実な方法となります。

パスワード制限をかける場合は、パスワードをかけたいディレクトリに「.htaccess」と「.htpassword」という2つのファイルを作成してアップロードします。

■「.htpassword」作成方法

.htaccessファイルには、以下4桁の内容を記述します。

■「.htpassword」作成方法

■作成したファイルのアップロード先

.htaccessと.htpasswordの2つのファイルをサーバーにアップロードします。
これで設定は完了です。

内部リンクや外部リンクを設置した際に、リンク先のページのクロ―リングを拒否する場合は、nofollowタグを利用します。

nofollowタグは「href属性」で指定したリンク先をクロールさせない命令文のため、nofollowタグに記述されたURLをクローラーは巡回しません。

リンク先のサイトと自分のサイトを関連付けたくない場合や、リンクジュースを渡しくない場合などに使用します。

▼ nofollowについては別記事で詳しく解説しています。

【参考記事】

そもそもクロール頻度とはどのような意味なのか？
2つの意味があり、クロール巡回頻度とクロール速度があります。

1. クロール巡回頻度

Googleのクローラーがサイトにやってくる頻度で、一般的にクロール頻度の意味合いはこちらになります。クロール頻度はGoogleがサイトごとに自動的に決定するため、クローラーの巡回頻度はURLによって大きく異なります。

2. クロール速度

クロール速度とは、Googlebotがクロールする際にリクエストを送信する1秒あたりの回数です。Googleサーチコンソールで使われる意味で、クロール頻度設定ページで設定ができるようになっています。

クローラーの巡回頻度は、サイト側から指定することはできませんが高める方法はあります。
本章では、クロールの巡回頻度を高めるための方法についてご説明します。

低品質なページが多いサイトはクローラーの巡回頻度が低下します。

低品質なページとは「他社のページと類似している」「内容が薄く専門的ではない」「広告のバナーが多い」などユーザーにとって役に立たない可能性が高いぺ―ジを指します。

このような価値の低いページが多い場合は、サイト全体のクロール頻度の低下に繋がります。
低品質なぺージに該当する場合は、ページのリライトや削除をおこないサイト全体の品質を高めましょう。

重複コンテンツとは、サイト内のぺージ同士で内容が重複しているコンテンツのことです。

例えば、自社サイト内に似たような内容のページが存在したり、URLの正規化がされておらず、同一の内容のページが複数存在したりすると、重複コンテンツと判断される可能性があります。

当然、重複コンテンツとみなされると低品質のサイトと判断されてクロール巡回頻度が少なくなります。さらにクロール巡回頻度が悪くなるだけでなく、ペナルティの対象になる場合もあるので注意が必要です。

URLを正規化されていない場合は、クロ―ル対象のURLが多くなるためクローラーの巡回頻度が低下する可能性があります。

URLの正規化とは、同じ内容のページで「http,httpsが存在する」「wwwの有無が存在する」「index.htmlの有無が存在する」場合に1つのURLに統合することを指します。

URLの正規化をおこなうことでクロール対象となるページが少なくなり、Googleが評価するページも正規化されたURLの1つとなるためSEO効果も高まります。

URLの正規化が出来ていない場合は、重複ページと判断される可能性もあるため、正規化をまだおこなっていない場合は早急に対応しましょう。

▼ URLの正規化については別の記事で詳しく解説しているのでご確認ください。

【参考記事】

リンク切れが多く発生してるサイトの場合、クロール頻度が低下する可能性があります。

クローラーはページをクロ―リングするたびに、リンクを辿って新しいURLを探すため、リンク切れが多い場合は、巡回効率が悪くなってしまいます。

リンク切れが多くある場合は、クロール頻度だけでなくユーザビリティの低下にも繋がるため改善をおこないましょう。

リンク切れを確認するには無料で使えるリンクチェッカーを使うと手間なく確認することができます。

robots.txtは検索エンジンのクローラーに対して巡回して良いURLかどうかの許可を出すことができるので、インデックスさせる必要が無いページに関してはrobots.txtでクロールをブロックします。ブロックすることで、クローラーの巡回が必要なページだけに制御することができます。

10万ページを超える大規模なサイトの場合は、全てのページがクロールされる訳ではないため、不要なページへのクロールを制御して重要なぺ―ジへのクロール頻度を高めましょう。

契約しているサーバーのプランが低く、高負荷に対応していない場合クロールの巡回頻度が低下する可能性があります。

Googleはクロールにより、サーバーに負荷をかけていると判断した場合は敢えてクロール頻度を下げることがあります。

この場合、サーバーのプランを上げるなどしてサーバーを強化することで、サーバーの応答速度が高まり改善されます。

サーバーに負荷がかかっている場合は、クロール頻度を制限することもできますが新しいページがインデックスされる速度も遅くなるため、基本的にはサーバーを強化して対応しましょう。

クロール頻度を調整しないといけないケースがあります。サイト運営者は基本的にクロール頻度を高めるようと試行錯誤しますが、クロール頻度が増加することで、Googleのクロールによるアクセスが原因でサーバーに負荷がかかることがあります。

その際は、クロールの頻度を制御してサーバーへの負荷を軽減する必要があります。クロール頻度の調節は、サーチコンソールから設定することが可能です。

次の項目で詳しく解説します。

クロール頻度を制御する際はGoogleサーチコンソールのから申請を行うことができます。

手順としては、

1. プロパティのクロール頻度設定ページをページを開く
2. デフォルトの設定では「Googleが最適化を行う設定」となっている
3. 「Googleの最大クロール頻度を制限する」にチェックする。

新たに設定したクロール頻度は、数日以内に反映されて90日間有効です。

注意点としては、このページからクロール頻度の調整をする場合、クロール頻度を減らすことはできても、クロールの頻度を増やすことはできません。

何か理由があってクロール頻度を減らしたい場合にのみ利用しましょう。

クローラーについてよくある質問をまとめました。

今回は、クローラーについて解説しました。クローラーによるページの巡回がされなければ、インデックスされずページが検索結果に表示されません。

クローラーの仕組みと役割を正しく理解することで、インデックスがされない原因と改善策を考えることができるようになるため、クローラーについて知ることはサイトを運営する上では重要な意味を持ちます。

特にSEO対策をおこなう場合や、大規模サイトを運用する場合は、クロールをコントロールする必要があるため、本記事でしっかりとクローラーについて覚えておくようにしましょう。