クローラーとは

作成日(公開日):
最終更新日:
クローラーとは

SEOでよく用いられる単語の中から、今回は「クローラー」の意味やクローラビリティを改善する方法について解説します。

1.

クローラーとは?

「クローラー」とは、GoogleYahoo!などのロボット型検索エンジンがWEB上の情報を周期的に集め、自動的にデータベース化するプログラムのことです。スパイダーやロボットなどとも呼びます。

1-1.

クローラーの種類

WEB上のあらゆる情報を収集してできたデータはインデックス化され、巨大な検索データベースを作成します。Googleから公開されているクローラーとして、WEB用はGooglebot、画像用はGooglebot-Image、ニュース用はGooglebot-News、モバイル用はGoogle-Mobile等、様々な種類のクローラーが存在します。

1-2.

クローラーに認識されることが重要

せっかくページを作成しても、クローラーに認識されなければインデックス化されないため、検索結果に表示されることもありません。

全てのページに対してクローラーが巡回(クロール)されるという訳ではないため、できるだけ早くクローラーに認識されるための工夫が必要です。このような工夫自体がSEOであり、次に紹介する「クローラビリティを改善する方法」も大切な施策の一つです。

2.

クローラビリティを改善する方法

クローラーにページを早く正確に認識されることは、サイトの検索順位を上げるためにも大切です。クローラーの巡回のしやすさを「クローラビリティ」といいます。クローラビリティを改善しクローラーができるだけ効率よく巡回しやすくするための工夫は、SEOをする上で欠かすことのできない施策の一つです。

クローラーの巡回頻度や1度に巡回して読み込むページの量も、検索結果の順位に影響を及ぼすと考えられています。なので、クローラーの状況を知ることは大切なSEO施策となります。

ページがクローラーに巡回されているかどうかは、Googleサーチコンソールで確認することができます。

2-1.

ディレクトリ構造をまとめる

似ているテーマや近い内容のコンテンツは同一のディレクトリにまとめるとサイト構造がより分かりやすくなり、クローラーがコンテンツの重要性を理解できるようになります。

2-2.

ページにリンクを張る

クローラーがページを巡回する際はリンクを辿って情報を読み込みます。また1度に収集する情報量(ページ数)もリンク構造によって増減があります。そのため、ページを認識しやすくするために各ページにリンクを張る他、階層に注意して1~2回クリックしただけで目的のページに到達できるようにリンクを張ります。

2-3.

パンくずリストを設置する

ユーザーがどの階層にいるのかわかりやすくするために、ページを階層順にリストアップして設置するリストのことをパンくずリストといいます。パンくずリストを設置すると内部リンクが増えるためクローラーがサイト構造を理解しやすくなります。

2-4.

Fetch as Googleを使う

インデクッスを促進させるためにも、GoogleサーチコンソールのFetch as Googleを使います。インデックスリクエストを行うと、新規サイトや新たに投稿したページに対してクローラーの巡回を促すことができ、早い段階でインデックス化されるといった効果が期待できます。


クローラーによるページの巡回がなされなければインデックス化されません。SEOの効果を高めて検索順位を向上させるためにも、新規で投稿したページをクローラーにより多く巡回してもらう必要があります。


この記事をシェアする