robots.txtとは

作成日(公開日):
最終更新日:
robots.txtとは

SEOでよく用いられる単語の中から、今回は「robots.txt」の意味や効果、作り方について解説します。

1.

robots.txtの意味は?

「robots.txt(ロボッツ・テキスト)」とは、ロボット型の検索エンジンにWEBページをクロールされたくないときに記述するテキストファイルのことです。

検索エンジンは、ロボット型のクローラーというプログラムによりWEBサイトのページの情報やデータを集めています。クローラーにページが巡回されれば検索結果のインデックスに表示されるようになりますし、正しいSEO施策を続けることで検索順位が改善されやすくなります。

しかし中には、公開はしているけど検索エンジンにインデックスされたくないといった場合もあるため、そのような時にはrobots.txtを作成するのがベストです。robots.txtを作ることで、検索エンジンに特定のWEBページを登録されないように指示できるほか、WEBサーバー内をクローリングしないように要求を出すことができます。

2.

robots.txtを作成することによる効果

robots.txtを作成すると、公開はしているけど検索結果にインデックスはされたくない、といったページに対してクロールがされないように指示することができます。

必要以上にrobots.txtを作る必要はありませんが、SEO効果を高めやすくするためにrobots.txtを活用することができます。

2-1.

robots.txtを作ってクロールを最適化する

robots.txtを作ると必要のないページに対するクロール頻度が減り、その反対に重要なページに対するクロール頻度を増やすことができます。効率良くクロールがされれば意図したページに関する情報が読み取られやすくなり「クロールを最適化する」という効果をもたらすことができます。

公開されたWEBサイトやページの情報をロボット型のクローラーが巡回することで検索エンジンにインデックス(登録)されて、重要だと判断されたページは検索結果に優先的に表示されるようになります。
検索結果の順位をアップさせるためのSEO内部対策には、クロールの最適化という手法が含まれています。

3.

robots.txtの作り方について

ユーザーにとって価値のないページや広告がリンク先のページ、CMSシーエムエスで自動生成されたページなど、検索エンジンにクロールされたくないページがある場合はrobots.txtを作成してクロールされないように要求します。

robots.txtを使う際にはまず、「robots.txt」というファイルを作成します。作成したrobots.txtのファイルは、ドメインのルートディレクトリという箇所に設置します。サブディレクトリなどルートディレクトリ以外の場所に設置したとしても意味がありません。設置したあとは指定したページだけがrobots.txtで制御されていることを必ず確認するようにしましょう。

3-1.

robots.txtに記載すべき項目

robots.txtにはいくつか記載すべき項目があります。まず、「User-agent」を記述することで対象となるクローラーを指定することができます。一口にクローラーといっても、検索エンジンごとに独自のクローラーを使っているためです。

次に「Disallow」を使い、クロールされたくないページ(ファイルやディレクトリ)を指定することができます。「Allow」は、クロールされないようにする指示とは逆に、クロールされることを許可するページを指定できます。「Disallow」でブロックした中の一部を許可する時に使用します。

「Sitemap」は、WEBサイトの構成を伝えるためのサイトマップの場所を指定し、クローラーに積極的に巡回させるための記述です。

 


検索順位の改善を行うための施策であるSEOでは、ロボット型検索エンジンであるクローラーのページへの巡回頻度や効率の良さが重要なポイントだといえます。

 

今回ご紹介したようにrobots.txtを作成することで不要なページへのクロール回数を減らし、意図したページへのクロール数を増やすことができる他、効果的に活用してクロールの最適化を行うことはSEOを改善させるためにも非常に重要なことです。

 

以上、「robots.txt」の意味や効果、作り方についての解説でした。


この記事をシェアする