WEBマーケティングをもっと身近に。
SEO対策 2023/06/02

クローラビリティとは?改善・向上させる方法10選

クローラビリティとは?改善・向上させる方法10選のサムネイル画像です

クローラビリティを向上させることはSEO対策での成果を高めることに繋がるため、WEBサイトを運営する上で重要な施策となります。本記事では、クローラビリティの重要性、低いクローラビリティの原因と解決策について詳しく解説します。上級者向けの内容ですが、初心者にも分かるように解説していますので是非最後まで読んでみてください。

1

クローラビリティとは

「クローラビリティ」、SEOに普段から関わっている人でなければ耳慣れない言葉かもしれません。

クローラビリティを簡単にご説明すると、まず、皆さんが普段使っている「Web検索」から考えなければいけません。Web検索は、GoogleやBingといった検索エンジンがインターネットでつながっている情報を収集し、キーワードにふさわしいであろう情報を一覧にして検索結果に表示します。

この、情報を収集する行為を「クローリング」と言い、クローリングするロボットを「クローラー」、クローリングするロボットの情報収集しやすさを「クローラビリティ(Crawlavility)」と言います。

検索エンジンは膨大な量の情報を収集しますので、情報収集をクローラーと言うロボット(ソフト)に任せています。ロボットなので疲れは知りませんし、休むこともありません。

しかし、インターネット上で生まれては消えるWebサイト、Webページを順番に這い回るわけですから、ロボットも目立つところや訪問しやすいところから巡回します。つまり、ロボットが見つけやすく、認識しやすいWebサイトにすることを「クローラビリティを上げる」と言います。

2

クローラビリティを考える意味

クローラビリティを考える意味について、いきなり答えを言ってしまうと「検索対策のため」です。

多くのWebサイトが世の中にある中で、広告や自分で紹介する以外の方法で自分の運営するWebサイトを見てもらうためには、検索エンジンによって検索結果の一覧に自分のWebサイトを並べてもらう必要があります。

検索エンジンに認識してもらうためにはクローラーに情報を読み取ってもらわなければいけませんので、クローラーには「早くWebサイトを見つけてもらいたい」ですし、「早く情報を検索エンジンに届けてもらいたい」ものです。

検索エンジンに情報が届き、登録(インデックス)されて初めて検索結果の一覧に情報を並べてもらう準備が整います。

クローラビリティを上げることはインデックスの促進をすることにつながります。では、どのようにインデックスを早めたら良いのでしょうか?次の項目から順にご説明していきます。

3

クローラーの特性

クローリングをしやすくするためには、クローラーの特性を理解する必要があります。クローラーの好みを理解していなければ、クローリングがしやすいサイトにはなりません。

ちなみに、クローラーは様々なクローラーがあり、様々な国の様々な会社が「パソコン用」「モバイル用」「画像取得用」「企業名収集用」等、多様なクローラーを用いています。

基本的にこの記事をご覧になっている方々は、いわゆるWeb検索の対策をお考えの方だと思いますので、以降「クローラー」についての前提は、Googleのクローリングロボット(Googlebot)を前提にお話しさせていただきます。

3-1

クローラーが取得する情報

クローラーは通常のWebサイトを閲覧する通信プロトコルと同じものを使用して移動します。クローラーをブロックしていなければ、Webサイト上で閲覧できる情報はすべて取得可能です。

▼ 取得できるファイル例として、以下のようなものがあります。

HTMLCSS
JavaScriptGIF/JPEG/PNG/WebP/SVGなどの画像ファイル
PDFMP4などの動画ファイル
オフィスドキュメントMP3/WAVEなどの音声ファイル
XMLファイルKMLファイル


ただし、お問合せフォームのような認証が必要なページや、管理者用のログインが必要なページから先の情報は取得できません。

3-2

クローラーがWebサイトに訪問する方法

クローラーはインターネットを経由してWebサイトにやってきます。従って、インターネットに接続された環境になく、外部との繋がりがないファイルにクローラーがアクセスすることはできません。

新規サイトのように外部からのリンクがない場合は、サーチコンソールからグーグルに住所(URL)を送信することで、クローラーの巡回を依頼することができます。

3-3

クローラーの動作

クローラーはリンクを辿って常に巡回しています。その動きは、主に「既にインデックスされているページのリンクを辿る」動きと、前項で説明した、サーチコンソールからの「インデックス申請によって指定されたURLを参照する」動きになります。

そして、訪問した先の情報をHTMLのソースによって、文字情報として上から読み取っていきます。

簡単に説明しましたが、上記している特性を覚えておいてください。次の項目からは実際にクローラビリティを上げる方法についてのご説明です。

4

クローラビリティを向上させる方法

クローラーは「取得できる情報のすべてを、リンクを辿って読み取っている」わけですから、それを踏まえたWebサイトを作ることがクローラビリティを上げることに繋がります。

「クローラーが動きやすいサイト」は、大きく以下のことができているサイトです。

4-1

階層の浅いサイト構造にする

ディレクトリが深く、複雑なサイトをクローラーは好みません。TOPページからの距離が遠くなり、リンクの構造が複雑になると、階層の深いページはインデックスされにくくなります。サイトの深さは、3~4階層程度に抑えることを心がけましょう。

例)TOPページ>商品一覧ページ>商品詳細ページ


また、階層の深いページの管理は往々にして疎かになりがちです。接続先がないまま放置されることも少なくありませんので、管理しやすいページ構成にすることがおすすめです。

4-2

XMLサイトマップの設置・更新

XMLサイトマップは、サイト内のページの一覧を書いた目次ファイルです。XMLサイトマップを設置することによって、クローラーはサイト内のページの重要度や設置されている場所を見つけやすくなります。

また、ページの更新時にもXMLサイトマップに更新情報を書き加えることで、クローラーは差分を見つけやすくなりますので、クローリングしやすくなります。

※ XMLサイトマップを作成したらサーチコンソールから送信しておきましょう。

XMLサイトマップの設置、更新
4-3

内部リンクの設置

グローバルナビゲーション・サイドメニュー・フッターメニューといった内部リンクをしっかりとどのページにも設置しましょう。

ページによってメニューが存在しない作り方をしているサイトを見かけることがありますが、クローラーはリンクを辿ってサイト内を巡回しますので、メニューの存在しないページからは移動し辛くなってしまいます。きちんとどのページからもサイト遷移できる構造を意識しましょう。

4-4

パンくずリストの設置

パンくずリストの設置によってページの階層が明確になり、現在地の把握がしやすくなります。パンくずはヘンゼルとグレーテルの童話に由来し、サイト内の道案内の役割をしてくれます。

ユーザーにとっては、パンくずリストがあることによって帰り道が明確になるものですが、クローラーにとっては適切なカテゴリを案内するものでもあり、Webサイトの中を巡回するための内部リンクでもあります。

さらに、クローラーに対しては、パンくずリストの存在をアピールするために「構造化」を行っておくとよいでしょう。

4-5

重複ページとリンク切れの除去

正規化していないWebサイトのように、同じコンテンツを持つページが二重に存在するとクローラーも二重に巡回することになります。クローラビリティを上げるためにも重複するページは無くしましょう。

また、サイト改修などによってページを移動した際に起こりがちなことですが、リンク切れしているソースをそのまま残すと、クローラーはリンク切れのページやコンテンツを読み取りにいってしまいます。

Not Foundとなるリンクは削除し、常にアクティブなリンクでページ同士が繋がっている状態を目指しましょう。

4-6

クローラーのコントロール

ページの重要度が低いページや、検索インデックスさせたくないページにはnoindexタグの設定をおこないましょう。無駄なクローリングを制御することがクローリングを早めることに繋がります。

また、リダイレクト処理などの設定によってクローラーがループしてしまうことがあります。主に404エラーの回避に使われるリダイレクトが原因となっていることが多いようですが、リンク切れをすべてホームページへリダイレクト設定する場合などは気を付けてください。

クローラーに無駄な動作をさせないように設定することが重要です。

4-7

ファイルの圧縮

クローラーの動きが悪くなる方の説明からになりますが、画像やプログラムデータ等、ページの表示が遅くなるほど重いデータを組み込んでいた場合、クローラーが持ち帰れる情報量を超えてしまうことがあります。

クローラーも、かかる負荷が高くなると動きが悪くなります。反対に情報量を圧縮してデータを軽くすることによってクローラビリティが上がります。

HTML・CSS等のソースコードを圧縮してminifyする、画像サイズを適切な大きさに保つなど、ページの表示速度を上げる施策がクローラビリティを上げることにつながります。

4-8

サーバーパフォーマンスの向上

クローラーの巡回もユーザーがアクセスしているのと同様にサーバーに負荷をかけます。クローラーの巡回に対して反応良くレスポンスを返せるように、サーバーのパフォーマンスを上げることでクローリング速度が上がります。

また、データベースを最適な状態に保つことや、robot.txtの設定で不要なクローラーをブロックしてしまうことでもサーバーパフォーマンスを維持することにつながります。サーバーの負荷を軽減し。適切なHTTPステータスを返せるようにしておくと良いでしょう。

4-9

外部リンクの獲得

何度もお伝えしている内容になりますが、クローラーの移動経路はインターネットのリンクです。外部からのリンクが数多くつながることによって、クローラーの訪問頻度が上がります。

クローラーの移動経路が集中し、密になることで、クローラーから発見されやすくなり、クローラーも多くの経路から訪問してくることになります。SNSなどを活用して発信力を強めることはクローラビリティの向上になります。

4-10

サーチコンソールからインデックスのリクエストをする

もっとも直接的な方法です。Googleに直接クローリングを依頼しましょう。3-3の項目で触れた内容ですが、サーチコンソールからはGoogleに直接クローリングの依頼をすることが可能です。

「新しくページが増えた」「ページのコンテンツが変更されてリンク先が変わった」など、Webサイトの状況が変わったときは、サーチコンソールからインデックスの申請を行いましょう。

サーチコンソールは、インデックス申請ができるだけではなく、各ページのインデックス状況や、問題点を確認することもできますので、是非活用するようにしてください。

① 左メニューのURL検査をクリックすると上部にURLを入力することができ、検査結果画面でインデックスの状況を確認することができます。

② 検査結果画面の「インデックス登録をリクエスト」を行うことでクローラーを指定のURLに呼ぶことができます。

サーチコンソール インデックスの状況を確認
5

クローリングの状況確認

サーチコンソールを利用することで、クローリングの状況を確認することができます。

左メニューの設定ボタンから、設定メニューの中央部にあるクロールから、「レポートを開く」をクリックするとクロールの状況がグラフで表示されます。

クローリングの状況確認


グラフにカーソルを合わせると、1日当たりのクロール状況を確認できます。

6

インデックス状況の確認

検索窓で「site:https://〇〇〇〇.co.jp/△△△△/」のように「site:~~~」でURLを検索すると、Googleでインデックスされていれば検索結果画面に指定URLのページが表示されます。

検索結果に表示されない場合、インデックス処理が完了していません。新規のページがインデックスされるのに数時間~数日のズレがありますので、期間を空けて再度調べるようにしてください。

7

まとめ

クローラビリティとは、検索インデックスのしやすさのことで、クローラビリティを向上させることで検索上位対策に役立ちます。クローラーロボットは、早く表示されてリンク経路を辿りやすいWebサイトを好みます。

ユーザーライクなサイトを作ることである程度クローラビリティの良いサイトにすることはできますが、人が普段見ることのないところにも配慮して、クローリングロボットも快適に動けるサイトを意識してみてください。

ホワイトリンク 記事内用バナー


この記事を書いたライター

SEO施策部

SEMを軸にSEOの施策を行うオルグロー内の一部署。 サイト構築段階からのSEO要件のチェックやコンテンツ作成やサイト設計までを一貫して行う。社内でもひときわ豊富な知見を有する。またSEO歴15年超のノウハウをSEOサービスに反映し、3,000社を超える個人事業主から中堅企業までの幅広い顧客層に向けてビジネス規模にあった施策を提供し続けている。

RECOMMENDED ARTICLES

ぜひ、読んで欲しい記事

  • サイトマップとは?作り方とデザイン例・SEO効果についてのサムネイル画像です
    SEO対策
    2024/03/18

    サイトマップとは?種類と作るメリット・注意点を分かりやすく解説

    2024/03/18

  • CPMとは│計算方法・CPCとの違いを解説のサムネイル画像です
    SEO対策
    2024/03/18

    CPMとは?計算式とCPM課金方式のメリット・CPCとの違いを解説

    2024/03/18

  • CVR(コンバージョンレート)とは│計算式と改善方法を解説のサムネイル画像です
    SEO対策
    2024/03/15

    コンバージョン率(CVR)とは│計算式と平均値・改善方法を解説

    2024/03/15

  • 直帰率とは|離脱率との違いと計算方法を分かりやすく解説のサムネイル画像です
    SEO対策
    2024/03/14

    直帰率とは|離脱率との違いと計算方法を分かりやすく解説

    2024/03/14

  • 検索順位の仕組みとは?Googleの評価プロセスを解説のサムネイル画像です
    SEO対策
    2024/03/13

    検索順位の仕組みとは?Googleの評価プロセスを解説

    2024/03/13

  • オーガニック検索の流入をSEOで上位表示させて増やす方法のサムネイル画像です
    SEO対策
    2024/03/11

    オーガニック検索の流入をSEOで上位表示させて増やす方法

    2024/03/11

backtotop