投稿者 alseladmin1投稿日: カテゴリー SEO
いい記事が書けた！と頑張って作ったコンテンツ。
こんなにいいコンテンツができたのだから、きっと検索順位もあがってたくさんのユーザーに読んでもらえるはず！と、作ったままほったらかしにしてはいませんか？
ユーザーに見てもらう前にまず、「こんないい記事ができたよ！」ということをグーグルに知ってもらわなければ検索結果にすら表示されないのです。
グーグルは日々WEB上を巡回（クロール）して、新しいサイトや更新されたコンテンツ、古く野放しにされたサイトを探し、それを独自のリストに登録（インデックス）して、検索結果をどう表示するかを決めて（ランキング）います。
以前「検索エンジンの仕組み | 検索順位を決める３つの要素と対策でも詳しくお伝えしましたよね。
そこで今回は、SEO効果をアップさせる施策のひとつとして、このクロールに関連した「クローラビリティ」についてお話していきましょう。
1.クローラーとは
ここにこんなWEBサイトがあった！とサイトを探しまわっているロボットのことを
「クローラー」
と言います。「検索エンジン」なんて呼ばれたりもしますし、グーグルの場合はソフトウエア名として「Googlebot（グーグルボット）」という名前がついていますよね。
詳しくは、検索エンジンの仕組み | 検索順位を決める３つの要素と対策で復習を！
繰り返しですが、どんなコンテンツもすべてはこのクローラーに見つけてもらい、評価対象として登録（インデックス）されてはじめて、検索順位にランクインする権利を得ることができます。
2.クローラビリティとは
クローラーが、自分のサイトを巡回してくれるように整えることを「クローラビリティを高める」と言います。
つまりクローラビリティとは
「クロールのしやすさ」
のこと。
新しいサイトを作って、どんなにいいコンテンツを増やしても、クローラーに来て知ってもらわなければ意味がありません。そのためにはクローラビリティを高める、すなわち
クローラーが自分のサイトに来やすい環境を用意してあげなければいけない
のです。
クローラビリティを高め、クローラーがきちんとサイトに来てくれていれば、いいコンテンツを上げることできちんと評価され、検索順位は必ず上がっていきます！
3.クロールされない3つのケース
頻度やタイミングを問わなければ、原則クローラーはいつかのタイミングでサイトに来てくれます。しかし、自分でも知らないうちにクロールをブロックしてしまっている場合があります。
まずはそこから押さえておきましょう。
そもそもクローラーは、下記のような流れでサイトやページをクロール、インデックスするかを判断していきます。
この図からもわかるように、クローラーがクロールしてくれない原因は、次の3つのケースがあると言われています。
【ケース1】
robots.txtファイル（クローラーのアクセスを許可または拒否を命令するためのファイル）がクローラーをブロックしている場合
解決方法は robots.txtファイルの使い方や記述方法を解説します を参考にしてください。
【ケース2】
クローラーはページをクロールする前にHTTPヘッダーを確認します。このHTTPヘッダーに含まれるステータスコードで[ページが存在しない]と表示される場合
解決方法は よく見るHTTPステータスコード一覧とその意味を理解する を参考にしてください。
【ケース3】
robots metaタグ（クローラーの動きを制御するタグ）がインデックスしないようブロックしている場合（※クロールして見つけてはくれますが、インデックスはしてくれません）
解決方法は 意外に知らない、robots meta タグの7つの正しい使い方 を参考にしてください。
これらの原因によってクローラーが来ないと、ほとんどの場合、順位どころではなく検索結果にすら表示されないので気をつけてください。（yoest SEO for everyone）
4.クローラビリティを最適化するための6つの施策
ではここからが本題です。
クローラビリティを最適化するにはどうすれば良いのでしょうか。
6つのポイントを押さえながら見ていきましょう。
施策1｜クロールバジェットを最適化する
Googleのウェブマスター向け公式ブログによると、クロールバジェットとは「クロールの割り当て」のこと。
要するに、クローラーがサイトに来るタイミングや頻度のことですね。
グーグルのクローラーは、独自の基準でサイトを測定し、どのくらいの頻度でクロールが必要かどうかを決め、それぞれのサイトをまわっていきます。
そしてそれは、当該サイトにアクセスするユーザーの妨げにならないよう配慮しながら行われています。クローラーが、ユーザーの邪魔をしてはいけませんからね。
この仕組みを「クロールレート（クロール速度）」と呼びます。
クロールレートは、
・クローラーがサイトをクロールする際、使用する可能性のある同時並列接続の数
・次のフェッチ（クロールしにくるタイミング）までに必要な待ち時間
を表します。（Googleウェブマスター公式ブログ）
わかりやすく言えば、
「たくさんクロールしてもユーザーに影響のないハイスピードなサイトだ！」とか
「頻繁に更新しているからたくさんクロールしに来なければ！」
と思ってもらうことが必要というわけです。
クロールバジェットが高いほど、検索結果もよくなります。クロールレートはGoogle Search Consoleで確認できるので、試してみましょう。
このことをふまえると、クロールバジェットの最適化には以下のことが必要と言えます。
①サイトスピードをあげる
サイトの読み込みが早いサイトは、たくさんクロールしてもユーザーに影響のないサイトだと認識されるため、クローラーの巡回頻度が高まります。
②サーバーのスピードをあげる
こちらも①と同じです。ハイスペックのサーバーであれば、ユーザーの負担にならずにクロールができるため頻繁にまわってくれるでしょう。
③画像を最適化する
画像も最適化し、美しくありながら軽くすることが重要です。画像の表示が遅いと、サイトスピードの低下に繋がります。
④モバイルフレンドリー
あとの施策4で詳しく説明しますが、モバイル端末においてユーザビリティが整えられていることも非常に重要なポイントになります。
施策2｜内部リンク構造を整える
クローラーはさまざまなリンクをたどってサイトを巡ります。
そのため、サイト内にリンク構造をきちんと構築することは、ユーザーにとってもクローラーにとっても非常に重要です。
内部リンクパワーを最大化させる方法は
①高品質のページ・コンテンツをたくさん作ること
②サイト内の関連性の高いページへのリンクを貼ること
③ナビゲーションの設置
④パンくずリストを作ること
などが挙げられます。
内部リンクについては、
で詳しく説明していますので、合わせてご確認ください。
一見、ユーザーのユーザビリティを高めるためだけに見える構造も、きちんと整えることで、クローラーも適切にサイトを巡ってくれます。
ただし、
”付加価値の低い URL がサイトに多数ある場合、そのサイトのクロールやインデックス登録に悪影響が及ぶ可能性があります。”（Google ウェブマスター公式ブログ）
と言われているように、ペンギンアップデートに引っかかるような無意味なリンクの羅列やネットワークリンクはペナルティになってしまうので気をつけましょう。あくまで、正しくリンク構造を作ることが大切です。
※ペンギンアップデートに関する詳細は、「【2018年最新版】ペンギンアップデート完全ガイド｜基礎知識から対策方法まで全て網羅」を読んでみてください。
施策3｜4,000字以上のコンテンツを作る
【2018年最新版】SEOと文字数の関係は？文字数の目安と効果的なコンテンツの作り方
でもお伝えしたとおり、2,500英単語、日本語換算して約4,000〜5,000字程度の有益な情報を備えたコンテンツであれば、ユーザーにとって価値あるコンテンツと評価されやすく、SNSのシェア・被リンクの数も最大になると言われています。
下記の図からも2500語以上のコンテンツがもっともシェアされていることがわかります。(semrush)
引用元：semrush
ユーザーから評価された人気のコンテンツであることは、クローラーが頻繁に訪れてくれる要因のひとつになります。
ただし、あくまで重要なのは「文字数ではなく、質」であることは忘れないでください。
施策4｜モバイルファーストインデックスに対応する
グーグルは、2018年3月モバイルファーストインデックスを開始すると発表しました。
検索結果やその順位を、これまでのPCサイトではなくモバイルサイトの情報をもとに決めるということです。
スマホサイトがない、もしくはスマホサイトのコンテンツが極端に少ないサイトはクローラーが回って来ないということになります。
さらに、先ほどあげたサイトスピードやサイト内構造、コンテンツ文字数なども、全てスマホサイトが基準に変わっていきます。
したがって、
モバイル端末で使いやすいサイト＝モバイルフレンドリーなサイトを作ること
がとても重要になって来るのです。
モバイルフリー具合の確認方法をご案内しておきますので、まずはここから初めてみてください！
・まずはサーチコンソールのFetch as Googleオプションを使用して問題がないかどうかテスト
・モバイルユーザビリティレポートを確認し、検出された問題を確認、解決
・speed insightsでもサイトのスピードを確認することができます。重い場合は画像の最適化やサーバーの速度UPなども考えましょう。
※モバイルファーストインデックスに関する詳細は、「【最新】モバイルファーストインデックス(MFI)とは？基礎知識からQ&Aまで完全解説」を読んでみてください。
施策5｜XMLサイトマップを更新する
XMLサイトマップとは、言わばクローラーのためのサイトマップです。
XMLサイトマップを作成することで、このサイト内にはどんなページがあるのかを直接クローラーに伝えることができ、全てのページをインデックスしてもらえやすくなります。コンテンツ数が多いサイトには特に有効です。
そのためにも、きちんと整えておくことがとても重要になります。
①サイトに新しいページを追加するたびに、XMLサイトマップを更新する。
新しいページができたことをクローラーに伝えるため、適切に更新しましょう。
*「サイトマップの必要性とSEOへの効果」で詳しく紹介しています。
②重複ページや不適切なリダイレクトページを削除する
追加するだけではなく、重複しているページや無駄なページはないか整理しましょう。
詳しくはSearch Console ヘルプ「重複した URL を統合する」を参考にしてください。
③Search Consoleで定期的にサイトマップエラーを確認する
Search Consoleでエラーを通知してくれるので、活用すると良いでしょう。
詳しくはSearch Console ヘルプ「サイトマップのエラーと修正」を参考にしてください。
施策6｜HTMLテーブルでユーザーの質問に直接答える
最後に、グーグルのクローラーは、ユーザーの意図を読み取り求める答えに直接回答しているコンテンツを好む傾向があります。
具体的な例で見てみましょう。
「ベンツ Cクラス いくら」の検索結果です。
ベンツの公式サイトよりも、上位に上がっているサイトがありますよね。
「ベンツ Cクラス いくら」というキーワードからユーザーが求めていると思われる回答を、わかりやすく最適に示してくれるコンテンツを評価していることがわかります。
その表示方法として、HTMLのTableタグを活用した回答を好む傾向があると言われているのです。
上記のような表で検索結果に表示されれば、ユーザーもわかりやすいですよね。
このような質の高いコンテンツを用意しておくことも、アクセス増、クローラビリティのUPにつながるのです。（semrush）
5.まとめ
いかがでしたでしょうか。
クローラーに効率よくサイトに来てもらい正しく伝えることができれば、いいコンテンツを作るだけでますますクローラビリティも向上し、検索順位が上がるという好サイクルが生まれるのです！
ぜひ実践してみてください！
この記事を読んだ人は、こんな記事も読んでいます
