はじめに
検索エンジンはどのように上位表示させるWebサイトやコンテンツを選んでいるのでしょうか？ それを知るには、googleのクローラーとは何かを理解することが大切です。本記事では、SEOコンテンツ製作者が備えておきたい基本知識のひとつ、googleのクローラーについて解説。さらに、googleがどのように検索上位サイトを選んでいるのかなど、SEO対策の戦略を練るうえでの必須知識も紹介します。
googleのクローラーとは
まずはgoogleのクローラーについて説明しましょう
インターネットを巡回するロボット
クローラーとは、googleがインターネット上を巡回させているロボットです。クローラーがWebサイトやコンテンツの情報を収集し、価値のある内容かどうか、つまり上位表示させるべきコンテンツかどうかを判断します。
クローラーは、Webページやコンテンツに張られたリンクをたどりながら、インターネットの世界を巡回します。知人のツテを頼って交友関係を広げていくようなイメージです。
クローラーによりgoogleは優れた検索エンジンに
googleは世界最大手の検索エンジンとして知られますが、その地位に上り詰めたのはクローラーの存在が大きかったといわれます。google以前の検索エンジンはディレクトリ型といわれ、ジャンルに応じたカテゴリごとに、人の目も使いながら審査をしていました。しかし、それでは激増するWebサイトやコンテンツをカバーしきれません。そうした中、全自動でインターネットを巡回し、評価を行うクロールを引っさげて、googleが登場したのです。
また、googleはinfoseekなど他のロボット型検索エンジンと比較して、検索結果の精度に優れているとされます。その理由は、googleの仕組みにあります。次で解説しましょう。
検索エンジン「google」の仕組み
googleはなぜ、検索エンジンとして優れているのでしょうか。高精度の検索結果を出せる仕組みを説明します。
ページランク
googleの中心的な技術が、ページランクです。ページランクとは、リンクされている他のサイトの数と質で評価（ページランク）を行う技術のことで、評価は最小0〜最大10までの11段階で行われます。高ランクのサイトと多くリンクされることで、自サイトのページランクを上げることができます。
ページランクが具体的にどのように評価を行っているのかについては、現在公開されていません。しかし、googleが検索順位を決めるにあたって、現在もページランクは重要な指標となっています。
リポジトリとインデックス
リポジトリとインデックスは、クローラーの情報処理に関するキーワードです。クローラーが収集したサイト情報は、リポジトリという場所にまとめられ、インデックスデータベースにて解析し、分類されます。サイトの情報を分類することで、ユーザーが検索しやすい状態にするのです。郵便局が手紙を収集し、配達地域別に仕分けするイメージです。
なお、分類された情報は検索サーバに移され、そこで検索可能な状態に加工されます。手紙で例えるなら、郵便受けのイメージです。
このように、クローラーによる情報収集後、検索される状態に加工するまで、googleではさまざまな処理が行われています。
サイト解析（評価）のアルゴリズム
インデックスされたサイト情報の解析で、最もSEOに関係するのは、「キーワードごとのランク付け」でしょう。google独自の200以上のアルゴリズムによる解析で、検索キーワードごとにサイトはランク付けされ、検索順位に反映されます。
googleのアルゴリズムの内容は公開されていませんが、ランク付けの判断基準は、主に次の7つとされています。
- コンテンツの独自性
- 外部ドメインサイトからのリンクの数と質
- ドメインの評価
- Webページ内でのキーワードの書かれ方
- Webサイト内でのキーワードの書かれ方
- URLどのような単語が含まれてるかあ
- Webサイトのトラフィック（アクセス数）
（引用：『SEO検定公式テキスト 4級』一般社団法人全日本SEO協会 編）
アップデートされる検索エンジン
googleは大小さまざまなアップデートを行っています。ユーザーの利便性の向上はもちろん、ユーザーや時代の変化に対応するためです。
3つの大きなアップデート
初期のgoogleでは、キーワードを単に並べたり、上位表示につながりやすい被リンク元を集めたりするといった、コンテンツの中身を伴わないSEO対策が通用していました。それでは検索エンジンとしての信頼が低下してしまいます。高品質の検索結果をユーザーに提供するために、googleはこれまで大きく3つのアップデートを実施しました。
パンダアップデート
パンダアップデートは2011年から実施されたアップデートです。大きな変化は次の2つです。
- 他のサイトからの文章の流用（コピペ）しただけなど、独自性が低いと見なされたWebページおよび、そのようなページを有するサイトは、検索順位を下げられる
- 同一ドメインのサイト内にあるWebページのすべて、もしくはその一部を流用しているだけのWebページは検索順位を下げられる
これらを要約すると、「他のWebページの情報を丸写し」したり、「自サイトの内容を使いまわし」することは、独自性が欠如していると判定され、検索結果から駆逐されるということです。これによりgoogleは、オリジナリティのある高品質な情報を、ユーザーに届けやすくなりました。
ペンギンアップデート
ペンギンアップデートは2012年から行われた大型アップデートです。キーワードをページ内に過剰に盛り込んだり、外部ドメインからのリンクを大量に増やしたりといった、度を越したSEO対策の防止をうながすものです。SEO対策だけが万全で、コンテンツとしての中身は空っぽなWebページを駆逐することで、googleの検索の質をさらに向上させることが狙いでした。
また、ペンギンアップデート以降は、SEOのためだけにリンクを大量に張るサイトに対して、検索順位を著しく下げるというペナルティが課せられるようになりました。
コアアップデート
コアアップデートは2018年から2019年にかけて断続的に行われた大型アップデートです。このアップデートにより、クエリと関連性の高いWebページが検索上位に表示されるようになりました。
クエリとは、ユーザーが検索時に入力するキーワードを検索する意図のこと。googleの検索窓に「SEOライティング 方法」と入力した場合は、「SEOライティング」「方法を知りたい」「書き方を知りたい」などがクエリだと推測されます。
コアアップデート以前は、クエリとの関連度が低くても、リンクをはじめとしたその他の要因で評価が高ければ、検索で上位表示されることがありました。しかし、このアップデートでクエリと関連性の高いページが上位表示されるようになり、ユーザーはニーズを満たすサイトを見つけやすくなりました。
SEOの範囲は7領域に拡大
検索エンジンの役割は、WebサイトやWebページの検索から、画像や動画など、幅広くなっています。googleでも「地図」や「ニュース」「画像」「動画」「ショッピング」「書籍」「フライト」「ファイナンス」と検索対象範囲を広げています。こうして多彩な形態のコンテンツを検索可能にすることを、ユニバーサルサーチといいます。
ユニバーサルサーチにより、SEO対策は次のように細分化しています。
- WebページのSEO
- 画像のSEO
- 動画のSEO
- 地図のSEO
- ショッピング情報のSEO
- 書籍情報のSEO
- モバイルアプリのSEO
従来の画一的なSEO対策ではなく、画像や動画の検索で上位に入るための方策も考える必要が出てきたというわけです。より複合的にSEO対策を考えなければいけなくなった反面、それまでのキーワードによる検索以外に、ユーザー流入の経路も多様化したという点では、アクセス数を増やすチャンスも増えたとの解釈できます。
モバイルユーザーも重視されるように
2015年に実施された、モバイルフレンドリーアップデートも無視できません。このアップデートは名前の通り、モバイルユーザー向けのもの。スマートフォンに非対応のサイトは、モバイル版googleでの検索順位を落とすというものです。
また、2018年にからはモバイルサイトの内容から、モバイル版とPC版の検索順位を決定するという方針転換も行われました。このように、現在のWebサイトでは、モバイルサイトのSEOも重要になっています。
まとめ
googleがどのように上位表示されるサイトを決めているのか、そしてその審査を司るロボット、クローラーについて解説しました。このような知識を持っていると、具体的なSEOライティングのテクニックを学ぶときに、「なぜこの手法が有効なのか」を納得しながら習得できます。