Googleのクローラーに巡回されやすいサイト

「うちのサイトがGoogleの検索結果に出てこない…」とお悩みの方もいらっしゃるのではないでしょうか。

Googleの検索結果に表示されるためには、まずは「インデックス」されなければいけません。

「インデックス、って何？」という方も多いと思います。

本記事では、Googleのクローラーに巡回されやすいサイトとはどのようなサイトなのかを分かりやすくご説明したいと思います。

Googleのクローラーとは

Googleのクローラーとは、インターネット上を巡回してウェブページの情報を収集するプログラムのことです。

Googlebot と呼ばれることもあります。

クローラーは、まるで蜘蛛（spider）のようにウェブ上を這い回り、ウェブサイトのページを見つけると、そのページのコンテンツやリンクを分析します。

収集した情報はGoogleのデータベースに保存されます。

これを「インデックス」と言います。

インデックスされた情報は、検索エンジンのランキングや検索結果に表示する際に利用されます。

クローラーの役割

• ウェブページの発見: 新しいウェブサイトやページを検出します。
• コンテンツの分析: ページのテキスト、画像、動画などのコンテンツを分析し、その内容を理解します。
• リンクの追跡: ページ内のリンクをたどり、他のページへと移動します。
• 情報のインデックス化: 収集した情報を整理し、Googleの検索インデックスに追加します。

クロールされやすい構造

先ほどご説明したように、Googleのクローラー（Googlebot）は、ウェブサイトを巡回し、情報を収集してGoogleの検索インデックスに登録する役割を担っています。

Googleのクローラーがサイトに来て巡回することを「クロール」と言います。

あなたのサイトをクロールしてインデックスしてもらうためには、クロールされやすい構造にして、Googlebotが効率的に情報を収集し、理解しやすいように設計されている必要があります。

具体的には、以下の要素が重要です。

これらの要素を総合的に考慮することで、Googlebotにクロールされやすいウェブサイトを構築することができます。

明確なサイト構造

• 階層構造: ウェブサイトをカテゴリやトピックごとに階層的に整理することで、Googlebotがサイト全体の構造を理解しやすくなります。
• サイトマップ: サイトマップは、ウェブサイトのページ構成を一覧で示したファイルです。Googlebotにサイトマップを提出することで、クローラーがすべてのページを見つけやすくなります。
• パンくずリスト: パンくずリストは、ユーザーが現在見ているページがサイト内のどこにあるのかを示すナビゲーションです。Googlebotもパンくずリストを利用して、ページ間の関係性を理解します。
• 内部リンク: 関連性の高いページ同士を内部リンクで結びつけることで、Googlebotがサイト内をスムーズに巡回できるようになります。

シンプルなURL

• 短いURL: 短く、わかりやすいURLは、Googlebotがページの内容を理解するのに役立ちます。
• キーワードを含むURL: URLにページの内容を表すキーワードを含めることで、Googlebotがページのテーマを理解しやすくなります。
• 静的なURL: 動的なパラメータを含むURLは、Googlebotがクロールしにくい場合があります。可能な限り静的なURLを使用しましょう。

テクニカルな最適化

• robots.txt: robots.txtは、Googlebotのアクセスを制限するためのファイルです。クロールしてほしくないページを指定することができます。
• nofollow属性: 特定のリンクをGooglebotにたどらせないようにしたい場合は、nofollow属性を使用します。
• ページ速度: ページの読み込み速度が遅い場合、Googlebotはクロールを中断することがあります。ページ速度を最適化することで、クロールされやすくなります。
• モバイルフレンドリー: スマートフォン対応など、様々なデバイスからアクセスしやすいサイト構造は、Googlebotのクロールを促進します。

コンテンツの質

• オリジナルコンテンツ: 他のサイトからコピーしたコンテンツは、Googlebotに低品質と判断される可能性があります。オリジナルのコンテンツを作成しましょう。
• 質の高いコンテンツ: ユーザーにとって有益で、正確な情報を含むコンテンツは、Googlebotに高く評価されます。
• 適切なキーワードの使用: コンテンツの内容を表すキーワードを適切に使用することで、Googlebotがページのテーマを理解しやすくなります。

まとめ

本記事では、Googleのクローラーに巡回されやすいサイトとはどのようなサイトなのかを説明させていただきました。

Googleの検索結果に表示されるためには、インデックスされる必要があります。

インデックスされるには、クローラーに巡回してもらう必要があります。

そのため、クローラーが巡回しやすいようにコンテンツをカテゴリやトピックごとに階層的に整理することは非常に重要です。（詳しくは『「カテゴリを階層的に整理する重要性」を分かりやすくご説明します』でご説明していますので、ご参照下さい。）

コンテンツをカテゴリやトピックごとに階層的に整理することは、クローラーだけではなく、サイトで情報を探している人にとっても分かりやすくなります。

今回ご紹介した対策をとって、クローラーにも訪問者にも分かりやすいサイト作りを心掛けて下さい。