ユーザーがGoogle検索をすると、検索結果が順位付けされて表示されますが、それはGoogleがあらかじめWebサイトの情報を収集・評価し、データベースに格納（インデックス）しているからです。収集・評価作業は、検索エンジンロボット（クローラー）が世界中のWebサイトを巡回（クロール）して行なっています。
公開したWebサイトや新規作成したページをいち早くクロール・インデックスしてもらうためにWebサイト運営者ができることを解説します。
目次
Googleにインデックスされないと検索上にページが表示されない
SEO（Search Engine Optimization：検索エンジン最適化）で言う「インデックスさせる」とは、GoogleにWebサイト上のページを見つけてページの内容を読み取ってもらい、Googleのデータベースに情報を格納させることを指します。
インデックスの一歩手前では、Googleのロボット（クローラー）にWebサイトに来てもらう（クロールしてもらう）必要があります。
Googleにインデックスさせるには3つの方法がある
GoogleのロボットがWebサイトをクロールするためには、クロールするべきURLを見つける必要があります。
URLを通知またはクロールをリクエストする方法は３つあります。
- 内部リンク/外部リンク
- XMLサイトマップ
- URL検査ツール（旧fetch as Google）
このうちXMLサイトマップとURL検査ツールに関してはサーチコンソール上で管理や実行することができます。
サーチコンソールにまだ登録していないのであればあらかじめ登録しておきましょう。
Webサイト内や外部サイトからのリンク
まず１つ目で最も重要なのは、リンクを通じてURLを発見するというものです。
Googleのクローラーは、ページをクロールしている際にリンク（href属性が指定された<a>タグ）を見つけると、リンク先のページをクロール予定のリストに加えます。
この際リンク先がサイト内部か外部かであるかは特に関係がありません。
Webサイト内の以下のような位置に、適切にリンクを貼っておき、クローラーがリンクを通じてページを見つけられるようにしておきます。
- グローバルメニュー
- パンくずリスト
- サイドバー
- フッター
- コンテンツ内からのリンク
逆に言うと、リンクによって見つけられるページでない場合、残る２つの方法を使わないとGoogleはURLを見つけられなくなってしまいます。
Googleは一度URLを見つけてしまえば定期的にそのURLのクロールを行いますが、新たにページを公開した際は特に、基本的には内部リンクでたどれるように設定しておくことがおすすめです。
XMLサイトマップ
Webサイト内のインデックスしてもらいたいページをまとめたXMLサイトマップ（sitemap.xml）を作成し、サーチコンソールから送信する方法です。これにより送信したURLのインデックス状況などを把握することができるようになります。
小さなWebサイトでは内部リンクさえしっかりしていれば特にXMLサイトマップを作成する必要はないかもしれません。
ただし、ある程度大きなサイトでは、XMLサイトマップを作成し、送信しておくことを強くおすすめします。
GoogleはXMLサイトマップのlastmodを参考にしてクロールを行うため、最終更新日を随時更新し、サイトマップファイルを常に最新に保っておくのがベストな施策です。
Googleからサイトマップのlastmodが信用されていると、コンテンツを更新した際にサイトマップ上での変更を感知して、より迅速なインデックスにつながると考えられます。
URL検査ツール（旧fetch as Google）
基本的には、サーチコンソール（Google Search Console）にXMLサイトマップを送信すれば、新規ページは公開後まもなくインデックス登録されるはずです。何らかの理由でインデックスまでに時間がかかっている場合もしくは時間がかかることが予想される場合は、サーチコンソール（Google Search Console）のURL検査ツールを活用すると良いでしょう。
URL検査ツール（旧fetch as Google）を使うと、ページ（URL）のインデックス登録をクローラーにリクエストすることができます。
ただし、URL検査ツールを通したインデックスリクエストはあくまで応急処置と考えるべきで、これを使わないとインデックスされないようなサイトは何かしら問題が発生している可能性があります。内部リンクやXMLサイトマップが適切かどうかを確認することをおすすめします。
「インデックス登録されましたが、サイトマップに送信していません」と表示されたらどうすればいいのか
サーチコンソールのURL検査ツールでWebサイト内のページを検査した際、検索結果のカバレッジに「インデックス登録されましたが、サイトマップに送信していません」というメッセージが表示されることがあります。
このメッセージには、「当該ページ（URL）のインデックス登録が成功した」と「当該ページ（URL）はXMLサイトマップ（sitemap.xml）に含まれていない」の2つの事柄が含まれています。後者について、Googleは「重要なURLはすべて、サイトマップを使用して送信すること」（Search Consoleヘルプ）を推奨しているので、アドバイスしてくれているのです。
インデックス登録は成功しているので、当該ページがXMLサイトマップ（sitemap.xml）に含まれていないからといって、Webサイト運営やランキングの上で特に影響は生じないはずです。
とはいえ、すでに述べた通り内部リンクやXMLサイトマップを通してインデックス登録させるのが望ましいため、このURLもXMLサイトマップ内に加えておくことをおすすめします。
インデックスの有無はどうやって確認する？
ページが実際にインデックスされているかどうかを確認するには、サーチコンソールのURL検査ツールを使用します。site:検索やキャッシュを見て確認する方法もありますが、サーチコンソールでURL検査ツールを実行するのが最も確実です。
インデックスリクエストの時と同様に、サーチコンソール上部のボックスに確認対象のページ（URL）を入力します。
インデックス有無の検査結果には、次の5種類があります。
- URLはGoogleに登録されています
- URLはGoogleに登録されていますが問題があります
- URLがGoogleに登録されていません。インデックス登録エラー
- URLがGoogleに登録されていません
- URLは代替バージョンです
「URLはGoogleに登録されています」と「URLはGoogleに登録されていますが問題があります」については、すでにインデックスされています。
ただし、問題がありますと表示されているのであれば、カバレッジレポートを確認するとよいでしょう。モバイルユーザビリティや構造化データなどのエラーが考えられます。
その他の３つのメッセージが出た場合はインデックスされていません。結果の下に表示されるカバレッジレポートから原因を特定して改善しましょう。
ページがインデックスされていない場合の対応
インデックスされていない場合のメッセージそれぞれについて詳しく解説します。
URLがGoogleに登録されていません。インデックス登録エラー
このメッセージが表示される場合、Googleがクロールまたはインデックス拒否の指示を受けている場合があります。
カバレッジレポートには「クロールエラー」などと表記があるのではないでしょうか？
以下のような点を確認してみてください。
- robots.txtでページのクロールを拒否していないか
- IPアドレスやユーザーエージェントによりGooglebotを拒否していないか
- ページにnoindexタグがついていないか
- またはHTTPヘッダーにてnoindexを指定していないか
- Webサイトが閲覧可能な状態になっているか（400番や500番台エラーが出ていないか）
URLは代替バージョンです
このメッセージが表示される場合、Googleが他に正規ページがあると判断していると考えられます。
カバレッジレポートの中の、正規URLに関する項目を見てみてください。
「Googleが選択した正規URL」が「ユーザーが指定した正規 URL と同じ」となっている場合は、ご自身でcanonicalタグなどで別ページを正規URLと指定している状態です。
その正規URLさえインデックスされていれば、今回調査したURLがインデックスされていなくても問題ありません。
「Googleが選択した正規URL」に「ユーザーが指定した正規 URL」と異なるURLが記載されている場合は、調査対象のURLが重複とみなされている可能性があります。
Googleは正規化されたURLを持つページを「正規」版としてクロール・インデックスしますが、そのほかのページは「重複」URLと見なされてインデックスされず、検索結果にも出現しません。
インデックスさせるためには次項で述べるように、コンテンツ改善などを行う必要があります。
場合によっては「ユーザーが指定した正規 URL」で意図せず誤ったURLを指定している場合も考えられます。rel=”canonical”による正規化が意図した通りになっているか確認してみましょう。
URLがGoogleに登録されていません
ページがインデックスされていない要因としては、大きくクロール要因とコンテンツ要因に分けられます。
コンテンツ要因では、コンテンツが薄いなど、ページの品質が低くなっている可能性があります。
重複コンテンツや低品質コンテンツが発生していないか確認するようにしましょう。
例えばGoogleは重複コンテンツを検索結果に出現させないように調整しています。重複コンテンツとは、Webサイト内外のコンテンツと「完全に同じであるか非常によく似たコンテンツのブロック」を持つコンテンツをいいます。
Googleから重複コンテンツであるとみなされるようなページは、検索結果に出ないばかりか、そもそもインデックスされないケースもあります。
ページ内にオリジナルなコンテンツがあったとしても、他ページと共通するコンテンツが多すぎるとクローラーがオリジナルなコンテンツを判別しにくくなるためにインデックスされない可能性がありますので、このような観点から重複とみなされていないかチェックしてみましょう。
一方、クロール要因については、Webサイト内に不要なページが多すぎないかを確認します。
クローラーには、「クローラーバジェット」といって、1つのWebサイトで巡回できるページ数に上限値が設けられています。Webサイト内に不要なページが多すぎる場合、クロールバジェットが枯渇して十分にクローラーが巡回できていない可能性があります。
サーチコンソールのメニュー「インデックス」＞「カバレッジ」のカバレッジレポートで、インデックスされているページ数と、意図的にインデックスされていない「除外」ステータスのページ数を比べてみます。
除外URL数が明らかに多い場合は、その原因を取り除くことでインデックス状況が改善する場合があります。
以上をふまえて、以下のような点を確認してみましょう。
- ページ内のオリジナルなメインコンテンツ部分が、ナビゲーションなどのサイト共通要素と比べて少なくなっていないか
- 他サイトからのコンテンツを拝借するなど、サイト自体のオリジナリティが低くなっていないか
- URLパラメータなどによって重複ページが発生していないか
- 発生した重複ページはリダイレクトまたは最低でもcanonicalによって正規化されているか
- 発生した重複ページが無秩序にクロールされないようにnofollowやrobots.txtによるブロックをしているか
- そもそも重複ページや低品質なページを生成しないようにしているか
ペナルティとインデックス
Googleのウェブマスター向けガイドラインに違反しているWebサイトは、Googleからペナルティを課されるリスクがあります。ペナルティの内容としては、検索順位の下降（圏外）やインデックスの削除などが挙げられます。
ただし、インデックスの削除とは言っても、厳密には検索結果に表示されなくなる措置です。
このような場合、site:検索やキーワード検索では検索結果に表示されない（＝インデックスが確認できない）ものの、URL検査ツールではインデックス登録済みと表示される場合があります。
このことから思い当たるケースではペナルティを受けている可能性を考える必要があります。
Googleペナルティには手動ペナルティと自動ペナルティがあり、手動ペナルティが課せられているかどうかは、サーチコンソールのメニュー「セキュリティと手動による対策」＞「手動による対策」で判断できます。
Webサイトがペナルティを受けていない正常な状態では、「問題は検出されませんでした」と表示されます。手動ペナルティを受けている場合には、Googleからの指摘のメッセージが表示されます。
もう一方の自動ペナルティについては、サーチコンソールでWebサイトの状態を判断することができません。確定的に判断することはできませんので、思い当たる原因をつぶしていくほかありません。
