「スマホとパソコンで表示を変えるのも、ABテストで別のページを見せるのも、クローキングと見なされそう」。Googleのスパムに関するポリシーでも、クローキングは「ユーザーと検索エンジンに異なるコンテンツを表示すること」と説明されているため、表示を変える仕組みはどれも危ないと思われがちです。ところが、表示を変えていても、Googlebotを同じ条件で見る人と同じに扱っていれば、クローキングにはなりません。
本記事では、クローキングの意味とSEOへの影響から、自社サイトで意図せず起きていないかの確かめ方まで、検索対策を支援する制作会社の視点で順を追ってお伝えします。
- クローキングは、検索順位の操作などを目的にGooglebotと人に違う中身を見せる行為で、掲載順位が下がるか検索結果から外れることがある
- スマホ向けの表示や国ごとの表示、ABテストなどの出し分けは、Googlebotを同じ条件の人と同じに扱えばクローキングにならない
- 意図していないのにクローキングが起きる主な原因には、サイトのハッキングと、Googlebotだけを別扱いにする設定がある
- Googleのキャッシュは2024年に使えなくなったため、Search ConsoleのURL検査ツールでGoogleが取得したHTMLを見て確かめる
クローキングの意味と仕組み
クローキングとは、検索順位の操作やユーザーに誤解を与えることを目的に、検索エンジンと人に違う中身のページを見せることです。Googleは、スパムに関するポリシーで禁じる行為の1つにクローキングを挙げています。
クローキングをするサイトは、アクセスしてきたのがGooglebot（Googleのクローラー）か人かを見分け、返すページを変えます。見分ける手がかりは、ブラウザやクローラーが名乗る名前であるユーザーエージェント、アクセス元のIPアドレス、Google検索の結果から来たかどうかなどです。
Googleのポリシーでは、検索エンジンには旅行先を紹介するページを見せ、人には薬の割引ページを見せる行為が、クローキングの例に挙げられています。アクセスしてきたのが検索エンジンのときだけ、ページに文章やキーワードを足す行為も、同じくクローキングの例です。
※ 出典：Google 検索セントラル「Google ウェブ検索のスパムに関するポリシー」
クローキングがSEOに与える影響
クローキングをしているサイトは、検索結果での掲載順位が下がるか、検索結果にまったく表示されなくなることがあります。違反を見つけるのは、Googleの自動のシステムと、必要に応じて目視で審査する担当者です。
担当者が「手動による対策」をかけた場合は、Search Consoleの「手動による対策」レポートとメッセージで知らされます。クローキングへの対策は「クローキング、不正なリダイレクト」という名前で届き、悪質な場合は「スパムに関する重大な問題」として扱われることもあります。順位が落ちたときにペナルティかどうかを切り分ける手順は、Googleペナルティとは？順位下落の原因の切り分け方と解除手順が参考になるでしょう。
検索結果から外れたページは、AIによる概要にもリンクとして出ません。GoogleのAIによる概要やAIモードにリンクとして表示されるのは、インデックスに登録され、検索結果でスニペットを表示できるページだけだからです。
クローキングにならない出し分けの条件
表示の出し分けがクローキングになるかは、Googlebot（Googleのクローラー）を、同じ条件でアクセスした人と同じに扱っているかで決まります。よく使われる出し分けで、クローキングにならない条件は次のとおりです。
出し分け | クローキングにならない条件 |
|---|---|
スマホとパソコン | スマホ用のGooglebotには、スマホで見る人と同じ版を返し、スマホ版にもパソコン版と同じ主要な内容を載せる |
国や言語 | 米国からと判定されるGooglebotには、米国から来た人と同じページを返す |
会員限定や有料の記事 | 会員が読める本文をGoogleも読めるようにし、有料の部分を構造化データで示す |
ABテスト | Googlebotだけを元のページに固定せず、テスト版のURLにはcanonicalタグで元のURLを示し、302リダイレクトで振り分ける |
JavaScriptで描くページ | ボット向けに事前に描画した版を返すなら、人に見せる版と同様の内容にする |
国ごとに表示を変える場合
国ごとに表示を変えるサイトでは、Googlebotの既定のIPアドレスが米国と判定されるため、米国向け以外の内容がインデックスされないことがあります。Googleは、地域ごとに別のURLを用意し、hreflang（ページの言語と地域を示す指定）で示す形を勧めています。
ABテストをする場合
ABテストでとりわけ見落とされがちなのが、テストを終えた後の片付けです。Googleは、必要以上に長くテストを続けるサイトについて、検索エンジンを欺く意図があるとみなし、措置を取ることがあると説明しています。結果が出たら、テスト版のURLや計測用のスクリプトを外しましょう。
会員限定の記事を検索に載せる場合
会員限定の記事は、有料記事の条件を満たせば、Googlebotにだけ全文を読ませてもクローキングになりません。
Web担当者会員限定の記事も検索に出したいので、Googlebotにだけ全文を読ませたいと考えています。会員でない人には一部しか見せないのですが、クローキングになるのでしょうか。
Writers-hub編集部
見える範囲が会員でない人と違うので、仕組みだけを見ればクローキングに近い形です。Googleは、全文をGoogleに読ませる有料記事を例外として認めています。条件は、有料の部分を構造化データで示すことと、会員でない人にも記事の冒頭や月に数本の記事を無料で見せることです。構造化データが無いと、Googleは有料記事とクローキングを見分けにくくなります。
意図せずクローキングになる主な原因
意図していないのにクローキングが起きる主な原因は、サイトのハッキングと、Googlebot（Googleのクローラー）だけを別扱いにする設定です。ハッキングによる出し分けも設定による出し分けも、担当者がブラウザで自社サイトを開いただけでは見えません。
サイトのハッキング
ハッキングされたサイトでは、クローキングが使われることが珍しくありません。ハッカーが、自分が足したページを人には見せずGoogleにだけ見せることで、サイトの持ち主に気づかれないようにするためです。
Googleが解説している「日本語キーワードによるハッキング」では、偽ブランド品を売る通販サイトへのリンクを並べた日本語のページが、ランダムな名前のディレクトリに作られます。持ち主がハッキングで作られたURLを開くと「ページが見つかりません」と表示されることもあり、削除されたように見せかけるのもクローキングの手口です。
次の兆候が1つでもあれば、ハッキングを疑ってください。
- 身に覚えのない所有者がSearch Consoleに追加されたという通知
- 見覚えのないURLや日本語の文章が出るsite:検索の結果
- Google検索の結果から開いたときだけ別のサイトへ移るページ
Googlebotだけを別扱いにする設定
アクセス元が名乗るユーザーエージェントやIPアドレスでGooglebotを見分け、Googlebotにだけ別のページやリダイレクト先を返す設定も、クローキングになります。Googleは、条件付きのリダイレクトは一般に.htaccessファイルやJavaScriptで作られていると説明し、CMSやプラグインも確かめるよう勧めています。
以前の制作会社やSEO業者が入れた設定は、引き継ぎの資料に書かれていなければ、今の担当者には分かりません。サイトの運用を引き継いだときは、.htaccessファイルと、入っているプラグインの設定に、Googlebotを名指しした条件がないかを見ます。
自社サイトのクローキングの確かめ方
自社サイトでクローキングが起きていないかは、Googleが取得したページと、人がブラウザで見るページを比べて確かめます。手順は次の4つです。
Search Consoleの「手動による対策」レポートと「セキュリティの問題」レポートで、クローキングやハッキングの指摘が出ていないかを見ます。
URL検査ツールに確かめたいURLを入れ、「クロール済みのページを表示」を開くと、Googleが前回クロールしたときのHTMLが見られます。今のページをGoogleのツールで取得した結果とスクリーンショットが出るのは、「公開URLをテスト」を押したときです。
URL検査ツールで見たHTMLとブラウザで見たページの本文やリンク、リダイレクト先を比べ、自分たちが書いていない文章やリンクがHTMLに入っていないかを探します。
Googleで「site:自社のドメイン」と検索し、見覚えのないURLが出ないかを見ます。スマホでGoogle検索の結果から自社のページを開き、別のサイトへ移らないかも確かめてください。
「クロール済みのページを表示」で詳しいHTMLが見られるのは、Googleに登録されているURLだけです。登録されていないURLは、「公開URLをテスト」で確かめます。
Google検索のキャッシュでGoogleが保存したページを見る方法は、今は使えません。Googleが2024年に、検索結果のキャッシュへのリンクとcache:演算子の提供を終えたためです。
ブラウザのユーザーエージェントをGooglebotのものに変えて開いても、再現できるのは、ユーザーエージェントで見分ける出し分けだけです。IPアドレスで見分ける出し分けは、URL検査ツールで確かめます。URL検査ツールには、Googleが実際に取得したHTMLが表示されるからです。
Googleに見えているページ、人に見えるページと同じか確かめきれていますか
URL検査ツールでの比較は1ページずつの作業になり、ページ数が多いサイトほど時間がかかります。弊社のSEO・AI検索対策で最初に行うのは、サイト構造と技術的な課題の洗い出しです。検索順位が落ちた原因も、Search Consoleの数字を見ながら一緒に切り分けます。
クローキングが見つかったときの直し方
クローキングが見つかったら、Googlebotと人に違うページを返しているコードを探して消し、手動による対策を受けていれば再審査をリクエストしてください。
Googleは、Googleが取得したページと人が見るページが違う場合、サーバー上のコードを確かめ、出し分けている部分を消すよう案内しています。
ハッキングが原因なら、先にサイト全体とデータベースのバックアップを取り、Googleのハッキング対策のガイドに沿って不正なファイルを消します。Search Consoleに身に覚えのない所有者がいれば、権限を取り消してください。
修正は、影響を受けたすべてのページで行います。Googleは、一部のページだけを直しても検索結果は変わらないと説明しています。すべてを直した後に、Search Consoleの「手動による対策」レポートから審査をリクエストしましょう。
再審査リクエストには、次の3つを書きます。
- 問題の中身
- 直すために取った手順
- 直した結果
サイトを買い取った後に見つかった場合は、最近取得したことも書き添えます。審査には数日から数週間かかり、結果はメールで届くので、結果が届く前にリクエストを送り直さないでください。
再審査の進み方と、手動による対策の種類ごとの直し方は、Googleのヘルプにまとめられています。
※ 出典：Search Console ヘルプ「[手動による対策] レポート」
クローキングでよくある質問
クローキングについてよくある質問は、次の3つです。
隠しテキストは、Googleのポリシーではクローキングとは別の項目で、スパムとして挙げられています。白い背景に白い文字を置くなど、人に見えにくくして検索エンジンにだけ読ませる行為です。アコーディオンやタブで開閉する内容は、ポリシーに違反しないとされています。
Googlebotにだけ人と違う内容を見せれば、目的がAI向けでもクローキングです。Googleのスパムに関するポリシーは、Google検索の生成AIの回答を操作しようとする行為もスパムに含めています。Googleは、AIによる概要やAIモードに表示されるための特別な最適化は要らないと説明しています。
知らせる窓口は、Googleの「検索品質に関するユーザーレポート」です。Googleは、届いたレポートをスパムを見つける仕組みの改善に使うと説明しており、知らせたサイトの順位がすぐに変わるとは限りません。
隠しテキスト以外のスパムの種類と判定の基準は、SEOスパムの種類と判定基準｜巻き込まれる3つの経路と直し方で解説しています。
まとめ｜クローキングはGooglebotの扱い次第
クローキングかは、Googlebotを同じ条件の人と同じに扱うかで決まります。スマホ向けの表示や国ごとの表示、ABテストなどの出し分けも、Googlebotにだけ違う中身を返さなければクローキングにはなりません。意図せず起きる主な原因はハッキングとGooglebotだけを別扱いにする設定で、確かめるときはURL検査ツールでGoogleが取得したHTMLとブラウザで見たページを比べます。
私たち合同会社Writers-hubは、SEO記事の制作と、Google検索やAI検索での対策を支援する制作会社です。
順位が急に落ちたページ、原因の切り分けから始めませんか
気になるページのURLと、順位が落ちた時期をお送りください。無料相談（オンラインで30分ほど）で、Search Consoleの手動による対策やURL検査ツールの結果を一緒に見ながら、クローキングを含む原因の候補を絞ります。
