大規模サイトのテクニカルSEO｜規模で決める3つの施策の順番

「数千ページを超えたら、大規模サイト向けの施策を一度にそろえないといけない」。Googleのドキュメントにも、クロールバジェットの管理やサイトマップの分割など、大規模サイトを想定した項目がいくつも並ぶため、まとめて取りかかるものと思われがちです。ところが、Googleが項目ごとに添えている規模の目安は、サイトマップが約500ページ、クロールバジェットの管理が1万ページ以上で毎日更新するサイトなどと、項目によって違います。大規模サイトのテクニカルSEOは、構造の最適化、テンプレートの最適化、インデックスの制御の3つに分け、自社の規模に応じて手を付ける順を決めます。

本記事では、3つの施策の分け方から、規模の測り方、規模ごとに手を付ける順まで、数千〜数万ページのサイトのSEOを手がける制作会社の視点で順を追ってお伝えします。

大規模サイトのテクニカルSEOを分ける3つの施策

大規模サイトのテクニカルSEOの施策は、直すものの違いで、次の表の3つに分けられます。数千ページを超えると、直す単位が1ページずつの本文ではなく、URLの規則やページの種類ごとの型になるためです。

大規模サイト向けとして挙がるほかの施策も、3つのどれかに入ります。たとえば重複コンテンツの対策は、重複したURLを作らない設計なら構造の最適化、残った重複をcanonicalでまとめるならインデックスの制御です。

インデックスの制御は、どの規模でも3つの施策の最後に整えます。規模で変わるのは、構造とテンプレートのどちらを先にするかです。施策ごとに直す箇所は、ポータルサイトのSEO対策の順番で段階ごとにまとめています。

大規模サイトの規模を測る3つの数字

大規模サイトの規模は、データベースの件数ではなく、Googleの目安に合わせた3つの数字で測ります。Googleがドキュメントで示す規模の目安は、目安ごとに数えているものが違うためです。

Googleは、クロールバジェットのガイドの数値を、大まかな目安で正確なしきい値ではないとしています。

検索に出したいページの数

検索に出したいページの数は、データベースの件数から、検索結果に出さないページを除いた数です。掲載が終わった求人や在庫が戻らない商品のように、データベースに残っていても検索に出さないページは数えません。

検索に出したいページの数は、sitemapに載せるURLの数とそろえます。Googleは、検索結果に表示したいURLをサイトマップに含めるよう求めているためです。Googleのサイトマップについての説明は、検索に出したいページがおよそ500ページ以下のサイトを小規模とし、サイトマップが要らない場合があるとしています。

重複のないページの数

重複のないページの数は、同じ内容を別のURLで見せているページを1つと数えた数です。並べ替えや表示件数だけが違う一覧は、URLがいくつあっても1つと数えます。

Googleのクロールバジェットのガイドが「1万以上」「100万以上」と数えているのは、重複のないページです。1万以上で毎日更新するサイトに当たるかは、重複のないページの数と、新しい掲載や価格の変更のように毎日入れ替わるページがあるかを合わせて見ます。

Googleが見つけたURLの数

Googleが見つけたURLの数は、Search Consoleのページのインデックス登録レポートを、既定の「すべての既知のページ」で開いたときの登録済みと未登録の合計です。サイトマップに載せたかどうかにかかわらず、Googleが認識しているURLがすべて入ります。

ページのインデックス登録レポートの合計が、検索に出したいページの数を大きく上回っていれば、絞り込みや並べ替えの組み合わせなどでURLが増えています。逆に合計が大幅に少なければ、Googleはサイトのページを見つけられていません。

手を付ける順番を分ける3つのケース

大規模サイトのテクニカルSEOで、構造の最適化とテンプレートの最適化のどちらから手を付けるかは、Googleのクロールがサイトに追いついているかで決まります。追いついているかは3つの数字で見当がつきます。

表の上の行から順に確かめ、最初に当てはまったケースで進めます。

未登録のURLが大半を占めるとき

ページのインデックス登録レポートで、URLの大部分が「検出 - インデックス未登録」なら、ページ数にかかわらず構造の最適化から手を付けます。「検出 - インデックス未登録」は、Googleが見つけたもののまだクロールしていない状態です。サイトへの過負荷が予想されたためにクロールを先送りした場合が多いと、Googleは説明しています。

Googleが見つけたURLの数が検索に出したいページの数を大きく上回るなら、先に減らすのは絞り込みや並べ替えで増えたURLです。Googleは、URLパラメータで絞り込みを表す一般的な作りは無限のURLを生み、新しく有用なURLの発見を遅らせることがあるとしています。

URLの数が増えていないのに未登録が大半なら、3つの施策より先にサーバーの応答を確かめます。クロールの統計情報レポートの平均レスポンス時間とホストのステータスを見ます。不要なURLを見つけて減らす手順は、クロールバジェットの仕組みと目安にまとめています。

1万ページ以上を毎日更新するとき

重複のないページが1万以上あり、毎日更新するサイトも、構造の最適化から手を付けます。Googleのクロールバジェットのガイドが、主な対象に挙げている規模です。

クロール バジェットの管理 | Google クロール インフラストラクチャ | Crawling infrastructure | Google for Developers

クロール バジェットとは、Google がサイトのクロールに費せる時間とリソースを表す容量です。クロールの理論、大規模サイトに推奨するクロールの管理方法等を紹介します。

🌐 developers.google.com

外部リンク

毎日更新するサイトで構造から直すのは、新しいページと更新したページを早くクロールしてもらうためです。Googleは、指示がなければ見つけたURLのすべてかほとんどをクロールしようとするため、不要なURLが多いほど、新しいページのクロールに使える時間が減ります。

最初にするのは、新しく追加したページへ一覧ページからリンクを張ることと、検索に出す必要のない絞り込みのURLをrobots.txtで止めることです。リンクは、href属性を持つaタグで張ります。Googleは通常、href属性を持つaタグのリンクだけをクロールできるためです。

新しいページを追加した後に、クロールの統計情報レポートでクロールの目的のうち「検出」が増えていれば、Googleが新しいURLをクロールし始めています。

数千ページか更新の少ない数万ページのとき

未登録のURLが大半を占めるサイトにも、1万ページ以上を毎日更新するサイトにも当たらないなら、テンプレートの最適化から手を付けます。Googleは、頻繁に更新するページが多くないサイトなら、サイトマップを最新に保ち、ページのインデックス登録レポートを定期的に確かめるだけで十分としています。

クロールが足りているなら、次に検索結果での見え方を左右するのは、各ページが出力するtitleやmeta description、構造化データなどです。数千ページのtitleは1枚ずつ書けないため、ページの種類ごとに、データベースのどの値から組み立てるかを直します。Googleも、大規模なデータベースに基づくサイトでは、説明をプログラムで生成するほうが適していると勧めています。

Web担当者

うちは3万ページほどのサイトで、更新は週に1回くらいです。クロールバジェットの対策から始めたほうがいいでしょうか。

Writers-hub
編集部

3万ページあれば、クロールが気になるのは自然です。ただ、週1回の更新なら、Googleのガイドが主な対象にする「1万以上で毎日」「100万以上で週1回」のどちらにも当たりません。「検出 - インデックス未登録」が大半でなければ、テンプレートの最適化から始めて構いません。

テンプレートの次に、構造の最適化で、どの詳細ページにも一覧ページからリンクが届いているかを確かめます。Googleは、サイズが大きいサイトほど、すべてのページがほかのページからリンクされているかを確かめにくく、新しいページを見つけられないことがあると説明しています。

どの規模でも最後に整えるインデックスの制御

インデックスの制御は、3つのケースのどれでも、構造の最適化とテンプレートの最適化の後に整えます。

構造の後に回す理由

インデックスの制御を構造の後に回すのは、canonicalとsitemapに、構造の最適化で決めたURLを書くからです。Googleは、同じページの正規URLとして、サイトマップとcanonicalで別々のURLを指定しないよう求めています。

URLの設計を後から変えると、sitemapとcanonicalを両方書き直すことになり、古いURLから新しいURLへのリダイレクトも要ります。Googleのクロールバジェットのガイドも、サイトの移転のようなサイト全体の変更では、新しいURLを処理し直すためにクロールの必要性が高まることがあるとしています。

robots.txtで止めるURLのパターンも、絞り込みのどの組み合わせにURLを持たせるかが決まるまでは書けません。

規模で増える作業

インデックスの制御でやる作業は、サイトの規模に応じて次のように増えます。サイトの状態に当てはまる行の作業を、すべて行います。

sitemapを分けるときは、一覧ページと詳細ページのようにページの種類ごとに分けると、ページのインデックス登録レポートをサイトマップごとに絞り込めます。lastmodには、本文や構造化データ、リンクを変えた日時を入れます。Googleは、lastmodの値が一貫して正確だと確かめられる場合に、この値を使います。

まとめ｜大規模サイトのテクニカルSEOは規模で順番を決める

大規模サイトのテクニカルSEOは、構造の最適化、テンプレートの最適化、インデックスの制御の3つに分け、規模に応じて構造とテンプレートのどちらから手を付けるかを決めます。未登録のURLが大半を占めるサイトと、1万ページ以上を毎日更新するサイトは構造から、どちらにも当たらない数千〜数万ページのサイトはテンプレートから始めます。

インデックスの制御は、どの規模でも構造が決まってから整えます。規模を測るときは、データベースの件数ではなく、検索に出したいページ、重複のないページ、Googleが見つけたURLの3つの数を使います。

私たち合同会社Writers-hubは、数千〜数万ページ規模のデータベース型サイト向けに、データベースSEOを提供しています。