「Pythonを十数行書けば、Googleの検索結果は取れる」。順位の記録や競合ページの一覧化を自動化したいというご相談で、そうした前提のお話をうかがうことがあります。requestsとBeautifulSoupを組み合わせたサンプルコードは技術ブログに数多く出回っていますから、技術的にできることと、やってよいことが同じものに見えてしまうのも無理はありません。
しかし、検索データを扱いながらSEO記事の制作を続けてきた弊社の立場から言えるのは、Google検索結果のスクレイピングは規約で禁止されているという点です。日本の法律で違法になるかどうかという話と、Googleが禁じているかどうかという話は、まったく別の層にあります。
本記事では、規約と法律の線引き、取得が年々難しくなっている事情、規約の範囲で使える取得手段、そして検索結果そのものを取らずに済ませる考え方まで、実務で判断している順にお伝えします。
- 日本の法律とGoogleの規約で、扱いがどう違うのか
- 順位確認を目的とした自動取得が禁止と明記されている場所
- 自作の仕組みが技術的に維持しづらくなった2つの理由
- 規約の範囲で使える4つの取得手段と、それぞれの向き不向き
- 検索結果を取らなくても手に入るデータの種類
Google検索結果のスクレイピングとは
Google検索結果のスクレイピングとは、検索結果ページに表示されているタイトル、URL、説明文、掲載順といった情報を、人が画面を見て書き写す代わりにプログラムで自動的に取り出す作業を指します。SEOの現場では、順位の記録、競合ページの一覧化、関連する語の収集といった目的で話題にのぼります。
何を取り出す作業か
取り出す対象は、検索結果ページのHTMLに含まれる要素です。1件ごとのタイトル、リンク先のURL、説明文の抜粋、そして上から何番目に表示されているかという位置情報。ここに強調スニペットや関連する質問、AI Overviewの有無を加えることもあります。
やっていること自体は、ブラウザの画面に出ている情報を機械が読み取っているだけです。人が手作業で100件をコピーするか、プログラムに100件を取らせるかの違いしかありません。違うのは作業の中身ではなく、送信するリクエストの量と頻度のほうです。
クローリングとの違い
混同されやすいのがクローリングです。ページを次々にたどって巡回しHTMLを取得して回る行為がクローリングであり、取得したHTMLから必要な項目を抜き出す加工の部分がスクレイピングにあたります。
実際の作業では両方が連続して起きるため、区別せずに語られることが多くあります。ただ、規約や法律の話をするときは分けて考えたほうが混乱しません。問題になりやすいのは、取り出したデータの中身よりも、繰り返しアクセスして巡回する側だからです。
関連記事：【2025年最新版】初心者でもできるSEOのやり方完全ガイド | 上位表示するための具体的な方法を徹底解説
検索結果のスクレイピングは禁止か
ここが最も知りたい部分でしょう。結論から申し上げると、日本の法律で直ちに違法になるわけではないものの、Googleの規約では禁止と明記されています。別の層の話が混ざりやすい論点のため、順に整理します。
日本の法律ではただちに違法にならない
日本には、Webページの情報をプログラムで収集する行為そのものを一律に禁じる法律がありません。著作権法には情報解析のための複製を認める規定が置かれており、統計処理や分析を目的とした収集には一定の余地があります。
ただし、無条件というわけではありません。短時間に大量のリクエストを送ってサーバーに負担をかければ、業務妨害として扱われる可能性が出てきます。収集したデータをそのまま再配布すれば、著作権や不正競争防止法の問題も絡んでくるでしょう。「違法ではない」は「何をしてもよい」ではないと考えてください。
Googleの規約では禁止と明記されている
法律の話とは別に、Googleは自社のポリシーで自動的なクエリの送信を禁じています。検索セントラルのスパムに関するポリシーには、機械生成トラフィックの説明として「ランキングの確認を目的としたスクレイピングや、明示的な許可なく Google 検索に自動アクセスするその他の行為もこれに含まれます」と書かれています。
順位チェックのための自動取得は、例示として名指しされている状態です。解釈の余地はほとんど残されていません。
技術的な意思表示も出ています。google.com のrobots.txtでは、検索結果のパスである /search が Disallow に指定されており、クローラーに対して巡回しないでほしいという指定が明示されています。robots.txtに法的な強制力はありませんが、運営者の意思表示としては十分に明確でしょう。
規約違反と違法性の線引き
この2つを混ぜて考えると判断を誤ります。問題が起きる場所ごとに分けると、次のように整理できます。
区分 | 問題になる行為 | 起こりうること |
|---|---|---|
法律の層 | 過度なアクセスによるサーバー負荷、取得データの再配布 | 損害賠償の請求、刑事事件としての立件 |
規約の層 | 順位確認を目的とした自動アクセス | アクセスの遮断、関連サービスの利用停止 |
技術の層 | 検索結果の表示方式の変更 | 取得の仕組みが予告なく動かなくなる |
違法でないことと、規約で許されていることは別です。規約違反で直ちに刑事責任を問われることはなくても、アクセスの遮断やアカウントの停止といった措置は現実に起こります。業務で使う仕組みが、ある日突然止まるリスクを抱えることになります。
「違法ではない」という記述だけを根拠に社内で稟議を通すと、あとから規約違反を指摘されたときに説明がつきません。法律の話と規約の話は、必ず分けて資料に書いてください。
関連記事：Ahrefs（エイチレフス）で競合調査をする方法｜見るレポートと結果の使い方
検索結果の取得が難しくなった技術的な事情
規約の話を抜きにしても、検索結果を自前で取り続ける仕組みは以前より維持しづらくなりました。ここ数年で起きた変化を2つ挙げます。
1つ目は、検索結果の表示にJavaScriptが必要になったことです。2025年1月中旬、Googleは検索結果を表示する際にJavaScriptの実行を求める仕様へ切り替えました。HTMLを取得して解析するだけの実装では結果を読み取れなくなり、複数の順位計測ツールで一時的にデータが取得できない事象が起きています。
※ 当時の状況はSEO関連メディアで広く報じられ、ツールの提供各社が順次対応を行いました。
2つ目は、Google自身が法的な手段に踏み込んだことです。2025年12月、検索結果を取得して再販していたとして、GoogleがSERP APIを提供する事業者を提訴したと報じられました。訴えのなかでは、セキュリティ対策の回避やクローラー名の頻繁な変更といった手口が指摘されています。
外部のSERP APIサービスを業務に組み込む場合、その事業者がどのような方法で検索結果を取得しているかまで確認しておくほうが安全です。提供元が止まれば、こちらの業務も同時に止まります。
では、自作で制限を回避する方向はどうか。実務としてはおすすめできません。
- プロキシやIPアドレスを次々に切り替えてアクセス制限をすり抜ける
- ブラウザの識別情報を偽装して、人によるアクセスに見せかける
- アクセス間隔を詰めて短時間に大量のリクエストを送る
いずれも規約違反の度合いを強めるうえ、保守の手間が際限なく増えていきます。回避のためのコードを書き足す時間が増えるほど、本来やりたかった分析に使える時間は減っていくのです。
関連記事：SEOライティングツール比較——Surfer SEO/Frase/EmmaToolsを実務で使い倒した感想
規約の範囲で使える取得手段の比較
では、規約を踏み外さずに検索まわりのデータを扱うにはどうするか。実務で候補に挙がるのは、大きく4つの手段です。
それぞれの向き不向きを並べると、選ぶべき組み合わせが見えてきます。
| 自作スクレイピング | 外部のSERP API | Custom Search API | 専用ツールとSearch Consoleの併用 | |
|---|---|---|---|---|
| 規約との関係 | × | △ | ◎ | ○ |
| 自社サイトの順位の正確さ | △ | ○ | × | ◎ |
| 競合ページの一覧の取得 | ○ | ◎ | ○ | ○ |
| 仕様変更で止まるリスク | × | △ | ◎ | ○ |
| 立ち上げと保守の手間 | × | ○ | △ | ◎ |
自作スクレイピングは、規約と保守の両面で不利になります。外部のSERP APIサービスは取得できる範囲が広い一方、提供元がどう取得しているかという不確かさが残る点に注意が必要です。
多くの企業にとって現実的なのは、自社サイトのデータをSearch Consoleで押さえ、競合や検索結果の見え方は専用ツールで補う組み合わせでしょう。保守の担当者を置かずに続けられるという意味では、この形がいちばん途切れにくいと見ています。
公式APIを使うときの制限
Custom Search APIは、Googleが公式に提供している検索結果取得の仕組みです。規約の面では最も安全な選択肢になりますが、使う前に押さえておきたい制限が3つあります。
まず利用量です。公式ドキュメントによれば、1日あたり100クエリまでは無料で、それを超えると1,000クエリあたり5ドルの費用がかかります。1日に取得できる上限は10,000クエリ。100キーワードの順位を毎日記録するだけで、無料枠は初日に使い切る計算になります。
次に、返ってくる結果の性質です。公式APIの結果は、実際の検索画面の順位とは一致しません。プログラマブル検索エンジンの設定にもとづいた結果が返る仕組みで、通常のGoogle検索とまったく同じ並びが保証されているわけではないためです。順位計測の用途には向いていないと考えてください。
3つ目は、取得できる情報の範囲です。強調スニペットやAI Overviewといった、検索結果の画面に出ている付加的な表示は取得の対象に含まれません。検索結果の見た目そのものを調べたい場合、この方法では足りないわけです。
Custom Search APIは「検索結果の代わり」ではなく、サイト内検索や特定範囲の検索を組み込むための仕組みとして設計されています。順位計測に転用しようとすると、無料枠と精度の両方で条件が合いません。
欲しいのは検索結果か判断材料か
ここで視点を反転させましょう。ここまでは取り方の話をしてきましたが、ご相談を受けていて感じるのは、そもそも検索結果そのものを取る必要がないケースがかなり多いという点です。
Web担当者競合の上位記事をまとめて集めて分析したいのですが、毎回コピーするのが大変で。自動で取れる方法はないでしょうか。
Writers-hub編集部
そのお気持ちはよく分かります。ただ、実際には何本の記事を、どのくらいの頻度でご覧になっていますか。月に20キーワード分ほどであれば、仕組みを作って保守する時間より、手で開いて読む時間のほうが短く済むことが多いです。それに、上位記事は集めるだけでは判断材料になりません。見出しの並びや書かれていない論点を読み取る部分は、結局のところ人が担っています。
実務で検索結果が欲しいと言われたとき、中身を分解すると4種類に分かれます。そのうち3つは、検索結果を取らなくても手に入るものです。
欲しいもの | 実際の取得先 | 検索結果の取得 |
|---|---|---|
自社ページの掲載順位、表示回数、クリック数 | Search Consoleの検索パフォーマンス | 不要 |
検索される回数、関連する語 | キーワード調査ツール | 不要 |
競合ページのタイトルや見出しの並び | 対象を絞った目視、または公式API | 一部必要 |
強調スニペットやAI Overviewの表示状況 | 順位計測ツール、または目視 | 必要 |
Search Consoleは、自社サイトについてはGoogleが公式に順位データを渡してくれる場所です。平均掲載順位、表示回数、クリック数、クエリごとの内訳まで取得でき、APIも用意されています。自社の順位を追う目的なら、スクレイピングを検討する理由がそもそもありません。
必要なのは検索結果そのものではなく、そこから読み取る判断材料です。ここを取り違えると、取得の仕組みづくりに何週間もかけたあとで、集めたけれど何も決まらないという状態になります。
弊社がキーワードの設計を行うときも、上位ページの中身は目視で確認しています。件数を増やすより1本を深く読んだほうが、記事の構成に反映できる情報は多く得られる。これは日々の制作で繰り返し感じていることです。
追いかけるキーワードは、もう決まっていますか？
読み取る側の狙いが定まっていないと、どれだけデータを集めても改善は進みません。事業の目標から逆算して狙うキーワードを設計し、優先順位と目指す状態まで整理してお渡しします。
集めたデータを成果に変える手順
取得先が決まったら、次は使い方の設計です。順番を間違えると、誰も見返さないスプレッドシートだけが残ります。
順位が下がったら記事を直す、競合に新しい切り口が出たら追記する。データを見たあとに取る行動を先に決めます。行動が決まっていない指標は、集めても見返されません。
自社の順位はSearch Console、検索需要はキーワード調査ツールというように、出どころを固定します。頻度も毎日である必要はほとんどなく、記事の改善サイクルに合わせて週次や月次で足りる場合が大半です。
生のデータのままでは判断できません。順位の変化幅、流入の増減、対象記事を公開してからの経過日数を並べ、改善の優先順位が付く形にまとめます。
数値を見て終わりにせず、どの記事のどこを直すかまで決めます。ここが切れていると、計測することだけが目的になっていきます。
4つのうち、自動化して効果が大きいのは2番目と3番目です。1番目と4番目は判断そのものにあたるため、人が関わる部分がどうしても残ります。自動化の対象を選ぶときは、判断を挟まない工程かどうかで線を引いてください。
毎週の順位記録、手作業では追いつかなくなっていませんか？
20キーワードほどであれば、手で開いて確認したほうが早く済みます。対象が増えて毎週の記録と集計に手が回らなくなった段階から、仕組みにする効果が出てきます。規約に触れない範囲で自動化できる工程と、人が判断すべき工程を切り分けたうえで、実際に動く仕組みまでご提案します。
よくある質問
検索結果の取得そのもので事件化した例は確認していません。ただし過去には、公立図書館の蔵書検索システムへプログラムで繰り返しアクセスした人が逮捕された事案があり、アクセスの頻度と量が問題になる可能性は残ります。
量にかかわらず対象です。順位確認を目的とした自動アクセスは禁止として明記されており、少量なら遮断されにくいというだけで規約上の扱いは変わりません。
ツールがどう取得しているかによります。Googleの仕様変更で計測が止まった事例もあるため、契約前に取得の方法と障害時の対応を確認しておくと安心です。
Search Consoleで確認できます。平均掲載順位、表示回数、クリック数がクエリ単位で取得でき、APIも公開されているため、定期的な記録の自動化も可能です。
まとめ｜禁止かどうかより必要なデータの見極め
Google検索結果のスクレイピングは、日本の法律で直ちに違法になるわけではありません。しかしGoogleのスパムポリシーには、順位確認を目的としたスクレイピングが機械生成トラフィックとして明記されており、規約の上では禁止されています。加えて2025年1月の表示方式の変更以降、自前で取り続ける仕組みは技術的にも維持しづらくなりました。
規約の範囲で選べる手段はあります。自社サイトの順位と表示回数はSearch Console、検索需要はキーワード調査ツール、検索結果の見え方は順位計測ツール。公式のCustom Search APIも使えますが、無料枠の少なさと順位の不一致という制限があるため、用途は限られます。
そして最も大事なのは、取り方を決める前に、何のデータが要るかを決めることです。目的から逆算していくと、検索結果そのものを取らずに済む場面のほうが多いはずです。
私たち合同会社Writers-hubは、SEO記事の制作とキーワードの設計、そして制作まわりの業務自動化を手がけています。データの取得先を整理する段階から、集めた数値をどう記事の改善につなげるかまで、実務の側からご相談に応じられます。
