クローリングとは？スクレイピングとの違いと手順・注意点を解説

「クローリングとスクレイピングは、どちらもWebから自動でデータを集めることだから、同じ意味だろう」。どちらもWebから自動でデータを集める話の中で使われるため、言い方が違うだけと受け取られがちです。ところが、クローリングが指すのは、リンクをたどってページを集めて回る工程だけです。集めたページから価格などの項目を抜き出す作業はスクレイピングと呼ばれ、クローリングとは別の工程にあたります。

本記事では、クローリングの意味から、スクレイピングとの違い、自社サイトと他社サイトをクローリングするときに確かめることまで、SEO記事の制作を手がける制作会社の視点で順を追ってお伝えします。

クローリングの意味と流れ

クローリングとは、プログラムがWebページのリンクをたどりながら、ページを自動で取得して回ることです。クローリングを行うプログラムはクローラーといい、ボットやスパイダーとも呼ばれます。検索エンジンが検索結果に載せるページを集めるときのほか、企業が他社サイトの価格や求人の情報を集めるときや、自社サイトを点検するときにも使われます。

クローラーが行うのは、次の4つの手順の繰り返しです。

クローラーが新しいURLを知る主な手段は、取得済みのページにあるリンクと、サイト運営者が渡すURLの一覧（XMLサイトマップ）です。どこからもリンクされず、サイトマップにも無いページは見つかりにくくなります。

スクレイピングやインデックスとの違い

クローリングがページを集める工程なのに対し、スクレイピングとインデックス登録は、集めたページを使う側の工程です。

たとえば競合の価格を調べるなら、商品一覧のページからリンクをたどって各商品のページを集めるまでがクローリングです。各ページから価格の欄だけを取り出して表にする作業が、スクレイピングにあたります。

検索結果に出ないページなら、クローリングされていないのか、クローリングの後にインデックスへの登録が見送られたのかで、直す場所が変わります。

Googleのクローリングと検索結果の関係

Googleの検索結果に出るのは、原則としてGooglebotにクローリングされたうえで、インデックスに登録されたページです。Googleは、クローリングしたページがすべてインデックスに登録されるわけではないと説明しています。

Search Consoleで見るクローリング状況

自社のページがどこで止まっているかは、Search Consoleのページ インデックス登録レポートで確かめられます。クローリングに関わる主な表示は、次の3つです。

「検出 - インデックス未登録」の多くは、GoogleがURLを見つけたものの、サイトへの負荷を避けるためにクローリングを先送りしている状態です。「クロール済み - インデックス未登録」はクローリングの問題ではありません。Googleはクロールをリクエストし直す必要はないとしています。登録されない原因の切り分け方は、Googleにインデックスされない原因｜状態別の切り分けと対処法にまとめました。

ページ インデックス登録レポート - Search Console ヘルプ

サイトのページのうち、Google が検出してインデックスに登録できるものと、インデックス登録時に発生した問題を確認できます。 ページ インデックス登録レポートを開く

🌐 support.google.com

外部リンク

※ 出典：Search Console ヘルプ「ページ インデックス登録レポート」

クローリングを早める方法と止める方法

新しいページのクローリングを早める方法は、XMLサイトマップの送信と、URL検査ツールでのインデックス登録のリクエストの2つです。同じURLのリクエストを何度送っても、早くクローリングされることはありません。リクエストの手順は、Googleクローラーとは？巡回申請の方法と来ないときの原因を解説で紹介しています。

Web担当者

公開前のページは、robots.txtでクローリングを止めておけば、検索結果に出ないですよね。

Writers-hub
編集部

robots.txtで、Googlebotのクローリングは止められます。ただ、ほかのサイトからリンクされていると、ページの中身を読まないままURLだけが検索結果に出ることがあります。公開前のページはパスワードで保護し、公開後に検索結果から外したいページにはnoindexを使います。noindexはページを読まれないと効かないため、同じページをrobots.txtで止めないようにしてください。

クロールバジェット（Googleが1つのサイトのクローリングにかけられる時間とリソースの上限）を気にする必要があるのは、大規模なサイトです。Googleは、重複のないページが1万以上あって毎日更新されるサイトなどを対象に挙げ、頻繁に更新されるページが多くないサイトは、サイトマップを最新に保ち、ページ インデックス登録レポートを定期的に確かめれば十分としています。

自社サイトを自分でクローリングして分かること

自社サイトをSEOツールでクローリングすると、Googlebotと同じようにリンクをたどったとき、どのページにたどり着けて、どのページに問題があるかが分かります。Search Consoleに出るのはGoogleがクローリングした後の結果ですが、自分でクローリングすれば、直した箇所をその場で確かめ直せます。

SEOツールのクローリングで見つかる主な問題は、次の3つです。

• リンク切れ：リンク先が404などのエラーを返すページ
• noindexの付け間違い：検索結果に出したいのに、noindexが指定されたページ
• タイトルの抜けや重複：titleタグが空か、ほかのページと同じページ

とりわけ見落とされがちなのが、どのページからもリンクされず、リンクからたどれないページです。リンクをたどるクローリングでは見つからないため、クローリングの結果から書き出したURLの一覧を、CMSの公開記事の一覧と見比べて探します。クローリングの結果に無いページには、内部リンクを張ります。

Screaming FrogのSEO Spiderは、無料版でも500URLまでクローリングできます。ただし無料版はJavaScriptを実行しないため、JavaScriptで後から表示するリンクはたどれません。

GoogleのクローリングはSearch Consoleの「クロールの統計情報」レポートでも見られますが、Googleは、ページ数が1,000未満のサイトではクロールの統計情報レポートを使う必要はないとしています。数百ページのサイトなら、ページ インデックス登録レポートと自分でのクローリングで、点検に要る情報はそろうと見ています。

他社サイトの情報をクローリングで集める手順

他社サイトの情報をクローリングで集めるときは、相手サイトのルールを確かめてから、間隔を空けて取得します。手順は次の5つです。

プログラムを書かずに集めるなら、取り出す項目を画面で選ぶノーコードのツールか、収集代行のサービスを使います。どちらを選ぶかは、相手サイトの作りが変わって取得が止まったときに、自社で設定を直せるかで決まります。

Pythonで書くときの基本形

Pythonで書くクローラーは、起点のURLと同じドメインのページだけを、最大50ページまで3秒おきに取得し、各ページのタイトルを表示する次のコードで足ります。

import time
from urllib.parse import urljoin, urlparse
from urllib.robotparser import RobotFileParser

import requests
from bs4 import BeautifulSoup

START_URL = "https://example.com/"  # 起点のURL
USER_AGENT = "MyCrawler/1.0 (+https://example.com/contact)"  # 名乗る名前と連絡先
INTERVAL = 3  # 1回の取得ごとに空ける秒数
MAX_PAGES = 50  # 取得するページ数の上限

robots = RobotFileParser(urljoin(START_URL, "/robots.txt"))
robots.read()
host = urlparse(START_URL).netloc
queue, seen, fetched = [START_URL], {START_URL}, 0

while queue and fetched < MAX_PAGES:
    url = queue.pop(0)
    if not robots.can_fetch(USER_AGENT, url):
        continue  # robots.txtで拒否されたURLは取得しない
    res = requests.get(url, headers={"User-Agent": USER_AGENT}, timeout=10)
    fetched += 1
    time.sleep(INTERVAL)
    if res.status_code == 429 or res.status_code >= 500:
        break  # 相手のサーバーが混み合っている合図が出たら止める
    if "text/html" not in res.headers.get("Content-Type", ""):
        continue
    soup = BeautifulSoup(res.content, "html.parser")
    print(url, soup.title.string if soup.title else "")
    for a in soup.find_all("a", href=True):
        link = urljoin(url, a["href"]).split("#")[0]
        if urlparse(link).netloc == host and link not in seen:
            seen.add(link)
            queue.append(link)

動かす前に、requestsとbeautifulsoup4の2つのライブラリを入れておきます。

生成AIに書かせたクローラーのコードも、動かす前に、robots.txtで拒否されたURLを飛ばす処理、1回の取得ごとに間隔を空ける処理、429や500番台のエラーで止める処理が入っているかを確かめます。

クローリングが違法になるケース

クローリングは、公開されているページを集めるだけなら、それ自体で違法になるわけではありません。問題になるのは、集め方か、集めたデータの使い方が、主に次の4つに当たるときです。

• 規約で禁じられた自動取得：規約に同意して使うサービスなら、契約違反の責任を問われるおそれがある
• 障害を起こすほどのアクセス：業務妨害の疑いをかけられるおそれがある
• 集めた文章や画像の転載：著作権の侵害にあたるおそれがある
• 目的を示さない個人情報の利用：個人情報保護法が求める、利用目的の通知か公表の義務に反する

相手のサーバーがどこまで耐えられるかは集める側から分からないため、エラーが返ってきたら止める処理が欠かせません。

集めた文章や画像を分析に使うだけなら、著作権法30条の4により、原則として著作権者の許諾は要りません。ただし、著作権者の利益を不当に害する場合は対象外で、集めた文章や画像を人に読ませるために載せる使い方も、同じ条文が認める利用には入りません。

e-Gov 法令検索

電子政府の総合窓口（e-Gov）。法令（憲法・法律・政令・勅令・府省令・規則）の内容を検索して提供します。

🌐 laws.e-gov.go.jp

外部リンク

※ 出典：e-Gov法令検索「著作権法」

Googleの検索結果をクローリングで集めたいときの規約と代わりの方法は、Google検索結果のスクレイピングは禁止？規約と代わりの取得方法にまとめました。

クローリングのよくある質問

クローリングについてよくある質問は、次の3つです。

まとめ｜クローリングは集める工程だけを指す

クローリングは、リンクをたどってページを集める工程だけを指します。項目を抜き出すスクレイピングや、検索用に保存するインデックス登録と分けて考えると、検索結果に出ない原因やデータ収集で守るルールを、どの工程で確かめればよいかが分かります。

自社サイトでは、Search Consoleでクローリングとインデックス登録のどちらで止まっているかを確かめ、リンクからたどれないページは自分でクローリングして見つけます。他社サイトから情報を集めるときは、利用規約とrobots.txtを確かめてから、間隔を空けて取得します。

私たち合同会社Writers-hubは、SEO記事の制作から、検索エンジンとAI検索に読まれるサイトの点検、情報収集などの業務の自動化までを支援しています。