ABテストの事例から学ぶ7つの検証パターン｜他社の数値が再現しない理由

「購入数が2倍になった変更なら、自社のページに入れても近い結果は出るはずだ」。公開されている事例は「どこを」「どう変えたら」「何％良くなった」の3点セットで書かれるため、改善率が変更内容の成績のように見え、同じ変更を入れれば数値もついてくると受け取られやすいのです。

しかし、記事のタイトルやリード文を比べる検証に日常的に関わってきた弊社の立場から言えるのは、改善率は変更の巧拙よりも、変更前のページにどれだけ伸びしろが残っていたかを映した数字だということです。条件の違う自社で同じ幅は出ませんが、その変更を試すに至った疑い、つまり仮説のほうは条件に左右されないので、自社のページで立て直せます。

本記事では、公開事例に繰り返し現れる7つの検証パターンから、事例を自社の検証案へ置き換える4つの手順、他社の数値が再現しないときに疑う原因まで、記事制作会社の視点で順を追ってお伝えします。

事例の数値ではなく、その裏にある仮説を持ち帰る

事例記事の構成は、たいてい「どこを」「どう変えたら」「何％良くなった」の3点セットです。このうち他社と共有できるのは最初の2つで、3つ目の数値だけは共有できません。

改善率が変更内容だけで決まらないためです。同じ「CTAボタンの文言を変えた」というテストでも、変更前の文言が極端に分かりにくければ改善幅は大きく出ますし、すでに練られた文言であれば差は出ません。つまり改善率は、変更の巧拙よりも変更前のページにどれだけ伸びしろが残っていたかを測っています。

では、何を持ち帰るのか。書き手が何を疑ったのかという部分です。「送料が最後まで分からないことが購入をためらわせているのではないか」。この一文が仮説にあたります。仮説は条件に依存しないので、自社のページでも同じ問いを立て直せます。

事例を読むときは、3つの欄を用意したメモを手元に置くと拾い漏らしが減ります。第1欄は、どの画面のどんな体験を疑ったか。第2欄は、その疑いを確かめるために何を変えたか。第3欄は、同じ疑いが自社にも当てはまるかどうか。第3欄が空欄になる事例は、どれだけ数字が派手でも読み飛ばして構いません。

数値そのものを吟味したい場合は、2つの問いを当ててみてください。1つは母数です。同じ50％の改善でも、20件が30件になった話と2,000件が3,000件になった話では確からしさがまるで違います。もう1つは期間で、1週間の結果か2か月の結果かによって、季節や広告出稿の影響の入り方が変わる。母数と期間のどちらも書かれていない事例は、数値の部分を読み飛ばして仮説だけを拾うのが安全でしょう。

関連記事：コンテンツマーケティングの基礎知識を総まとめ｜やり方から成果につなげる方法まで徹底解説

公開事例に繰り返し現れる7つの検証パターン

国内外の事例を数十本まとめて眺めると、テスト対象が限られた場所へ集まっていることに気づきます。ページのどこでも試せるはずなのに、成果が報告される場所はおおよそ7か所へ収束する。訪問者の判断が実際に切り替わるポイントが、その7か所だからでしょう。

必要な流入規模の欄が示しているのは、検出したい差の大きさとサンプル数が反比例するという性質です。訴求軸を丸ごと入れ替えるテストは差が大きく出るため少ない訪問者で判定できますが、ボタンの文言のような小さな変更は、差を確かめるだけで数万セッションを要することがあります。

1. ファーストビューの訴求軸を入れ替える

最も多く登場するのがここです。キャッチコピーとメイン画像を、別の訴求軸ごと差し替えます。価格の安さから導入までの速さへ、機能説明から利用シーンへ、といった入れ替えが典型でしょう。文字の大きさや色ではなく、誰のどの困りごとに応えるかを変えるのが要点です。

ファーストビューは全訪問者が目にするため、流入の少ないサイトでも差が現れやすい。月間のアクセス数が心もとない場合、最初に触るべき場所はここになります。

2. CTAの文言を、押した先が分かる言葉に変える

「送信する」「詳しくはこちら」といった動作名を、押すと何が起きるのかを示す言葉へ置き換えるテストです。所要時間や受け取れるものを含める形が多く報告されています。

現場の感触として、ボタンの文言そのものより効くのは、押す直前の不安を打ち消す一言です。ボタン下に置く「登録は不要です」「営業のご連絡はいたしません」といった短い補足は、制作コストが低いわりに動きが出やすい部類に入ります。

3. フォームの項目を減らす、または分割する

減らす系と分ける系の2系統があります。前者は入力量そのものを削って離脱を防ぎ、後者は1画面に並んでいた項目を複数ステップへ分け、見た目の負担を下げる手法です。

項目を減らすと営業側が困るというせめぎ合いは、どの組織でも起きます。折衷案として、フォームでは最小限だけ受け取り、残りを送信後のサンクスページや初回連絡で聞く設計へ組み替える方法があります。事例で「項目を減らした」と書かれていても、社内では削除ではなく取得タイミングの移動として提案したほうが通りやすいでしょう。

4. 価格と条件の見せ方を変える

価格を出すか出さないか、送料や初期費用をどの時点で開示するか。ここは事例の結論が割れる領域です。早く開示したほうが良かったという報告もあれば、伏せたほうが問い合わせが増えたという報告もあります。

矛盾しているように見えて、実際は訪問者の検討段階が違うだけです。比較検討の終盤にいる人には早い開示が親切に働き、まだ課題が言語化されていない人には価格が判断の材料になりません。事例の結論が割れる項目は、他社の答えを借りられない項目だと考えてください。

5. ページ内の情報の並び順を入れ替える

要素は一切作り直さず、順番だけを変えます。料金表を上げる、導入実績を機能説明より先に置く、よくある質問を問い合わせ導線の直前へ移す。制作コストがほぼかからないわりに、数字が動くことのある検証です。

順番の入れ替えは、訪問者が何を先に知りたいかという仮説を、そのまま形にできる点でも扱いやすい。最初の1本として選ぶ検証としては、ファーストビューと並んで現実的な候補になります。

6. 画像と人物の見せ方を変える

表情、視線の向き、実写かイラストか。人物の視線をフォームの方向へ向けるといった検証は古くから知られていますが、業種や商材への依存が強く、他社の結果をあてにしにくい領域です。比較表で再現性を最も低く置いたのは、この理由によります。

画像の検証で意味を持ちやすいのは、見た目の好みではなく情報量が変わる差し替えのほうです。イメージ写真を実際の画面キャプチャや作業風景へ置き換えると、訪問者が受け取る情報そのものが増えます。同じ「画像を変えた」でも、雰囲気だけを入れ替える検証と、伝わる内容が変わる検証では、期待できるものが違う。

7. メールの件名と配信タイミングを変える

Webページより試行回数を稼ぎやすいのがメールです。件名の長短、数字を入れるかどうか、配信の時間帯。1通あたりの結果が数時間で見えるため、仮説を立てて確かめるという一連の流れを練習する場としても向いています。

ただし開封率だけを追いかけると、件名が本文の内容から離れていきます。開封率と、その先のクリック率や配信解除率をあわせて見る決まりにしておけば、短期的に開かせるだけの件名へ寄りすぎずに済むはずです。

関連記事：コンテンツマーケティングの成功法則を解説｜事例から読み解く成果を上げるポイント

他社の事例が自社で再現しない5つの原因

事例のとおりに変更したのに数字が動かなかった、という相談は珍しくありません。実装ミスを疑う前に、次の前提が混ざっていないかを確かめてみてください。

• 事例の改善率を、自社テストの目標値としてそのまま設定している
• 勝った変更内容だけを見て、書き手が何を疑ったのかを読み飛ばしている
• 変更前のページの状態を比べずに、変更後の形だけを移植している
• 差が出なかったテストや負けたテストの存在を、計算に入れていない
• 事例が実施された時期の流入構成や検索環境が、今と同じだと考えている

5つのうち、影響が大きいのは4番目です。ツールを提供する企業や支援会社が公開する事例は、成果が出たものに限られます。負けたテストは公開されないため、事例は勝ち筋に偏ります。実務では、明確な差が出る検証は打った本数の一部にとどまるのが普通で、事例集の背後には表に出ない検証が積み重なっていると考えておくと、期待値がずれません。

3番目も見落とされがちです。事例に載っている変更前の画面が、自社の現状よりずっと粗いというのはよくあります。すでに一度整えたページへ同じ変更を入れても、伸びしろが残っていないので差は出ない。

経営者

他社の事例と同じ変更を入れたのに、うちでは数字が動きませんでした。実装を間違えているのでしょうか。

実装の確認より先に見ていただきたいのは、変更前のページ同士の比較です。

Writers-hub
編集部

事例のビフォー画面と、自社の現在の画面を並べてみてください。自社のほうがすでに整っているなら、同じ変更で差が出ないのは自然な結果です。差が出なかったこと自体は、その要素が今のボトルネックではないという情報になります。次にどこを疑うかの材料として、必ず記録に残しておいてください。

もうひとつ、流入構成の違いも効きます。広告からの訪問者が中心のページと、検索から来た訪問者が中心のページでは、同じ画面を見たときの反応が変わる。事例のページがどこから人を集めていたかまで書かれていることは少ないので、自社の流入内訳と照らして読む癖をつけておくと安全です。

最後に、判定の作法にも触れておきます。事例に改善率が書かれていても、その数値が偶然の範囲を超えていたかどうかまでは記されていないことが大半でしょう。ここには落とし穴が2つあります。

ひとつは、途中経過を見て打ち切る運用です。テスト開始直後の数字は大きく振れるため、有利に見えた瞬間に止めれば実力より良い改善率が記録されます。あらかじめ決めた母数か期間に達するまでは判定しないと取り決めておかなければ、記録に残る数値は実態から離れていく。

もうひとつは、検証の本数そのものです。有意水準5％で判定するということは、差のない変更でも20回に1回は差があるように見えてしまうという意味になります。20本のテストを回して1本だけ勝ったとき、その1本を成功事例として紹介することは形式上できてしまう。同じサイトで何本の検証が行われたかまで書かれた事例は、その意味で貴重です。

関連記事：コンテンツマーケティングの効果を高める方法とは｜成果を導く手順と測定指標も解説

事例を自社の検証案へ置き換える4つの手順

ここまでの内容を、実際の作業手順に落とし込みます。事例を読んだその日のうちに、次の4つを埋めてみてください。

つまずきやすいのは3番目と4番目です。3番目を飛ばすと、他社では成り立っていた前提が自社では成立していない検証に、期間を丸ごと使うことになる。自社のデータで前提が成り立つかを先に確かめる工程は、事例を読む時間より短く済むわりに、無駄なテストを最も多く減らしてくれます。

4番目でよく起きるのは、改善幅を控えめに見積もりすぎて必要セッション数が跳ね上がる設計です。「5％の改善が確かめられれば十分」と考えた瞬間、必要な訪問者数は跳ね上がる。検証したい差は、控えめではなく大きめに置くほうが現実的に回ります。

テストの型は4つ。事例の表記に引きずられない

事例には「多変量テストを実施」といった記述が添えられていることがあります。ただ、同じ検証を自社でも同じ型で行う必要はありません。型は目的ではなく、比べたいものの数で決まります。

多くの現場にとって現実的な入口は同一URLテストです。多変量テストは組み合わせの数だけ母数が必要になるため、大規模サイト以外では期間内に判定が終わりません。事例で多変量と紹介されていた検証も、要素を1つずつ確かめる形へ分解すれば、同一URLテストで追いかけられます。

古い事例を読むときの注意もひとつ。事例記事の中には、Googleオプティマイズを前提に設定手順が書かれたものが残っています。このツールは2023年9月30日に提供を終了しているため、画面や手順をそのままなぞることはできません。

※ 出典 Googleアナリティクスヘルプ「［2023年9月廃止］Googleオプティマイズ」

[2023 年 9 月廃止] Google オプティマイズ - アナリティクス ヘルプ

2023 年 9 月 30 日以降、Google オプティマイズとオプティマイズ 360 はご利用いただけなくなります。実施中のすべてのテストとパーソナライズは、この日をもって終了しています。 よくある質問 オプティマイズのサポートが終了したのはなぜですか？ Google は今後も、あらゆる規模のビジネスがユーザー エクスペリエンスを改善できるよう取り組んでまいります。Google アナリテ

🌐 support.google.com

外部リンク

記事コンテンツで試せるABテスト

公開されているABテストの事例は、LPやECの購入導線に偏っています。ところが記事コンテンツにも検証できる場所は複数あり、しかもツールを導入せずに始められるものが混じっています。

代表がタイトルです。同じURLのままタイトルだけを差し替え、掲載順位が安定している期間の検索結果でのクリック率を前後で比べる。厳密には同時並行の比較ではないため季節変動の影響を受けますが、タイトルの検証はサイト側の実装なしで始められます。手順は記事タイトルのA/Bテスト方法で詳しく扱っています。

リード文も検証対象になります。結論を先に置くか、課題の提示から入るか。読了率とページ内の到達率で差が見えることがあり、記事の型そのものを決める判断材料になります。

• タイトルの訴求軸（数値を出す型と問いかけ型）
• リード文で結論を先に出すか、課題提示から入るか
• 記事内CTAを本文の途中に置くか、末尾だけに置くか
• CTA周辺の一文を、記事の内容に合わせた文言へ変えるか
• 関連記事の並べ方（新着順とトピック順）

記事内CTAは、位置と文言のどちらも動きます。位置については、読者の課題が言語化された直後の段落末が有力な候補です。文言は、どの記事にも貼れる汎用の呼びかけと、記事の内容を受けた固有の呼びかけを比べると差が出やすい。コンバージョンの考え方はオウンドメディアのコンバージョンを増やす方法で整理しています。

これらに共通するのは、ページの作り替えを伴わずに比較対象を用意できる点です。裏を返せば、比べるための原稿さえ手元にあれば、記事は検証の回数を稼ぎやすい領域になります。止まる原因は仮説の枯渇ではなく、比較用の原稿が続かないことのほうに現れる。

事例を社内で使うときは、期待値の置き方まで含めて共有する

稟議や企画書で他社の改善率を根拠に使うと、後の運用が苦しくなります。「同業のA社は3割改善した」と書いて始めた施策が、3か月後に差なしで終わったとき、否定されるのは検証という取り組みそのものになるからです。

約束すべきは改善率ではなく、検証の本数と、そこから得られる情報の蓄積です。1本あたりの結果は運に左右されますが、本数は管理できます。

差が出なかった検証も、この記録の中では価値を持ちます。ボトルネックではない場所が1つ消えたという情報であり、次にどこを疑うかを絞り込んでくれるからです。社内へ共有するときは、勝ち負けではなく「何が分かったか」の欄を先頭に置いてください。

ABテストの事例についてよくある質問

事例の探し方と使い方について、相談の場でよく受ける質問をまとめます。

まとめ

ABテストの事例から持ち帰れるのは、改善率ではなく、書き手が何を疑ったのかという仮説です。数値のほうは、変更前のページの状態や訪問者の構成に左右されるため、条件の違う自社では再現しません。

読むときの手順を整理します。事例から仮説の一文を書き出し、自社で同じ判断を求めているページを探し、その仮説の前提が自社データで成り立つかを確かめ、判定できる大きさに設計し直す。この4つを通せば、事例集は読み物から検証案の在庫へ変わります。

そして検証を続けるうえで詰まりやすいのは、仮説の数ではなく、比較できる原稿やコピーを作り続けられるかどうかという部分です。合同会社Writers-hubでは、検証したい仮説をもとにしたコピー案の作成から、勝った案を記事やページの本文へ反映するところまでを、編集部の外部機能としてお引き受けしています。事例を眺める段階から抜け出して、自社の記録を積み上げる側へ回りたい方は、一度ご相談ください。