A/Bテストとホールドアウトテストの違い｜「どちらが勝つか」と「やる意味があるか」

往復3時間の通勤電車。今日も満員電車に揺られながら、スマホの小さな画面でブログのボタンの色を「赤にするか、緑にするか」とA/Bテストの数値をにらめっこしている。

アフィリエイトをやっていると、こんな地道な検証の連続。少しでもCVR（コンバージョン率）が高い「勝ち案」を見つけることが、私たち個人サイト運営者の生命線だったりする。

でも、昼間は会社員として企業のマーケティングに関わっていると、少し勝手が違う場面に遭遇する。
「今回のキャンペーン、一部のユーザーを非配信にしてホールドアウトテストをしましょう」
代理店や上司から、そんな提案が飛んでくる。

最初の頃、私は心の中で猛烈にツッコミを入れていた。
「わざわざ広告を見せないグループを作るなんて、機会損失じゃないのか？」
「アフィリエイトでそんなことしたら、その日の収益が飛ぶんだけど……」
「どっちもユーザーを2つに分けて数字を比べるんだから、やってることは同じじゃないの？」と。

アフィリエイトでA/Bテストばかりやってきた人間からすると、企業の「わざわざ何もしない群を作る」ホールドアウトテストには、どうしても強い違和があった。

でも、数え切れないほどの失敗と、会社のお金を溶かしかけた（！）冷や汗ものの経験を経て、ようやく分かったことがある。
これ、テストの「形」が違うんじゃない。「答えたい問い」が全く違うのだ。

今回は、個人で泥臭くアフィリエイトのA/Bテストを回しつつ、企業で大きな予算を使ったホールドアウトにも揉まれてきた私が、この2つの本当の違いと使い分けをお話ししたい。
教科書的な統計学の話はするつもりはない。明日から上司や取引先に「なぜこのテスト設計にしたのか」を堂々と説明できるようになる、実務のためのリアルな効果測定の話。

A/Bテストとホールドアウトテストの違いを一言で表すと

以前の私は、この2つを完全に混同していた。
「まあ、どっちも半分に分けてテストするやつでしょ？」くらいに軽く考えて、予算配分の見立てを大失敗した黒歴史がある。報告会議での上司の冷たい視線は今でもトラウマだ。

そんな痛い目を見て学んだ、2つのテストの決定的な違い。
答えはシンプルで、それぞれ「何を知りたいか」という出発点が全く違う。

A/Bテストは「AとBのどちらが勝つか」

アフィリエイトでもお馴染みのA/Bテスト。これは「どちらの案がより成果を出すか」という、相対的な勝者を決めるための戦いだ。

たとえば、記事下のCTA（行動喚起）の文言。
「今すぐ申し込む」にするか、「無料で試してみる」にするか。
ボタンの位置はここか、あっちか。比較表のデザインはどっちがクリックされやすいか。

とにかく複数ある候補の中から、「一番マシなやつ（勝ち案）」を見つけ出して最適化していくのが目的。いわば、より強い施策を決めるトーナメント戦のようなものだ。

ホールドアウトテストは「施策をやる意味があったか」

一方のホールドアウトテスト。
こちらは「A案とB案の戦い」ではなく、「施策をやった世界」と「やらなかった世界」の戦い。
具体的には、対象ユーザーを分けて「広告を配信した群」と「あえて何も配信しなかった群（非施策群）」を作る。

なぜそんなもったいないことをするのか？
「その広告やプッシュ通知、クーポン配布って、本当に売上に貢献したの？」という、根本的な問いに答えるためだ。
「施策を打ったから売れた」のか、「放っておいてもどうせ売れていた」のか。その「施策による純粋な上乗せ効果（リフト）」を測るのがホールドアウトの役割。

比較表で目的と判断を整理する

頭の中を整理するために、私なりに実務ベースで表にまとめてみた。

こうやって並べると、似ているようで全く別の競技をしているのが分かるはず。

アフィリエイトでA/Bテストが使いやすい理由

私が副業のアフィリエイトでホールドアウトテストをほとんどやらないのには、切実な理由がある。
ぶっちゃけ、個人サイトで「非配信群」なんて悠長なものを作っている余裕はないのだ。

どちらの案を採用するかが直接の課題になる

個人のブログやアフィリエイトサイトでは、そもそも「広告を貼るか、貼らないか」で悩むことは少ない。「どうやったら1件でも多く発生するか」が至上命題。
だから、「このボタンの訴求、AとBどっちがいいかな？」という目の前の最適化が、そのままダイレクトな課題になる。

成果が出た案だけを残せる

A/Bテストの素晴らしいところは、テストが終わったら容赦なく「負け案」を切り捨てられること。
成果の良かった勝ち案だけを100%表示に切り替えれば、その瞬間から収益のベースラインが一段上がる。この分かりやすさと即効性は、深夜にレッドブルを飲みながら作業する個人アフィリエイターにとって最高のモチベーションになる。

収益機会を失いにくい

ここが一番大きいかもしれない。
A/Bテストなら、A案にもB案にもちゃんとアフィリエイトリンクが置かれている。どちらのユーザーにも「申し込むチャンス」は提供できているわけだ。

もしこれをホールドアウトで「半分はアフィリンクなし（非施策）」にしてしまったらどうなるか。
せっかくSEOで集めた貴重なトラフィックを、自らドブに捨てるようなもの。ただでさえアクセスを集めるのが大変な個人サイトで、意図的に収益機会を捨てるのはまさに死活問題だ。

時間とアクセスが限られている

企業サイトのように月間数百万PVもあるなら別だが、個人サイトのアクセス数はたかが知れている。
統計的に信頼できる差を出すだけでもかなりの期間が必要なのに、そこに「何もしない群」まで混ぜ込んでいたら、いつまで経っても結論が出ない。

限られた弾（アクセス）で、最速で当たり（勝ち案）を見つける。だからこそ、アフィリエイトにはA/Bテストが圧倒的にフィットするのだ。

企業広告でホールドアウトテストが必要になる理由

アフィリエイトでA/Bテストの「即効性」にどっぷり浸かっていた私は、企業でのホールドアウトテストに最初は全く納得がいかなかった。
「わざわざ広告を見せないなんて、機会損失以外の何物でもないでしょ？」と。

でも、数千万円という単位の広告予算を預かるようになり、経営陣から「この施策のROI（投資対効果）を証明しろ」と詰められるようになって、ようやくその意味を骨の髄まで理解した。
企業が非施策群を作ってまでホールドアウトをやるのは、決して予算が余っているからじゃない。それどころか、限られた予算を死守するための防衛策なのだ。

広告接触後の購入だけでは効果といえない

アフィリエイトの世界では、基本的に「自分のリンクを踏んで売れたかどうか（ラストクリック）」が全てだ。だから、広告を踏んでくれた人がいれば「自分の手柄」として素直に喜べる。

でも、企業のマーケティングでこれをやると、必ず偉い人からツッコミが入る。
「それって、広告を見なくてもどうせ買った人じゃないの？」
……この一言で、現場は凍りつく。

実際、企業が扱う商材には「もともと買うつもりだった人」や「テレビCMなど他の影響で買った人」が大量に含まれている。広告に接触した人の購入を全部「広告のおかげ」にしてしまうと、効果を過大評価してしまうのだ。

「何もしなかった場合」との差を知りたい

だからこそ、「何もしなかった世界線」を作る必要がある。

たとえば、全員にプッシュ通知を送って100個売れたとする。
これだけだと通知の効果は「100」に見える。

でも、対象者を半分に分けてホールドアウトを実施してみたらどうなるか。
・通知を送った群（50％）からは50個売れた。
・通知を送らなかった群（50％）からも40個売れた。

このとき、通知による純粋な上乗せ効果（リフト）は「10個分」しかない。
「何もしない」という比較対象があって初めて、施策の本当の実力が丸裸になる。これを知らずに「通知で100個売れました！」と報告して予算を引っ張ってくるのは、かなり危険な賭けだ。

企業では施策単体より予算配分を判断する必要がある

企業には「今期の販促予算はあと〇〇万円」という絶対的な上限がある。
その限られたお金を、Web広告に使うのか、既存顧客へのクーポンにするのか、それともシステム改修に回すのか。経営層は常に「どこに張るべきか」を判断しなければならない。

ホールドアウトテストで「この施策の純粋な効果はこれだけです」と数字で示せれば、「じゃあ、今回はクーポンをやめてWeb広告に予算を寄せよう」という重い意思決定ができる。単なる施策の改善ではなく、予算配分のための羅針盤として使われるのだ。

実施することが決まっていても、検証の意味はある

「とはいえ、もう上層部が『このキャンペーンはやる』って決めてるんですよ。検証しても無駄じゃないですか？」
過去の私は、取引先にこんな青臭いことを言ってしまったことがある。

たしかに、「やること」自体は覆らないかもしれない。
でも、結果は必ず「次」に活きる。リフト効果が薄かったと分かれば、次回は予算を減らす交渉ができる。ターゲット層を絞り込む提案もできるし、別の媒体へ予算を移す根拠にもなる。最悪、大失敗したときの「撤退ライン」の基準を作ることだってできる。

「やりっぱなし」を防ぐためにも、実施が決まっている施策にあえてホールドアウトを仕掛ける意味は、めちゃくちゃ大きいのだ。

A/Bテストで勝っても売上リフトがあるとは限らない

ここからが、アフィリエイター出身の私が実務で一番陥りやすかった罠の話だ。
A/Bテストとホールドアウトテストの違いが分かっていないと、平気でこういう事故を起こす。

AとBの両方が「何もしない」より悪い可能性がある

A/Bテストは、あくまで「出された案の中でどっちがマシか」を決める戦い。
言い換えれば、「どんぐりの背比べ」でも勝者が決まってしまう。

たとえば、（あくまで架空の数字だが）こんな地獄のようなケースを想像してみてほしい。

• 新しいバナーAのCVR：2％
• 新しいバナーBのCVR：1.5％
• 【そもそも何もしない通常のCVR：2.5％】

もしA/Bテストしかしていなかったら、「よっしゃ、A案の勝ち！ これを全配信だ！」と意気揚々とA案を採用してしまうだろう。
でも実際は、余計なバナーを出したせいでユーザーが離脱し、何もしない通常時より売上を落としている。「勝者を選んだのに、全体としてはマイナス」という最悪の事態だ。

相対的な勝者と絶対的な効果は違う

これは「相対評価」と「絶対評価」の違いに似ている。
クラスの中で一番足が速いからといって、オリンピックに出られる（絶対的な基準を満たしている）わけではない。

A/Bテストで出た「130％改善！」という派手な数字は、あくまで「負け案と比べて」の話。
その施策自体が、ビジネス全体にどれだけのプラスをもたらしたか（ホールドアウトの視点）は、全く別の次元の話なのだ。

勝ち案を過大評価しない

アフィリエイトの世界では、A/Bテストで勝った案にすべてをベットするのが正解だった。
でも、そのノリで企業の予算を突っ込むと火傷する。

「このA案、テストで圧勝したので予算を倍増させましょう！」と提案する前に、「待てよ、そもそもこの施策自体、何もしないよりマシなんだっけ？」と立ち止まる。
この冷静な視点を持てるかどうかが、テスト結果に振り回される「単なる作業者」と、ビジネスを伸ばす「マーケター」の決定的な違いだと思う。

ホールドアウトで効果が出ても最適な施策とは限らない

「じゃあ、A/Bテストよりホールドアウトの方が本質的で優れているんですね！」
勉強熱心な後輩からこう言われたことがあるが、答えはノーだ。

ホールドアウトテストには、ホールドアウトの明確な弱点がある。
それは「テストが大雑把すぎる」という致命的な欠点だ。

施策あり・なしの差しか分からない

ホールドアウトテストが教えてくれるのは、「その施策をやった世界」と「やらなかった世界」の差だけ。
要するに、「効果があったか、なかったか」の白黒しかつけてくれないのだ。

たとえば、ホールドアウトの結果、プッシュ通知で売上が10％純増したとする。
「やったー、効果あったじゃん！」と喜ぶのはいい。でも、そのプッシュ通知のテキストが「本当にそれでベストだったのか」は、このテストからは全く見えてこない。
もっと短くすれば15％増えたかもしれないし、絵文字を変えれば20％増えたかもしれない。ホールドアウトは効果の「有無」は証明できても、「最適化」には向いていないのだ。

上乗せ効果と効率は別である

さらに怖いのが、「売上が上がった＝正解」とは限らないという現実。

クーポンを全会員にばらまく施策をホールドアウトで検証したとしよう。
たしかに、非施策群と比べて売上は大きくリフトした。でも、クーポンの値引き分やシステム配信コストを差し引いたら、実は粗利がマイナスだった……なんてことは実務でよく起こる。

他にも、プッシュ通知を打ちまくって目先の売上が上がっても、ウザいと感じたユーザーが次々と「通知オフ」にしたり、アプリを消してしまったりするリスクもある。「効果があった」という数字の裏側で、長期的な顧客体験や利益効率が犠牲になっていないかを見極める必要があるのだ。

ホールドアウトだけでは改善案を選べない

つまり、ホールドアウトばかりやっていても、施策の「精度」は一向に上がらない。
「効果ありました！」「効果ありませんでした！」という報告で終わってしまい、「じゃあどうすればもっと良くなるの？」という一番大事な問いに答えられないのだ。

A/Bテストが「改善」のためのテストなら、ホールドアウトは「検証」のためのテスト。
どちらが偉いわけでもなく、役割が全く違う。この限界を知らずに「企業マーケティングはホールドアウトが正義！」と思い込んでいると、いつか成長が止まってしまう。

「アフィリエイトはA/B、企業はホールドアウト」と完全には分けられない

ここまで、分かりやすさのために「アフィリエイト＝A/Bテスト」「企業＝ホールドアウト」という対比で話を進めてきた。
でも、現実の実務はもっとグラデーションがかかっている。絶対に交わらない水と油、というわけではないのだ。

企業でもA/Bテストを使う

当然ながら、企業だってA/Bテストをガンガン回す。
「Web広告に100万円使う」と予算配分が決まったら、次はその100万円の中でいかに多くのCV（コンバージョン）を獲るかが勝負になるからだ。

バナーのデザイン、LPのキャッチコピー、メルマガの件名、クーポンの割引額（500円引きか、10％オフか）、さらには配信するターゲット層や時間帯。
こういった「限られた枠の中で、どれが一番成果を出すか」を競わせる場面では、企業であっても迷わずA/Bテストの出番となる。

アフィリエイトでもホールドアウト的な検証はできる

逆に、アフィリエイトでホールドアウトが全くできないかというと、そうでもない。
厳密な統計学上のホールドアウトとは少し違うかもしれないが、「施策A 対 施策なし」という形をとることで、ホールドアウト的な問いに答えることは可能だ。

たとえば、「記事の途中にCTAボタン（広告リンク）を置くか、置かないか」。
「冒頭に巨大な比較表を入れるか、入れないか」。
「離脱しそうな時にポップアップ広告を出すか、出さないか」。

これらは「A案とB案のどちらが勝つか」ではなく、「この邪魔かもしれない要素を入れることで、サイト全体のCV数（あるいはユーザーの滞在時間など）は純増するのか？」という効果検証。まさにホールドアウトの発想だ。

ただし個人サイトでは実施コストが大きい

とはいえ、やっぱり個人サイトでこれをやり切るのは、物理的にも精神的にもかなりハードルが高い。

まず、前述した「機会損失」の問題。非施策群を作ることで、その日の収益が目減りする恐怖と戦わなければならない。
さらに、アフィリエイト特有の「計測の限界」もある。Cookieの制限が厳しくなっている今、ASP（アフィリエイト・サービス・プロバイダ）の管理画面に飛んだ後のユーザーの細かな行動までは追いきれないことが多い。

おまけに、個人サイトの限られたCV数（母数）で、「施策あり」と「施策なし」の有意な差を出そうと思ったら、気が遠くなるほどの時間がかかる。季節要因などの外部要因も絡んできて、結局「よく分からん！」で終わってしまうことも少なくない。

だから、アフィリエイトではどうしても、目に見えて分かりやすいA/Bテストの方が「実用的」な場面が多くなる、というだけの話なのだ。

予算があるからホールドアウトをするのか

「結局、潤沢な予算があって、顧客データもシステムも揃っている大企業だからできる贅沢な遊びでしょ？」

個人でアフィリエイトをやっていた頃の私は、ホールドアウトテストに対してそんなひねくれた偏見を持っていた。自分のサイトで非配信群なんて作ったら、その日のランチ代すら稼げなくなるかもしれないのだから、そう思いたくなるのも無理はない。

予算の存在は使われやすさに影響する

たしかに、予算やインフラの有無がホールドアウトの「やりやすさ」に直結しているのは事実だ。
企業には、テストに必要なだけの膨大なトラフィック（配信母数）がある。さらに、一部のユーザーに広告を出さなくて一時的な機会損失が生まれたとしても、会社が明日いきなり倒産するわけではない。そういう「体力」があるからこそ、長期的な最適化を見据えたホールドアウトに踏み切れる。

本質は予算ではなく答えたい問いである

でも、大企業がホールドアウトをやる本当の理由は、「お金が余っているから」では決してない。
むしろ真逆。数千万円、数億円という胃が痛くなるような予算を、絶対に外せない状況で「どこに張るべきか」をシビアに見極めるためだ。

「この施策は、本当に会社の利益を底上げしているのか？」
知りたいのは、この一点に尽きる。予算の規模にかかわらず、この「問い」から逃げない姿勢こそが本質なのだ。

「予算を使う前提」と「同じ施策を続ける前提」は違う

ここで実務的な落とし穴をひとつ。
企業で働いていると、「もう代理店に今月の広告費を払っちゃったし、とにかくテストを実施したという実績が欲しい」みたいな、謎の消化試合に巻き込まれることがある。

テスト結果が出ても、予算配分も変えない。ターゲットも絞り直さない。ただ「リフト効果は〇〇％でした」という綺麗なレポートを作って、来月も同じ施策を漫然と続ける……。
こういう「結果によって何も意思決定が変わらない検証」は、完全に形骸化している。単なるアリバイ作りだ。

結果次第で、施策を止めるのか。別の媒体に予算を移すのか。ターゲット層を絞り込むのか。
「次の行動（意思決定）」が変わらないのなら、どれだけ立派なホールドアウトを実施しても、ただの自己満足で終わってしまう。

A/Bテストとホールドアウトを組み合わせる方法

では、日々の売上に追われる現場の担当者は、どうやってこの2つのテストを使いこなせばいいのか。
私が泥臭い失敗の果てにたどり着いたのは、「どっちが優れているか」という神学論争を捨てて、両方のいいとこ取りをするという結論だった。

最初にA/Bテストで施策を最適化する

まずは、武器を徹底的に磨き上げるフェーズ。
いきなりホールドアウトを仕掛けるのではなく、A/Bテストを使って「最も強いクリエイティブ」を作り上げる。

バナーのデザイン、LPのキャッチコピー、CTAの文言。複数の案を競わせて、「これが今のところ最強だ」と呼べる勝ち案（チャンピオン）を見つけ出す。
なまくら刀で戦場に出ても、正しい効果測定なんてできるわけがない。まずはA/Bテストで、施策そのもののポテンシャルを限界まで引き上げるのだ。

次にホールドアウトで施策全体の上乗せ効果を測る

最強の武器（勝ち案）が完成したら、次はいよいよホールドアウトの出番。
その磨き上げた施策を「全員にぶっぱなす」のではなく、あえて一部のユーザーを非配信にしてテストを行う。

「A/Bテストを勝ち抜いたこの精鋭クリエイティブは、何もしなかった場合と比べて、果たしてどれだけ全体に売上を上乗せしてくれるのか？」
ここで初めて、相対評価（どんぐりの背比べ）から絶対評価（ビジネスへの真の貢献度）へと視点を切り替えるわけだ。

結果を予算配分へ反映する

ホールドアウトの結果が出たら、それをもとに冷酷なまでに予算配分をジャッジする。実務では、だいたい次の4つのパターンに分かれる。

• リフトがあり、採算も合う： 文句なしの成功。非配信群をなくして100％全開で配信し、次回の予算増額も強気に狙っていく。
• リフトはあるが、採算が弱い： 売上は増えたが、広告費や値引き分を引くと利益がスズメの涙……というケース。クリエイティブのA/Bテストに戻って獲得効率を上げるか、反応が良さそうなユーザー層だけにターゲットを絞り込む。
• リフトが確認できない： 「やってもやらなくても一緒」という残酷な現実。この施策にこれ以上予算を溶かすのはやめて、別のキャンペーンや媒体へリソースを全振りする。
• マイナスリフト： 施策を打ったことで、かえって売上が落ちた状態。即刻停止し、二度と同じ事故を起こさないための検証データとしてチームに共有する。

再現性を確認してから広げる

「うまくいった！」と思っても、それがたまたま給料日後だったり、競合が大人しい時期だったりする（外部要因）こともある。
だから、一度のテスト結果を過信せず、最初は小さくテストし、再現性が確認できたら徐々に配信割合を広げていく。アフィリエイトで培った「石橋を叩いて渡る」慎重さは、企業の大きな予算を扱う時こそ、強力な武器になるのだ。

どちらのテストを選ぶべきか判断する5つの質問

ここまで長々と語ってきたが、結局「明日の実務でどっちを使えばいいの？」と迷ったときは、自分自身に次の5つの質問を投げかけてみてほしい。過去の私が、何度も失敗しながら絞り込んだチェックリストだ。

1. 複数案の中から「勝者」を選びたいのか
2. 施策を実施すること自体の「価値（上乗せ効果）」を知りたいのか
3. 非施策群（何もしない群）を作るだけの母数と、機会損失を許容できる余裕はあるか
4. このテストの最終目的は「何を変える（予算、対象者、クリエイティブなど）」ための意思決定なのか
5. テスト結果を、次の行動へ確実に反映できるか（やりっぱなしのアリバイ作りにならないか）

たとえば、実務ではこんな風に判断していくとブレない。

• CTAの文言やボタンの色を選ぶ： A/Bテスト
• アプリのプッシュ通知自体の効果を測る： ホールドアウト
• Web広告のクリエイティブ（画像や動画）を選ぶ： A/Bテスト
• そのWeb広告による売上の増分（純増）を測る： ホールドアウト
• 最適なクリエイティブを選び、かつ施策全体の効果も測る： 両方組み合わせる

もし迷ったら、「このテストが終わった後、自分は上司やクライアントに、どんな提案（意思決定）をするつもりなのか」をリアルに思い浮かべてみるといい。答えはおのずと見えてくるはずだ。

まとめ｜テスト手法ではなく、答えたい問いから選ぶ

最後に、今回のポイントを整理しておく。

• A/Bテストは複数案の中から「勝ち案」を選ぶもの
• ホールドアウトテストは施策あり・なしの「増分効果」を見るもの
• A/Bテストの勝者が、何もしない通常状態より優れているとは限らない
• ホールドアウトで効果が出ても、そのクリエイティブや訴求が最適とは限らない
• 企業でもA/Bテストをガンガン使い、アフィリエイトでもホールドアウト的検証はできる
• アフィリエイトでは母数と機会損失の問題からA/Bテストが圧倒的に使いやすい
• 企業では予算、データ、配信母数があるためホールドアウトを実施しやすい
• 本質は予算の有無ではなく、「何を意思決定したいか」である
• A/Bテストで武器を最適化し、ホールドアウトで上乗せ効果を確認する組み合わせが最強

私が一番伝えたかったのは、「どちらのテスト手法が優れているか」なんて議論は無意味だということ。
大切なのは、「このテストで何を決めたいのか」というゴールから逆算してテストを設計することだ。

「どっちが勝つか」を知りたいならA/Bテスト。
「やる意味があるか」を知りたいならホールドアウトテスト。

満員電車の中でスマホをタップしてブログのボタン色をいじっていたあの頃の自分も、会議室で大きな予算を前に冷や汗をかいている今の自分も、向き合うべき本質的な「問い」は変わらない。
数字は決して嘘をつかないけれど、どう問いかけるかで返ってくる答えは全く違うものになる。明日のテスト設計が、あなたのキャリアにとって意味のあるものになることを願っている。