広告テストの進め方。数字を見る前に仮説を立てる

WEB広告運用

広告を回してみたものの、数字を見て何が分かったのかを言葉にできない。そういう状態は、三つの工程を順に通すことで抜け出せます。ただしこの順序には理由があるため、本稿ではその理由のほうから先に扱います。

この順で進めると学びが残る理由と、始める前に決めておくこと

数字が答えにならないのは、問いがないから

まず、なぜこの順で進めると学びが残るのかを説明します。ここを飛ばすと、手順だけをなぞって同じ場所に戻ってしまうためです。

管理画面を開くと、数十の数字が並んでいます。表示された回数、押された回数、その割合、1件あたりの費用、時間帯ごとの内訳。

どれも計測されており、どれも正確です。それでも、眺めた後で何が分かったかを言えないことがあります。

理由は、数字が足りないからではありません。問いが立っていないため、どの数字を見ても「そういうものか」で終わってしまうからです。

問いのない状態では、すべての数字が同じ重みで並びます。目に入った順に読んでいくことになり、どれが自分にとっての答えなのかが決まりません。

逆に、先に問いを一つ立てておくとどうなるか。見るべき数字が一つに決まり、残りは無視してよくなります。

この「無視してよくなる」という点が効きます。判断が要らない情報が視界から消えるため、答えだけが手元に残るからです。

これが、本稿の三つの工程がこの順に並んでいる理由になります。同じ配信からでも、問いを先に立てたかどうかで残るものが変わります。

もう一つ添えておくと、問いは正しくなくても構いません。外れた問いでも、外れたと分かれば次の問いが立つからです。

困るのは、問いがない状態のほうでしょう。当たりも外れもないため、次に進む先が出てきません。

問いを立てる作業は、出す前にしかできません。数字を見た後では、目に入ったものに引っ張られるからです。

始める前に決めておく一つのこと

工程に入る前に、一つだけ決めておくことがあります。今回のテストで何を確かめないかを、はっきりさせておくことです。

広告を出すと、確かめたいことは必ず複数出てきます。誰に出すか、何を言うか、どの画像を使うか、どこへ連れていくか。

これを全部同時に扱おうとすると、後で読めなくなります。今回は一つだけを扱い、残りは次回に回すと決めておく必要があります。

捨てるほうを先に決めておくと、工程1が書きやすくなります。残った一つが、そのまま確かめたいことになるからです。

見る数字を絞るという考え方については、記事「数字が苦手でもできる数値管理。見るべきは急所だけ」でも扱っています。本稿はその手前、見る前に何を決めるかという話になります。

ここまでが前提です。ここからは、実際の三工程を順に見ていきます。

工程1:確かめたいことを一文で書く

なぜ最初にこれをするのか

最初の工程は、確かめたいことを一文で書くことです。所要時間は10分ほどで、道具も要りません。

頭の中で考えるのではなく、実際に文字にするところが肝心になります。

この工程を最初に置く理由は、ここで書いた一文が次の工程の入力になるためです。何を確かめるかが決まらないと、何を変えればよいかも決まりません。

順序としては、こうなります。問いが変える箇所を決め、変える箇所が読む数字を決める。逆からは組み立てられません。

実際に書くときの形を挙げておきます。「この言い回しに変えると、押される割合が変わるかを確かめる」という程度で構いません。

ここで大事なのは、書くという動作そのものです。頭の中に置いたままだと、曖昧なまま先へ進めてしまいます。

もう一点、この一文は他人が読んでも意味が通る形にしておきます。数日後の自分は、書いたときの文脈を覚えていないためです。

一文が書けないときの対処

書いてみると、確かめられない問いはその場で弾かれます。文字にした途端に、判定できないことが見えるからです。

たとえば「反応が良くなるか」と書いたとします。読み返すと、何と比べて良いのかが書かれていません。

この場合は、比べる相手を足します。何と何を比べて、どちらが多ければそう言えるのかまで入れると、判定できる形になります。

それでも書けない場合、まだ確かめたいことが定まっていないことになります。ここで無理に出稿へ進むと、後で読めない数字だけが残ります。

書けたら、その一文を配信が終わるまで見える場所に置いておきます。机の上でも画面の端でも構いません。

配信中に何度も目に入ることだけが条件です。ここで書いた一文が、次の工程で変える箇所を決めます。

工程2:その一文が確かめられる形に、出し方をそろえる

前の工程の一文から、変える箇所が決まる

二つ目の工程は、出し方をそろえることです。何を変え、何を変えないかを決めます。

ここで作るのは、比べられる形です。崩れると、三つ目で何も読めなくなります。

この工程が二番目にある理由は、変える箇所が前の工程の一文から自動的に出てくるからです。一文が言い回しについて書かれているなら、変えるのは言い回しだけになります。

具体的な場面で言うと、こうなります。見出しの文言だけを二種類用意し、画像も対象の範囲も同じにして出す。

そろえるというのは、変えない部分を固定するという意味です。変えたいものが一つあるなら、それ以外は動かさないことになります。

そろえる対象は、変えたいもの以外のすべてです。出す時間帯、出す相手の範囲、連れていく先のページ。どれか一つでも動くと、差の原因が増えます。

ここを面倒に感じる場面もあるでしょう。ただ、そろえる手間は出す前に一度だけ払えば済みます。読めない結果を後から解釈し直す手間のほうが大きくなります。

一度に二つ変えない理由

ここで避けたいのが、複数を同時に変えることです。効率が良さそうに見えますが、後で読めなくなります。

見出しと画像を両方変えて差が出たとします。この場合、どちらが効いたのかは分かりません。

分からないということは、次の問いも立たないということです。一度に二つ変えると、結果が出ても次にやることが決まりません。

この工程を通しておくと、差が出たときに原因を一つに絞れます。そろえていない状態では、その絞り込みができないからです。

ここでそろえた形が、次の工程で読む数字を決めます。変えた箇所に対応する数字だけを見ればよい、という状態が作られます。

もう一点、ここでそろえた条件は記録しておきます。次回に同じ形で出すとき、比べられる相手として使えるからです。

工程3:決めておいた一文に照らして読む

見る数字は、一文が指しているものだけ

ここまでで、確かめたいことと、それが確かめられる形が揃いました。残るのは読む作業だけになります。

三つ目の工程は、読むことです。ここで初めて数字を見ます。

この工程が最後にある理由は、読み方が前の二つで決まっているためです。工程1で書いた一文が、見る数字を名指ししています。

具体的には、書いておいた一文を手元に置き、それが指している数字だけを見ます。押される割合について書いたなら、押された回数と表示された回数の関係だけを見ることになります。

他の数字も画面には並んでいます。並んでいても、今回の問いに答えないものは見ません。

ここで一文を手元に置く理由は、記憶に頼らないためです。数字を見た後だと、自分が何を確かめたかったのかを都合よく思い出してしまいます。

そのため、見る前に一文を音読しておくくらいでちょうどよいでしょう。順番を守るだけで、読み方が変わります。

他の数字を見ない理由

見ないという判断には、理由があります。目に入った数字から後付けで結論を作ると、それは検証ではなくなるからです。

実際に起きるのはこういうことです。当初の問いには差が出なかったが、別の数字に目立つ動きがあった。そちらのほうが面白いので、そちらを結論にしてしまう。

この読み方の問題は、確かめていないものを確かめたことにしてしまう点にあります。先に問いを立てていない数字の動きは、たまたまそうなっただけかもしれません。

目についた動きは、捨てる必要はありません。次回の問いの候補として、別に書き留めておきます。

今回の答えは、あくまで一文が指している数字から出します。差がなかったなら「差がなかった」が今回の答えになります。

差がなかったという結果も、立派な答えです。その箇所は効かないと分かったため、次に変える場所が一つ絞り込まれます。

つまずきやすい箇所と、その見分け方

二つ目で手が止まるとき

三工程は単純ですが、実際に回すと止まる場所があります。どこで止まったかによって、戻る先が決まります。

止まりやすいのは二箇所で、一つ目は工程2へ進もうとしたときです。

変える箇所を決めようとして、手が止まる。この症状が出たときは、工程1の一文が曖昧なままだと考えられます。

一文が具体的なら、変える箇所は自動的に決まるはずです。決まらないなら、戻って一文を書き直すほうが早くなります。

ここで無理に進めると、なんとなく複数を変えた形になります。そうなると、工程3で読めません。

書き直すことは、後戻りではありません。工程1に時間をかけるほど、後の二つが短く済むという関係にあります。

三つ目で結論を出したくなるとき

二つ目のつまずきは、工程3で起きます。数字を見て、書いておいた一文とは別の発見に飛びつきたくなる場面です。

これは自然な反応でしょう。手間をかけて出した以上、何かを持ち帰りたくなるからです。

見分け方は簡単で、いま見ている数字が一文に書かれているかどうかを確かめます。書かれていないなら、それは今回の答えではありません。

もう一つ、件数が少ないうちに結論を出したくなる場面もあります。少ない件数で出た差は揺れが大きいため、向きだけを読み取って結論は保留にします。

この二つのつまずきは、どちらも工程1の書き方に戻ります。最初の一文の精度が、そのまま後の二工程の通りやすさになります。

一度通したあとに残るもの

次に使う金額の根拠が手元に残る

三つの工程を一度通すと、何が残るか。数字そのものではありません。

残るのは、次にどちらへ進めばよいかという向きです。この言い方のほうが反応があった、あるいは差がなかった、という一行になります。

この一行があると、次に使う金額に根拠が生まれます。どちらへ寄せるかが決まっているため、賭けではなくなるからです。

逆に、通さなかった場合に残るのは使った金額の記録だけです。同じ配信をしていても、手元に残るものがここまで違ってきます。

そしてこの差は、回数を重ねるほど開いていきます。向きが積み重なる側と、記録だけが積み重なる側に分かれるためです。

根拠の有無は、続けられるかどうかにも効いてきます。次に何をすればよいかが見えていれば、途中で止める理由が減るためです。

残ったものは次のテストの出発点になる

もう一つ残るのが、次の問いです。今回の答えが出ると、その先に新しい問いが立ちます。

言い回しで差が出たなら、次はその方向をもう一段進められるかを確かめることになります。差がなかったなら、変えるべきは別の箇所だったという情報が手に入ります。

どちらの結果でも、次の一文が書ける状態になります。ここが、この三工程を回す意味です。

一度通せば、次は同じ手順を短い時間で回せます。工程が身につくと、準備にかかる時間も減っていきます。

回数を重ねると、問いの質も上がっていきます。前回の答えを踏まえた問いは、はじめに立てた問いより的を絞れているためです。

総括:テストで買うのは数字ではなく、次の問い

本稿では、広告テストを三つの工程で整理しました。確かめたいことを一文で書き、その一文が確かめられる形に出し方をそろえ、決めておいた一文に照らして読む。この三つです。

この順序に理由があります。数字が答えにならないのは、数字が足りないからではなく、問いが立っていないからです。

問いがなければ、管理画面に並ぶ数十の数字はどれも同じ重みで見えます。先に一文で問いを立てると、見る数字が一つに決まり、残りは無視してよくなります。

工程のつながりも決まっています。一文が変える箇所を決め、そろえた出し方が読む数字を決めます。前の工程の出力が、次の工程の入力になっています。

止まりやすいのは二箇所です。工程2で変える箇所が決まらないなら、一文が曖昧だという合図になります。工程3で別の発見に飛びつきたくなったら、それは今回の答えではありません。

今日できるのは、次に出す広告について「何が分かれば成功か」を一文で書いてみることです。比べる相手と、どちらが多ければそう言えるかまで入れます。

書けたら、変える箇所はその一文から決まります。書けなかったなら、まだ確かめたいことが定まっていないという結果が手に入ります。

一度通した後に残るのは、数字ではなく次の問いです。問いが残っている限り、テストは続けられます。

広告費を「垂れ流し」にしないために——あわせて読みたい

この記事と同じ「WEB広告運用」では、関連するテーマをほかにも掘り下げています。気になるものから読み進めてみてください。

▶ 「WEB広告運用」の記事一覧を見る