広告を回してみたものの、数字を見て何が分かったのかを言葉にできない。そういう状態は、三つの工程を順に通すことで抜け出せます。ただしこの順序には理由があるため、本稿ではその理由のほうから先に扱います。
この順で進めると学びが残る理由と、始める前に決めておくこと
数字が答えにならないのは、問いがないから
まず、なぜこの順で進めると学びが残るのかを説明します。ここを飛ばすと、手順だけをなぞって同じ場所に戻ってしまうためです。
管理画面を開くと、数十の数字が並んでいます。表示された回数、押された回数、その割合、1件あたりの費用、時間帯ごとの内訳。
どれも計測されており、どれも正確です。それでも、眺めた後で何が分かったかを言えないことがあります。
理由は、数字が足りないからではありません。問いが立っていないため、どの数字を見ても「そういうものか」で終わってしまうからです。
問いのない状態では、すべての数字が同じ重みで並びます。目に入った順に読んでいくことになり、どれが自分にとっての答えなのかが決まりません。
逆に、先に問いを一つ立てておくとどうなるか。見るべき数字が一つに決まり、残りは無視してよくなります。
この「無視してよくなる」という点が効きます。判断が要らない情報が視界から消えるため、答えだけが手元に残るからです。
これが、本稿の三つの工程がこの順に並んでいる理由になります。同じ配信からでも、問いを先に立てたかどうかで残るものが変わります。
もう一つ添えておくと、問いは正しくなくても構いません。外れた問いでも、外れたと分かれば次の問いが立つからです。
困るのは、問いがない状態のほうでしょう。当たりも外れもないため、次に進む先が出てきません。
問いを立てる作業は、出す前にしかできません。数字を見た後では、目に入ったものに引っ張られるからです。
始める前に決めておく一つのこと
工程に入る前に、一つだけ決めておくことがあります。今回のテストで何を確かめないかを、はっきりさせておくことです。
広告を出すと、確かめたいことは必ず複数出てきます。誰に出すか、何を言うか、どの画像を使うか、どこへ連れていくか。
これを全部同時に扱おうとすると、後で読めなくなります。今回は一つだけを扱い、残りは次回に回すと決めておく必要があります。
捨てるほうを先に決めておくと、工程1が書きやすくなります。残った一つが、そのまま確かめたいことになるからです。
見る数字を絞るという考え方については、記事「数字が苦手でもできる数値管理。見るべきは急所だけ」でも扱っています。本稿はその手前、見る前に何を決めるかという話になります。
ここまでが前提です。ここからは、実際の三工程を順に見ていきます。
工程1:確かめたいことを一文で書く
なぜ最初にこれをするのか
最初の工程は、確かめたいことを一文で書くことです。所要時間は10分ほどで、道具も要りません。
頭の中で考えるのではなく、実際に文字にするところが肝心になります。
この工程を最初に置く理由は、ここで書いた一文が次の工程の入力になるためです。何を確かめるかが決まらないと、何を変えればよいかも決まりません。
順序としては、こうなります。問いが変える箇所を決め、変える箇所が読む数字を決める。逆からは組み立てられません。
実際に書くときの形を挙げておきます。「この言い回しに変えると、押される割合が変わるかを確かめる」という程度で構いません。
ここで大事なのは、書くという動作そのものです。頭の中に置いたままだと、曖昧なまま先へ進めてしまいます。
もう一点、この一文は他人が読んでも意味が通る形にしておきます。数日後の自分は、書いたときの文脈を覚えていないためです。
一文が書けないときの対処
書いてみると、確かめられない問いはその場で弾かれます。文字にした途端に、判定できないことが見えるからです。
たとえば「反応が良くなるか」と書いたとします。読み返すと、何と比べて良いのかが書かれていません。
この場合は、比べる相手を足します。何と何を比べて、どちらが多ければそう言えるのかまで入れると、判定できる形になります。
それでも書けない場合、まだ確かめたいことが定まっていないことになります。ここで無理に出稿へ進むと、後で読めない数字だけが残ります。
書けたら、その一文を配信が終わるまで見える場所に置いておきます。机の上でも画面の端でも構いません。
配信中に何度も目に入ることだけが条件です。ここで書いた一文が、次の工程で変える箇所を決めます。
工程2:その一文が確かめられる形に、出し方をそろえる
前の工程の一文から、変える箇所が決まる
二つ目の工程は、出し方をそろえることです。何を変え、何を変えないかを決めます。
ここで作るのは、比べられる形です。崩れると、三つ目で何も読めなくなります。
この工程が二番目にある理由は、変える箇所が前の工程の一文から自動的に出てくるからです。一文が言い回しについて書かれているなら、変えるのは言い回しだけになります。
具体的な場面で言うと、こうなります。見出しの文言だけを二種類用意し、画像も対象の範囲も同じにして出す。
そろえるというのは、変えない部分を固定するという意味です。変えたいものが一つあるなら、それ以外は動かさないことになります。
そろえる対象は、変えたいもの以外のすべてです。出す時間帯、出す相手の範囲、連れていく先のページ。どれか一つでも動くと、差の原因が増えます。
ここを面倒に感じる場面もあるでしょう。ただ、そろえる手間は出す前に一度だけ払えば済みます。読めない結果を後から解釈し直す手間のほうが大きくなります。
一度に二つ変えない理由
ここで避けたいのが、複数を同時に変えることです。効率が良さそうに見えますが、後で読めなくなります。
見出しと画像を両方変えて差が出たとします。この場合、どちらが効いたのかは分かりません。
分からないということは、次の問いも立たないということです。一度に二つ変えると、結果が出ても次にやることが決まりません。
この工程を通しておくと、差が出たときに原因を一つに絞れます。そろえていない状態では、その絞り込みができないからです。
ここでそろえた形が、次の工程で読む数字を決めます。変えた箇所に対応する数字だけを見ればよい、という状態が作られます。
もう一点、ここでそろえた条件は記録しておきます。次回に同じ形で出すとき、比べられる相手として使えるからです。
工程3:決めておいた一文に照らして読む
見る数字は、一文が指しているものだけ
ここまでで、確かめたいことと、それが確かめられる形が揃いました。残るのは読む作業だけになります。
三つ目の工程は、読むことです。ここで初めて数字を見ます。
この工程が最後にある理由は、読み方が前の二つで決まっているためです。工程1で書いた一文が、見る数字を名指ししています。
具体的には、書いておいた一文を手元に置き、それが指している数字だけを見ます。押される割合について書いたなら、押された回数と表示された回数の関係だけを見ることになります。
他の数字も画面には並んでいます。並んでいても、今回の問いに答えないものは見ません。
ここで一文を手元に置く理由は、記憶に頼らないためです。数字を見た後だと、自分が何を確かめたかったのかを都合よく思い出してしまいます。
そのため、見る前に一文を音読しておくくらいでちょうどよいでしょう。順番を守るだけで、読み方が変わります。
他の数字を見ない理由
見ないという判断には、理由があります。目に入った数字から後付けで結論を作ると、それは検証ではなくなるからです。
実際に起きるのはこういうことです。当初の問いには差が出なかったが、別の数字に目立つ動きがあった。そちらのほうが面白いので、そちらを結論にしてしまう。
この読み方の問題は、確かめていないものを確かめたことにしてしまう点にあります。先に問いを立てていない数字の動きは、たまたまそうなっただけかもしれません。
目についた動きは、捨てる必要はありません。次回の問いの候補として、別に書き留めておきます。
今回の答えは、あくまで一文が指している数字から出します。差がなかったなら「差がなかった」が今回の答えになります。
差がなかったという結果も、立派な答えです。その箇所は効かないと分かったため、次に変える場所が一つ絞り込まれます。
つまずきやすい箇所と、その見分け方
二つ目で手が止まるとき
三工程は単純ですが、実際に回すと止まる場所があります。どこで止まったかによって、戻る先が決まります。
止まりやすいのは二箇所で、一つ目は工程2へ進もうとしたときです。
変える箇所を決めようとして、手が止まる。この症状が出たときは、工程1の一文が曖昧なままだと考えられます。
一文が具体的なら、変える箇所は自動的に決まるはずです。決まらないなら、戻って一文を書き直すほうが早くなります。
ここで無理に進めると、なんとなく複数を変えた形になります。そうなると、工程3で読めません。
書き直すことは、後戻りではありません。工程1に時間をかけるほど、後の二つが短く済むという関係にあります。
三つ目で結論を出したくなるとき
二つ目のつまずきは、工程3で起きます。数字を見て、書いておいた一文とは別の発見に飛びつきたくなる場面です。
これは自然な反応でしょう。手間をかけて出した以上、何かを持ち帰りたくなるからです。
見分け方は簡単で、いま見ている数字が一文に書かれているかどうかを確かめます。書かれていないなら、それは今回の答えではありません。
もう一つ、件数が少ないうちに結論を出したくなる場面もあります。少ない件数で出た差は揺れが大きいため、向きだけを読み取って結論は保留にします。
この二つのつまずきは、どちらも工程1の書き方に戻ります。最初の一文の精度が、そのまま後の二工程の通りやすさになります。
一度通したあとに残るもの
次に使う金額の根拠が手元に残る
三つの工程を一度通すと、何が残るか。数字そのものではありません。
残るのは、次にどちらへ進めばよいかという向きです。この言い方のほうが反応があった、あるいは差がなかった、という一行になります。
この一行があると、次に使う金額に根拠が生まれます。どちらへ寄せるかが決まっているため、賭けではなくなるからです。
逆に、通さなかった場合に残るのは使った金額の記録だけです。同じ配信をしていても、手元に残るものがここまで違ってきます。
そしてこの差は、回数を重ねるほど開いていきます。向きが積み重なる側と、記録だけが積み重なる側に分かれるためです。
根拠の有無は、続けられるかどうかにも効いてきます。次に何をすればよいかが見えていれば、途中で止める理由が減るためです。
残ったものは次のテストの出発点になる
もう一つ残るのが、次の問いです。今回の答えが出ると、その先に新しい問いが立ちます。
言い回しで差が出たなら、次はその方向をもう一段進められるかを確かめることになります。差がなかったなら、変えるべきは別の箇所だったという情報が手に入ります。
どちらの結果でも、次の一文が書ける状態になります。ここが、この三工程を回す意味です。
一度通せば、次は同じ手順を短い時間で回せます。工程が身につくと、準備にかかる時間も減っていきます。
回数を重ねると、問いの質も上がっていきます。前回の答えを踏まえた問いは、はじめに立てた問いより的を絞れているためです。
総括:テストで買うのは数字ではなく、次の問い
本稿では、広告テストを三つの工程で整理しました。確かめたいことを一文で書き、その一文が確かめられる形に出し方をそろえ、決めておいた一文に照らして読む。この三つです。
この順序に理由があります。数字が答えにならないのは、数字が足りないからではなく、問いが立っていないからです。
問いがなければ、管理画面に並ぶ数十の数字はどれも同じ重みで見えます。先に一文で問いを立てると、見る数字が一つに決まり、残りは無視してよくなります。
工程のつながりも決まっています。一文が変える箇所を決め、そろえた出し方が読む数字を決めます。前の工程の出力が、次の工程の入力になっています。
止まりやすいのは二箇所です。工程2で変える箇所が決まらないなら、一文が曖昧だという合図になります。工程3で別の発見に飛びつきたくなったら、それは今回の答えではありません。
今日できるのは、次に出す広告について「何が分かれば成功か」を一文で書いてみることです。比べる相手と、どちらが多ければそう言えるかまで入れます。
書けたら、変える箇所はその一文から決まります。書けなかったなら、まだ確かめたいことが定まっていないという結果が手に入ります。
一度通した後に残るのは、数字ではなく次の問いです。問いが残っている限り、テストは続けられます。
広告費を「垂れ流し」にしないために——あわせて読みたい
この記事と同じ「WEB広告運用」では、関連するテーマをほかにも掘り下げています。気になるものから読み進めてみてください。
