ABテストとカイ2乗検定　コピペするだけの検定ツールを無料進呈

執筆者

認定心理士マーケター

村田芳実

一昔前には、マーケティング施策を実行してもその効果がどのようになったのか明確にすることはできませんでした。しかし、webマーケティングの台頭で、様々なデータを入手することができ、効果測定ができるようになりました。その一つがABテストです。今回は、動画の導入を想定して、導入前後のコンバージョンを比較して、動画の導入効果を検定します。ここでは、ABテストの精度を検定するカイ2乗検定について説明します。また、ご希望の方にはここで使用する「カイ2乗検定ツール」を無料進呈します。

【導入メリット】

数値は大きな説得力を持ちます。あなたが実施したアニメ動画などのマーケティング企画がコンバージョンを増加させたと主張するときに、統計的検定結果を呈示することで、経営や上司は納得することになるでしょう。また、マーケティング会社にとっては、統計的に成果をアピールできるメリットもあり、統計を使うことで差別化できるというメリットもあります。

【ABテストとは】

ABテストは、広告を打った前後のコンバージョンの変化やDMについてキャンペーンをメールした前後の問い合わせ数の変化、また、薬品の効果確認を行うためにも使用されます。

すでに導入されている方もいるかもしれませんが、お付き合いください。

例えば、あるサイトで、web動画を導入する前まで、1,300PVでコンバージョンが90だったとすれば、コンバージョン率は6.9%ということになります。動画を導入後は、1,210PVに対して、コンバージョンが110だったとすれば、コンバージョン率は9.1%ということになります。コンバージョン率が上がっているので、動画は効果があると考えるでしょう。しかし、これが、単なる偶然の出来事かもしれません。

たとえABテストで良い結果が得られたとしても、それが偶然だった場合、次の計画が失敗する可能性があります。検定は、偶然か否かを判定しますので、PDCAを回すためにも重要です。マーケターはKPIを求められますが方向性を誤ってしまったら達成はなりません。このように今後のマーケティングにとって検定は不可欠です。

【検定を行うためのハードル】

しかし、今のところマーケターや経営者には、検定という発想はないでしょう。検定は専門的でスキルも必要であることから、導入するにはハードルが高かったのも事実です。最近では、エクセル関数の充実で検定ができるようになりましたが、それでもエクセルでカイ2乗検定を行う場合、次の図のような表を作らなければなりません。また、黄色い部分については、所定の方程式を入力します。エクセルのスキルがある人でも検定作業に要する時間は数十分要しますし、不慣れな人では半日仕事になります。これを数秒で完了させるのが「カイ2乗検定ツール」です。

【ABテストのデータ】

統計分析にとって、データは非常に重要です。次の表をご覧ください。検定作業を行うための動画導入前と導入後のPV（ページ閲覧数）、無反応件数、CV（コンバージョン・反応数）についての架空のダミーデータです（実際のデータではありません）。2022.1.1４に動画をアップしたと想定しています。

この結果、「動画を導入すれば、CVRも増加する」という仮説が成り立ちますが、この仮説を検証します。

【検定の方法】

上記データの無反応とCVの合計の青色部分をコピーして、次のカイ2乗検定ツール（※）の青色部分に貼り付けます。すると、P値（黄色い部分）に数値が現れます。

（※）カイ2乗検定ツールご希望の方は、無料進呈します。プレゼント方法は後述します。

【判定】

P値とは、この仮説が成り立たない確率です。検定には、仮説が成り立たない確率の基準を設定するルールがあります。「有意」という言葉を見聞きしたことがあるかもしれません。通常は、この基準（有意水準と呼ばれています）が0.05以下であると「有意」とされ、「P<0.0５」表記されます。「仮説が成り立たない確率が5%以下なら効果があると断言していいだろう」という考え方です。医薬品などの場合の有意水準はもっと厳しく、0.01としています。

このケースの場合、P=0.0451で0.05より小さいので有意ということになります。上司には「動画を導入することで、CVRも増加することが確認されました。検定を行いましたが、統計的にも有意でした。」と報告してください。格好いいですよ。

マーケティング会社でしたら、書面にさり気なく「P<0.0５」と表示して、説明の時には「カイ2乗検定を行ったところ有意でした」で説明してください。説得力が格段にアップします。

【検定ツール無料進呈】

ダウンロードリンクよりダウンロードしてご利用ください。

相関データサンプルダウンロード

【まとめ】

最後までお読みいただき、ありがとうございます。

統計検定というと、ハードルが高いと思っていた方も、非常に簡単に検定作業ができることがおわかりになったと思います。あなたの仕事が正当に評価されることになりますので、ぜひ、ご活用ください。

【執筆者プロフィール】

日本心理学会認定心理士・マーケター。一部上場の機械メーカーで、ユーザー会の立て直し、ブランディング、顧客満足のミッションを受け、心理学を応用することでミッションをクリア。『心理学と統計分析が最強の武器になるマーケティング戦略https://amzn.to/3ghFw3A』の執筆者