このドキュメントは、Framerを学ぶ日本国内のユーザーが日本語の資料の不足で抱える困難を解決するために、公式ブログの内容を日本語に翻訳し、実務に役立つ情報を追加しました。Framerを使用する皆様に少しでもお役に立てればと思います。

FramerのA/Bテスト紹介

FramerにはA/Bテスト機能が組み込まれています。これはデザイナーとマーケターが数分でテストを設定し、結果を分析できるように設計されたツールです。
このガイドを参考にして、簡単にA/Bテストを設計し、結果を通じてより良いウェブサイトを作りましょう。

FramerのA/Bテストの利点

• ノーコード設定:クリック数回でテストを生成できます。

• 迅速なリアルタイムデータ:結果を即座に収集し、共有できます。

• パフォーマンスへの影響なし:ページの読み込み遅延やレイアウトの乱れはありません。

• 多言語ページ対応:複数地域のサイトにも同様に適用されます。

A/Bテストを実施するタイミングは？

A/Bテストは訪問者トラフィックが多いページで最も効果的であり、訪問者が多いほど有意義な結果を早く得ることができます。
特に転換を促すよう設計されたページで新しいアイデアをテストするのに適しています。つまり、リンククリックやフォーム記入といった明確な転換イベントがある状況に適しています。

A/Bテストの設定方法

1. 新しいテストを作成する

A/Bテストは常にページ内で開始され、これを開始するには1つのページと 1つの転換イベントが必要です。ここでの転換イベントはリンククリック、フォーム送信、特定のページビューなどが該当します。

1. テストするページを右クリックする

2. 「New A/B Test」を選択する

3. ページの新たなバリアントが生成されたら完了

1ページにつき最大5つのバリアントページを作成でき、後で結果を見るときに簡単に識別できるように名前を変更して区別することができます。ここで自由にデザインを変更してもかまいませんが、すべてのバリアントで同じトラッキングIDを使用して特定行動の最適化を図ることが重要です。

注記: 現在CMSページはサポートされていませんので、ご了承ください。

2. テストを構成する

変更を加えたら次にテストを構成する番です。

1. 上部バナーの「Configure」ボタンをクリックする

2. Analyticsタブで転換ステップを選択するメッセージを確認する

3. 右側のパネルで「Steps」の「+」をクリックする

4. 追跡するイベントの種類を選択する

注記: 複数のステップを追加できますが、最後のステップは転換率を計算し、結果を測定するのに使用されます。

3. テストを開始する

構成が完了したら「Start」ボタンをクリックし、サイトを公開(Publish)します。ステージング環境を使用している場合はサイトをデプロイする必要があることをよく理解してください。
その後、Framerはテストページのビュー数とイベントを記録し始め、分析でいつでも結果を確認できます。バリアントが2つの場合、それぞれ訪問者の50%にランダムで割り当てられる構造です。

4. 結果を分析する

訪問者数が十分に集まると、結果がすぐに表示され始めます。しかし、信頼できる結論を出すにはある程度のデータが集まるのを待つのが良いでしょう。Framerの結果概要では、主要な指標と勝者発表までの残り期間などが表示され、確認することができます。

結果分析画面では以下の重要指標を確認できます。

• Conversion Rate（転換率）
  転換ステップを完了したユニーク訪問者の割合を全ユニーク訪問者で割った値で、転換完了訪問者の割合を示します。
  
  

• Lift（上昇度）
  対照群との比較における転換率の増減率を示します。この数値が正の場合、そのバリアントの成果が対照群より優れている可能性が高いことを意味します。
  
  

• Best (Probability of Being Best)
  「最良確率」と呼ぶパーセンテージで、そのバリアントが最良である可能性を示します。この値が90%を超え、十分なデータが収集されるとFramerで勝者と宣言されます。

Framerは十分なデータが確保されるとグラフを表示します。グラフが表示されると、各バリアントのパフォーマンスを経時的に比較することができます。また、結果の周辺帯は信頼区間を示し、範囲が狭いほど結果の信頼性が高いことを意味します。グラフの線が安定的に分離していると、最終結果を確実に判定できます。

5. A/Bテストを終了する

テスト結果が十分に明確になれば、結果をレビューし、決定を下す必要があります。結果が大きな差を見せる場合は、「Stop Test」ボタンをクリックしてテストを安全に終了できます。

テストが終了すると、対照群のバージョンを他のバリアントのいずれかに置き換えるようメッセージが表示されます。特定のバリアントが対照群より性能が優れている場合、そのバリアントを選んで新しい対照群として指定することができます。その後、サイトを再度公開(Publish)すると、すべての訪問者が最高得点を獲得したページを見ることができ、他のバリアントは自由に削除することができます。

時には、データが十分にあっても確実に最高確率を示すページがない場合があります。この場合でも対照群を介して置き換えることは可能ですが、そのような置き換えが分析に大きく影響しないことを理解しておくといいです。

よくある質問 (FAQ)

Q. FramerのA/Bテストはクッキーを使用しますか？
FramerのA/Bテストはクッキーを用いません。訪問者ごとにIPアドレスとブラウザ情報に基づいて匿名の識別子が割り当てられ、1日中同じページを閲覧できるようにします。この匿名性は毎日再設定され、複数の日付やデバイスをまたいでユーザーを追跡するのには使用されません。
クッキーに依存しないことで信頼性が向上しますが、日次単位でしか変換を追跡できない制限があります。Framerで使用しているA/Bテストは標準化された高度なA/Bテストツールですが、今後、より長期的で柔軟な変換ツールを提供するためにクッキーベースのシステムを追加する予定です。

Q. テスト中にバリアントを修正してもよいですか？
結果に影響を及ぼす可能性があるため、修正はお勧めしません。ただし、修正を希望する場合は、既存のテストを終了し、新しいテストを開始することをお勧めします。

Q. Framerはどの統計方式を使って勝者を決定しますか？
Framerはベイズアプローチ（Bayesian approach）を使用しています。これはデータが蓄積されるたびにあるバリアントが他のバリアントより優れている可能性をリアルタイムで計算します。固定された標本サイズやp値に頼り、頻度を重視していた従来の方法とは異なり、ベイズモデルはパフォーマンスに基づく予想(PBB)を計算します。バリアントのPBB確率が90%を超えると、勝者と見なされる構造です。

Q. 勝利したバリアントを判定するのに必要な最小訪問者数は何ですか？
勝者を選定するには、該当バリアントのPBBが最低90%の確率で最良の結果を出せる必要があり、訪問回数に関する内部基準を満たす必要があります。これにより、結果が信頼でき、少ない標本サイズに基づいていないことが保証されます。

Q. テストはどれくらいの期間実行すればいいですか？
決まった期間はありません。ただし、トラフィックが少ない場合や複数のバリアントのパフォーマンスが似ている場合、テストデータが十分でないため最終結果を予測しにくいことがあります。このような場合の結果は不確定と表示され、この際テストを中断するか、続行してより多くのインサイトを得ることができます。

A/Bテストを提供する価格設定

A/Bテストとファネル機能はScaleプランのAdvanced Analyticsアドオンに含まれています。以下の情報を確認してアドオンに関する情報をご覧ください。詳しい料金プランはFramer 価格ページで確認できます。

• 14日間の無料トライアルが可能

• その後のイベント(ページビュー、クリック、フォーム提出)単位で課金

• 使用量は月単位で計算され、サイトプランの支払いサイクルに含まれて請求

この記事はFramer公式ブログの「How to run an A/B test on your Framer site」を翻訳・アレンジしたコンテンツです。