転送先のA/Bテスト：標本数と不確実性

2 つの宛先がトラフィックを受け取り、1 つはより高いコンバージョン率を記録し、ダッシュボードは単純な勝者を提供しているように見えます。難しいのは、その違いが行動に移すのに十分な情報であるかどうかを判断することです。サンプルが少ない、対象ユーザーが一貫性がない、ページが変更される、繰り返し訪問するなど、すべてが比較を複雑にする可能性があります。トラフィックを誘導する前に測定を計画し、観察された結果とそれが次のキャンペーンに一般化しない理由の両方を報告します。

A/B 宛先テストは 1 つの明確な結果から始まります

テストを開始する前に、何が成功とみなされるかを定義します。完了した登録はフォームを開くこととは異なり、支払い済みの注文はチェックアウトに到達することとは異なります。あなたが下したい決定を反映する主な結果を選択してください。各宛先がどのように報告するかを記録し、両方のバリエーションに同じルールが適用されていることを確認します。

分母も定義します。記録されたリクエスト数を分母にした割合は、必ずしも重複を除いた人数や対象セッション数を分母にした割合と同じではありません。 1 人で複数の観察結果を生成できる場合は、結果を解釈するときにその依存性を認識してください。 コンバージョン トラッキング ガイド は、測定パスの確立に役立ちます。実験では、比較の途中で変更された結果の定義、または 2 つのページ間で異なる結果の定義を救済することはできません。

対象者と割り当てルールを明確にする

あるページのモバイル訪問者と別のページのデスクトップ訪問者を比較しても、ページの影響を分離することはできません。また、セール中の目的地とセール終了後の別の目的地を比較することもできません。誰が対象となるか、トラフィックがどのように割り当てられるか、どの差異を一定に保つかを指定します。計画された観測値を収集している間、割り当てルールを安定した状態に保ちます。

Lumeraya は、適用可能なルーティング ルール内のトラフィックの割合をサポートしていますが、それは完全な統計実験プラットフォームを保証するものではありません。割り当ては、すべての人の検証された身元ではなく、リクエストの特性に基づいて行われます。これらの特性や共有環境の変化は、誰がルートをたどるかに影響を与える可能性があります。セットアップがどのように動作するかを確認し、実際に観察したユニットを文書化して、ルーティングのパーセンテージを独立してランダム化された人の正確な数として記述することは避けてください。

割合と元の件数を並べて確認する

例示的な比較で、A の適格な観測値 200 から 20 件、B の対象となる観測値 200 から 30 件のコンバージョンが記録されているとします。観測された率は 10 パーセントと 15 パーセントです。これは 5パーセントポイントの差、つまり A と比べて 50 パーセントの相対的な増加です。これらの説明は同じサンプルを参照していますが、カウントが省略されていると非常に異なる印象を与える可能性があります。

どちらの文言も、改善が安定していることを証明するものではありません。この仮の数値は算術を説明するものであり、Lumeraya のベンチマークや公表された実験ではありません。割合だけでなく、分子と分母の件数を必ず併記してください。いくつかのコンバージョンに基づく結果は、さらにいくつかのコンバージョンが到着すると大幅に変化する可能性があります。バリエーションが成功したと判断する前に、利用可能な観察結果が決定に十分な精度であるかどうか、また測定プロセスが信頼できるかどうかを検討してください。

有用な差異を考慮してサンプル サイズを計画する

すべての比較を決定的にする普遍的な訪問数はありません。必要なサンプル サイズは、ベースライン レート、検出する差のサイズ、選択した統計手順、許容される不確実性によって異なります。一般に、小さな改善を検出するには、同様の仮定の下で大きな改善を検出するよりも多くの情報が必要です。測定単位と結果に適した方法を使用してください。

信頼区間は、モデルに基づく推定された割合に関する不確実性を表します。割り当てや追跡の問題が解決されるわけではありません。 NIST は、割合の計算方法と、サンプルが小さいか結果が少ない場合の単純な近似についての注意事項を説明しています。重要な決定を行う場合は、ダッシュボードの色から信頼性ラベルを作成するのではなく、適切な統計ツールや適格なレビューを使用してください。他の人がどのように結論に達したかを理解できるように仮定を文書化します。

結果を確認する前に観察計画を設定する

計画期間、目標情報、検討プロセスを事前に決定します。任意の日数が有効性を保証すると仮定せず、曜日による行動の違いなど、視聴者にとって重要な通常のビジネス サイクルを考慮します。安全性または運用上の問題で介入が必要でない限り、両方の宛先とその測定ルールを安定した状態に保ちます。収集が変更されずに継続したように見せるのではなく、中断を記録します。

通常の標本数を事前に固定する通常の有意性検定を繰り返しチェックし、最初の好ましい結果で停止すると、報告された証拠が誤解を招く可能性があります。継続的な監視が必要な場合は、そのプロセス用に設計された分析を使用してください。動作チェックは関係なく続行する必要があります。壊れたフォームや使用できないページには注意が必要です。現在のコンバージョン率が期待外れであるため、信頼性チェックと実験の繰り返しの変更を切り離してください。

トラフィックの品質と不足している結果を検査する

リンクのプレビュー、自動化されたリクエスト、内部テスト、および繰り返しの訪問は、利用可能な観察に影響を与える可能性があります。両方のバリアントに一貫した処理を適用し、どちらの選択が好ましい結果をもたらすかを検査する前に除外事項を文書化します。ボット ラベルは、利用可能なシグナルに基づいた推定値です。すべての訪問者について完璧に知っているわけではありません。 1 つの合計に依存するのではなく、異常なスパイクとギャップを確認します。

トラフィック品質ガイド は、自動化されたアクティビティを解釈するためのコンテキストを提供します。また、コンバージョンイベントが遅れて到着するか、ブロックされるか、宛先間で異なる方法で重複排除が行われるかどうかも確認します。追跡データを失ったページは、ユーザーが意図したアクションを完了した場合でも、パフォーマンスが低下しているように見える場合があります。差異全体がデザインや文章によるものであると考える前に、測定の不一致を解決してください。

現実的な限界を伴う決定を報告する

有用なレポートには、対象者、日付、割り当て方法、数、割合、不確実性方法、および計画からの逸脱が記載されています。 A と B の間で何が変わったのか、何が変わらなかったのか説明してください。結果が決定的でない場合は、とにかくどのような決定を合理的に行うことができるかを述べてください。情報収集を続けるか、よりシンプルなページを維持するか、より意味のある違いを中心に比較を再設計するかです。

Lumeraya Links を使用する場合は、そのルーティングと記録されたトラフィックをそのプロセスへの入力として使用し、アカウントで利用できる機能については Links Help を参照してください。パーセンテージベースのルートが個人レベルの割り当て、統計的有意性、または因果関係の証明を自動的に提供すると想定しないでください。結論の強さは、目的地を提供するために使用されたツールだけでなく、実験とその測定によって決まります。

次の比較を開始する前に、結果、対象となる対象者、割り当てルール、および停止アプローチを含む 1 ページの計画を作成します。その後、実際のカウントを表示したままにし、結果と同じ段落で不確実性を述べます。この実践により、控えめではあるが有用な発見が、測定方法を誰かが調査したときに消えてしまう印象的な改善の主張よりも価値のあるものになります。