اختبار A/B للوجهات: العينة وعدم اليقين

تتلقى وجهتان حركة المرور، وتسجل إحداهما معدل تحويل أعلى، ويبدو أن لوحة المعلومات تقدم فائزًا واضحًا. الجزء الصعب هو تحديد ما إذا كان الفرق مفيدًا بدرجة كافية للعمل عليه. يمكن أن تؤدي العينات الصغيرة والجماهير غير المتسقة والصفحات المتغيرة والزائرين المتكررين إلى تعقيد المقارنة. قم بتخطيط القياس قبل توجيه حركة المرور، ثم قم بالإبلاغ عن النتيجة الملحوظة والأسباب التي قد تؤدي إلى عدم تعميمها على الحملة التالية.

يبدأ اختبار وجهة A/B بنتيجة واحدة واضحة

حدد ما يعتبر نجاحًا قبل بدء الاختبار. يختلف التسجيل المكتمل عن فتح النموذج، ويختلف الطلب المدفوع عن الوصول إلى صفحة إتمام الشراء. اختر نتيجة أولية تعكس القرار الذي تريد اتخاذه. سجل كيفية الإبلاغ عن كل وجهة وتأكد من تطبيق نفس القاعدة على كلا الخيارين.

حدّد المقام أيضًا. فمعدل التحويل المحسوب من الطلبات المسجلة ليس بالضرورة معدلًا محسوبًا من أشخاص مختلفين أو جلسات مستوفية للشروط. إذا كان بإمكان شخص واحد توليد عدة ملاحظات، فاعترف بهذا الاعتماد عند تفسير النتائج. يساعد دليل تتبع التحويل في تحديد مسار القياس. لا يمكن للتجربة أن تنقذ تعريف النتيجة الذي يتغير في منتصف المقارنة أو يختلف بين الصفحتين.

اجعل الجمهور وقواعد توزيع الزيارات مفهومة

لا تؤدي المقارنة بين زوار الجوال في إحدى الصفحات وزوار سطح المكتب في صفحة أخرى إلى عزل تأثير الصفحة. وكذلك لا تعزل مقارنة وجهة خلال التخفيضات بأخرى بعد انتهائها أثر الصفحة. حدد من هو المؤهل، وكيفية تعيين حركة المرور، والاختلافات التي تنوي الحفاظ عليها ثابتة. حافظ على استقرار قاعدة التوزيع أثناء جمع الملاحظات المخططة.

تدعم Lumeraya النسب المئوية لحركة المرور ضمن قواعد التوجيه المعمول بها، ولكن هذا لا يعد وعدًا بمنصة تجارب إحصائية كاملة. يعتمد التعيين على خصائص الطلب بدلاً من الهوية التي تم التحقق منها لكل شخص. يمكن أن تؤثر التغييرات في تلك الخصائص أو البيئات المشتركة على من يتبع المسار. تحقق من سلوك الإعداد الخاص بك، وقم بتوثيق الوحدة التي تراقبها فعليًا، وتجنب وصف نسبة التوجيه كعدد دقيق لأشخاص وُزّعوا عشوائيًا وباستقلالية.

اقرأ النسب المئوية بجانب الأعداد الأساسية

لنفترض أن المقارنة التوضيحية سجلت 20 تحويلاً من 200 ملاحظة مؤهلة لـ A و30 من 200 لـ B. المعدلات المرصودة هي 10 بالمائة و15 بالمائة: فرق قدره خمس نقاط مئوية، أو زيادة نسبية بنسبة 50 بالمائة على A. تشير هذه الأوصاف إلى نفس العينة، ومع ذلك يمكن أن تخلق انطباعات مختلفة تمامًا عند حذف الأعداد.

ولا تنص أي من الصيغتين على أن التحسن مستقر. توضح هذه الأرقام المخترعة العمليات الحسابية، وليس معيار لوميرايا أو تجربة منشورة. قم دائمًا بإظهار البسط والمقام بجانب المعدلات. يمكن أن تتغير النتيجة المستندة إلى عدد قليل من التحويلات بشكل كبير عند وصول عدة تحويلات أخرى. قبل اعتبار أحد التغييرات ناجحًا، اسأل ما إذا كانت الملاحظات المتاحة دقيقة بدرجة كافية لاتخاذ القرار وما إذا كانت عملية القياس ذات مصداقية.

خطط لحجم العينة حول الاختلاف المفيد

لا يوجد عدد عالمي من الزيارات يجعل كل مقارنة حاسمة. يعتمد حجم العينة المطلوب على المعدل الأساسي، وحجم الفرق الذي تريد اكتشافه، والإجراء الإحصائي المختار، وحالة عدم اليقين المقبولة. يتطلب اكتشاف تحسن صغير بشكل عام معلومات أكثر من اكتشاف تحسن كبير في ظل افتراضات مماثلة. استخدم طريقة مناسبة لوحدة القياس والنتيجة.

تصف فترات الثقة عدم اليقين بشأن المعدلات المقدرة في ظل النموذج؛ فهي لا تزيل المشاكل في التعيين أو التتبع. يشرح NIST طرق النسب والتحذيرات بشأن التقريبات البسيطة مع عينات صغيرة أو نتائج قليلة. لاتخاذ قرار مهم، استخدم أداة إحصائية مناسبة أو مراجعة مؤهلة بدلاً من اختراع علامة ثقة من لون لوحة المعلومات. قم بتوثيق الافتراضات حتى يتمكن شخص آخر من فهم كيفية التوصل إلى النتيجة.

ضع خطة مراقبة قبل التحقق من النتائج

حدد المدة المخططة والمعلومات المستهدفة وعملية المراجعة مسبقًا. اسمح بدورة العمل العادية التي تهم الجمهور، مثل سلوكيات أيام الأسبوع المختلفة، دون افتراض أن عددًا عشوائيًا من الأيام يضمن الصلاحية. حافظ على استقرار كلا الوجهتين وقواعد القياس الخاصة بهما ما لم تتطلب مشكلة تتعلق بالسلامة أو التشغيل التدخل. قم بتسجيل أي انقطاع بدلاً من التظاهر بأن جمع البيانات استمر دون تغيير.

إن التحقق المتكرر من حسابات الدلالة الإحصائية التقليدية لعينة ثابتة والتوقف عند أول نتيجة إيجابية يمكن أن يجعل الأدلة المبلغ عنها مضللة. إذا كنت بحاجة إلى مراقبة مستمرة، فاستخدم التحليل المصمم لهذه العملية. يجب أن تستمر عمليات التحقق من التشغيل بغض النظر: يحتاج النموذج المعطل أو الصفحة غير المتوفرة إلى الاهتمام. افصل بين عمليات التحقق من الموثوقية وتغيير التجربة بشكل متكرر لأن معدل التحويل الحالي مخيب للآمال.

فحص جودة حركة المرور والنتائج المفقودة

يمكن أن تؤثر معاينات الارتباط والطلبات التلقائية والاختبارات الداخلية والزيارات المتكررة على الملاحظات المتاحة لك. قم بتطبيق معالجة متسقة على كلا الخيارين ووثّق الاستبعادات قبل فحص الاختيار الذي يعطي النتيجة المفضلة. تسميات الروبوت هي تقديرات تعتمد على الإشارات المتاحة؛ فهي ليست معرفة كاملة لكل زائر. قم بمراجعة الارتفاعات والفجوات غير العادية بدلاً من الاعتماد على رقم إجمالي واحد.

يوفر دليل جودة حركة المرور سياقًا لتفسير النشاط الآلي. تحقق أيضًا مما إذا كانت أحداث التحويل تصل متأخرة، أو محظورة، أو يتم إلغاء تكرارها بشكل مختلف بين الوجهات. قد تبدو الصفحة التي تفقد بيانات التتبع ضعيفة الأداء حتى عندما يكمل مستخدموها الإجراء المقصود. قم بحل تناقضات القياس قبل أن تنسب الفرق بالكامل إلى التصميم أو النص.

الإبلاغ عن القرار وحدوده العملية

يوضح التقرير المفيد الجمهور والتواريخ وطريقة التعيين والأعداد والمعدلات وطريقة تقدير عدم اليقين وأي خروج عن الخطة. اشرح ما الذي تغير بين A وB وما بقي ثابتًا. إذا كانت النتيجة غير حاسمة، فقل ما هو القرار الذي يمكن اتخاذه بشكل معقول على أي حال: استمر في جمع المعلومات، أو احتفظ بالصفحة الأبسط، أو أعد تصميم المقارنة حول اختلاف أكثر أهمية.

عند العمل مع روابط Lumeraya، استخدم توجيهها وحركة المرور المسجلة كمدخلات لتلك العملية، ثم راجع تعليمات الروابط للتعرف على الإمكانيات المتاحة لحسابك. لا تفترض أن المسار المستند إلى النسبة المئوية يوفر تلقائيًا تعيينًا على مستوى الشخص أو دلالة إحصائية أو دليل سببي. إن قوة الاستنتاج تعتمد على التجربة وقياساتها، وليس فقط على الأداة المستخدمة لإيصال المقاصد.

قبل بدء المقارنة التالية، اكتب خطة من صفحة واحدة تحتوي على النتيجة، والجمهور المؤهل، وقاعدة التعيين، ونهج التوقف. بعد ذلك، احتفظ بالأعداد الفعلية مرئية واذكر عدم اليقين في نفس الفقرة كالنتيجة. هذه الممارسة تجعل النتيجة المتواضعة ولكن المفيدة أكثر قيمة من ادعاء التحسين المثير للإعجاب الذي يختفي عندما يفحص شخص ما كيفية قياسه.