آزمایش A/B مقصدها: نمونه و عدم قطعیت

دو مقصد ترافیک دریافت می کنند، یکی نرخ تبدیل بالاتری را ثبت می کند و به نظر می رسد یک داشبورد یک برنده ساده را ارائه می دهد. بخش دشوار این است که تصمیم بگیرید آیا این تفاوت به اندازه کافی آموزنده است که بتوان روی آن عمل کرد. نمونه های کوچک، مخاطبان ناسازگار، تغییر صفحات و بازدیدکنندگان مکرر همگی می توانند مقایسه را پیچیده کنند. قبل از هدایت ترافیک، اندازه گیری را برنامه ریزی کنید، سپس هم نتیجه مشاهده شده و هم دلایلی را که ممکن است به کمپین بعدی تعمیم ندهد گزارش دهید.

آزمایش مقصد A/B با یک نتیجه واضح شروع می شود

قبل از شروع آزمون، آنچه به عنوان موفقیت به حساب می آید را مشخص کنید. ثبت نام تکمیل شده با باز کردن فرم متفاوت است و سفارش پرداخت شده با رسیدن به تسویه حساب متفاوت است. یک نتیجه اولیه را انتخاب کنید که منعکس کننده تصمیمی باشد که می خواهید بگیرید. نحوه گزارش هر مقصد را ثبت کنید و مطمئن شوید که قانون یکسان برای هر دو نوع اعمال می شود.

مخرج را هم تعریف کنید. نرخ مبتنی بر درخواست های ثبت شده لزوماً نرخی بر اساس افراد متمایز یا جلسات واجد شرایط نیست. اگر یک نفر می تواند چندین مشاهدات ایجاد کند، این وابستگی را هنگام تفسیر نتایج تصدیق کنید. راهنمای ردیابی تبدیل به تعیین مسیر اندازه گیری کمک می کند. یک آزمایش نمی تواند تعریف نتیجه ای را که در نیمه راه مقایسه تغییر می کند یا بین دو صفحه متفاوت است، نجات دهد.

مخاطبان و قواعد تخصیص را قابل درک نگه دارید

مقایسه بین بازدیدکنندگان موبایل در یک صفحه و بازدیدکنندگان دسکتاپ در صفحه دیگر تأثیر صفحه را جدا نمی کند. همچنین مقایسهٔ یک مقصد در زمان تخفیف با مقصد دیگر پس از پایان تخفیف، اثر خود صفحه را جدا نمی‌کند. مشخص کنید چه کسی واجد شرایط است، چگونه ترافیک تخصیص داده می شود، و کدام تفاوت ها را می خواهید ثابت نگه دارید. هنگام جمع آوری مشاهدات برنامه ریزی شده، قانون انتساب را ثابت نگه دارید.

Lumeraya از درصد ترافیک در قوانین مسیریابی قابل اجرا پشتیبانی می کند، اما این نوید یک پلت فرم آزمایش آماری کامل نیست. انتساب به جای هویت تایید شده برای هر فرد، بر اساس ویژگی های درخواست است. تغییرات در آن ویژگی‌ها یا محیط‌های مشترک می‌تواند بر افرادی که یک مسیر را دنبال می‌کنند تأثیر بگذارد. نحوه رفتار راه‌اندازی خود را بررسی کنید، واحدی را که واقعاً مشاهده می‌کنید مستند کنید و از توصیف درصد مسیریابی به عنوان تعداد دقیق افرادی که به‌صورت مستقل و تصادفی تخصیص یافته‌اند خودداری کنید.

درصدها را در کنار شمارش های اساسی بخوانید

فرض کنید یک مقایسه گویا 20 تبدیل از 200 مشاهده واجد شرایط را برای A و 30 مورد از 200 مشاهده برای B ثبت می کند. نرخ های مشاهده شده 10 درصد و 15 درصد هستند: اختلاف پنج واحد درصدی، یا 50 درصد افزایش نسبی نسبت به A. این توصیف ها به یک نمونه ارجاع می دهند، اما با حذف تعدادهای واقعی، می‌توانند برداشت‌های بسیار متفاوتی ایجاد کنند.

هیچ‌کدام از جمله‌ها ثابت نمی‌کنند که بهبود پایدار است. این اعداد اختراع شده محاسبات را نشان می دهند، نه یک معیار Lumeraya یا یک آزمایش منتشر شده. همیشه صورت و مخرج را در کنار نرخ ها نشان دهید. یک نتیجه بر اساس چند تبدیل می تواند به طور اساسی با رسیدن چندین تبدیل دیگر تغییر کند. قبل از اینکه یک تغییر را موفقیت آمیز نامید، بپرسید که آیا مشاهدات موجود برای تصمیم گیری دقیق هستند و آیا فرآیند اندازه گیری معتبر است یا خیر.

اندازه نمونه را حول یک تفاوت مفید برنامه ریزی کنید

هیچ تعداد بازدید جهانی وجود ندارد که هر مقایسه را تعیین کننده کند. اندازه نمونه مورد نیاز به نرخ پایه، اندازه تفاوتی که می‌خواهید تشخیص دهید، روش آماری انتخاب شده و عدم قطعیت قابل قبول بستگی دارد. تشخیص یک پیشرفت کوچک معمولاً به اطلاعات بیشتری نسبت به شناسایی یک پیشرفت بزرگ تحت مفروضات مشابه نیاز دارد. از روشی متناسب با واحد اندازه گیری و نتیجه خود استفاده کنید.

فواصل اطمینان، عدم قطعیت در مورد نرخ های تخمینی را تحت یک مدل توصیف می کنند. آنها مشکلات در انتساب یا ردیابی را برطرف نمی کنند. NIST روش‌هایی را برای نسبت‌ها توضیح می‌دهد و در مورد تقریب‌های ساده با نمونه‌های کوچک یا نتایج کم هشدار می‌دهد. برای یک تصمیم مهم، به جای اختراع یک برچسب اطمینان از رنگ داشبورد، از یک ابزار آماری مناسب یا بررسی واجد شرایط استفاده کنید. مفروضات را مستند کنید تا شخص دیگری بتواند بفهمد چگونه به نتیجه رسیده است.

قبل از بررسی نتایج یک برنامه مشاهده تنظیم کنید

مدت زمان برنامه ریزی شده، اطلاعات هدف و فرآیند بررسی را از قبل تعیین کنید. چرخه تجاری معمولی را که برای مخاطب مهم است، مانند رفتارهای متفاوت در روزهای هفته، بدون این که فرض کنید تعداد روزها به صورت دلخواه اعتبار را تضمین می کند، در نظر بگیرید. هر دو مقصد و قوانین اندازه گیری آنها را ثابت نگه دارید مگر اینکه یک مشکل ایمنی یا عملیاتی نیاز به مداخله داشته باشد. هر گونه وقفه را به جای تظاهر به ادامه جمع آوری بدون تغییر، ثبت کنید.

بررسی مکرر محاسبات متعارف معنی‌داری آماری برای نمونهٔ ثابت و توقف در اولین نتیجه مطلوب می تواند شواهد گزارش شده را گمراه کننده کند. اگر به نظارت مستمر نیاز دارید، از تجزیه و تحلیل طراحی شده برای آن فرآیند استفاده کنید. بررسی های عملیاتی باید بدون توجه به این موضوع ادامه یابد: فرم خراب یا صفحهٔ خارج از دسترس نیاز به توجه دارد. این بررسی‌های قابلیت اطمینان را از تغییر مکرر آزمایش جدا کنید زیرا نرخ تبدیل فعلی ناامیدکننده است.

کیفیت ترافیک و نتایج از دست رفته را بررسی کنید

پیش‌نمایش پیوند، درخواست‌های خودکار، آزمایش‌های داخلی و بازدیدهای مکرر می‌تواند بر مشاهدات در دسترس شما تأثیر بگذارد. برای هر دو نسخه روش پردازش یکسانی به کار ببرید و قبل از بررسی اینکه کدام انتخاب نتیجه مطلوب را می دهد، موارد استثنا را ثبت کنید. برچسب های ربات بر اساس سیگنال های موجود تخمین زده می شوند. آنها دانش کاملی از هر بازدید کننده ای ندارند. به جای تکیه بر یک مجموع، جهش‌ها و فاصله‌های غیرعادی در داده‌ها را مرور کنید.

راهنمای کیفیت ترافیک زمینه ای را برای تفسیر فعالیت خودکار فراهم می کند. همچنین بررسی کنید که آیا رویدادهای تبدیل دیر به دست می‌آیند، مسدود شده‌اند یا رویدادهای تکراری آن‌ها در مقصدهای مختلف به روش‌های متفاوت حذف می‌شوند. صفحه‌ای که داده‌های ردیابی را از دست می‌دهد ممکن است عملکرد ضعیفی داشته باشد، حتی زمانی که کاربران آن اقدام مورد نظر را انجام دهند. قبل از نسبت دادن کل تفاوت به طراحی یا متن، ناسازگاری های اندازه گیری را حل کنید.

یک تصمیم را با محدودیت های عملی آن گزارش دهید

یک گزارش مفید مخاطبان، تاریخ ها، روش تخصیص، تعدادها، نرخ‌ها، روش برآورد عدم قطعیت و هرگونه انحراف از طرح را بیان می کند. توضیح دهید که چه چیزی بین A و B تغییر کرده است و چه چیزی ثابت مانده است. اگر نتیجه قطعی نیست، بگویید به هر حال چه تصمیمی منطقی می‌توان گرفت: به جمع‌آوری اطلاعات ادامه دهید، صفحه ساده‌تر را حفظ کنید، یا مقایسه را با تفاوت معنادارتر طراحی مجدد کنید.

هنگام کار با Lumeraya Links، از مسیریابی و ترافیک ثبت شده آن به عنوان ورودی آن فرآیند استفاده کنید، سپس برای قابلیت های موجود در حساب خود با راهنمای Links مشورت کنید. فرض نکنید یک مسیر مبتنی بر درصد به طور خودکار تخصیص در سطح فرد، معنی‌داری آماری یا اثبات علی را فراهم می کند. قدرت نتیجه گیری به آزمایش و اندازه گیری های آن بستگی دارد، نه تنها به ابزار مورد استفاده برای ارائه مقاصد.

قبل از شروع مقایسه بعدی، یک طرح یک صفحه ای حاوی نتیجه، مخاطبان واجد شرایط، قاعدهٔ تخصیص و رویکرد توقف بنویسید. پس از آن، تعداد واقعی را قابل مشاهده نگه دارید و عدم قطعیت را در همان پاراگراف به عنوان نتیجه بیان کنید. این عمل یک یافته ساده اما مفید را ارزشمندتر از یک ادعای بهبود چشمگیر می کند که وقتی کسی نحوه اندازه گیری آن را بررسی می کند ناپدید می شود.