A/B-тест сторінок: вибірка й невизначеність

Два пункти призначення отримують трафік, один реєструє вищий коефіцієнт конверсії, а інформаційна панель, здається, указує на очевидного переможця. Складна частина полягає в тому, щоб вирішити, чи є ця різниця достатньо інформативною, щоб на неї діяти. Невеликі вибірки, непостійні аудиторії, зміна сторінок і повторні відвідувачі можуть ускладнити порівняння. Сплануйте вимірювання перед тим, як скеровувати трафік, а потім повідомте як про спостережувані результати, так і про причини, через які результат може не поширюватися на наступну кампанію.

A/B-тестування цільових сторінок починається з одного чіткого результату

Визначте, що вважається успіхом до початку тесту. Завершена реєстрація відрізняється від відкриття форми, а оплачене замовлення – від досягнення каси. Виберіть основний результат, який відображає рішення, яке ви хочете прийняти. Запишіть, як кожен пункт призначення повідомляє про це, і переконайтеся, що те саме правило застосовується до обох варіантів.

Також визначте знаменник. Частка конверсій серед записаних запитів не обов’язково дорівнює частці конверсій серед окремих людей або придатних сеансів. Якщо одна людина може створити кілька спостережень, визнайте цю залежність під час інтерпретації результатів. Посібник із відстеження конверсій допомагає визначити шлях вимірювання. Експеримент не може врятувати визначення результату, яке змінюється на півдорозі порівняння або відрізняється між двома сторінками.

Тримайте аудиторію та правила розподілу трафіку зрозумілими

Порівняння відвідувачів однієї сторінки з мобільних пристроїв і відвідувачів із комп’ютерів іншої не виокремлює ефект сторінки. Так само як і порівняння одного пункту призначення під час розпродажу з іншим після завершення розпродажу. Укажіть, хто має право, як розподіляється трафік і які відмінності ви збираєтеся підтримувати постійними. Зберігайте правило розподілу трафіку стабільним під час збору запланованих спостережень.

Lumeraya підтримує відсоток трафіку в рамках відповідних правил маршрутизації, але це не обіцянка повної платформи статистичних експериментів. Призначення базується на характеристиках запиту, а не на підтвердженій особистості кожної особи. Зміни в цих характеристиках або спільному середовищі можуть вплинути на те, хто слідує маршрутом. Перевірте, як поводиться ваша установка, задокументуйте одиницю, яку ви фактично спостерігаєте, і уникайте опису відсотка маршрутизації як точної кількості незалежно рандомізованих людей.

Прочитайте відсотки поряд із основними показниками

Припустімо, що ілюстративне порівняння фіксує 20 конверсій із 200 придатних спостережень для A та 30 із 200 для B. Спостережувані показники становлять 10 відсотків і 15 відсотків: різниця на п’ять процентних пунктів або 50-відсоткове відносне збільшення порівняно з A. Ці описи стосуються однієї вибірки, але вони можуть створити дуже різні враження, якщо підрахунки опущено.

Жодне з формулювань не вказує на стабільність покращення. Ці вигадані числа ілюструють арифметику, а не еталон Lumeraya чи опублікований експеримент. Завжди показуйте чисельник і знаменник поряд із частками. Результат, заснований на кількох конверсіях, може суттєво змінитися, коли надходить ще кілька. Перш ніж назвати варіант успішним, запитайте, чи є наявні спостереження достатньо точними для прийняття рішення, і чи процес вимірювання є надійним.

Плануйте розмір вибірки навколо корисної різниці

Немає універсальної кількості відвідувань, яка робить кожне порівняння вирішальним. Необхідний розмір вибірки залежить від базової частоти, величини різниці, яку ви хочете виявити, вибраної статистичної процедури та прийнятної невизначеності. Виявлення невеликого покращення зазвичай потребує більше інформації, ніж виявлення значного за інших подібних припущень. Використовуйте метод, який відповідає вашій одиниці вимірювання та результату.

Довірчі інтервали описують невизначеність навколо оцінених показників за моделлю; вони не усувають проблем у призначенні чи відстеженні. NIST пояснює методи визначення пропорцій і застерігає щодо простих наближень із невеликими вибірками або кількома результатами. Щоб прийняти важливе рішення, скористайтеся відповідним статистичним інструментом або кваліфікованою перевіркою замість того, щоб вигадувати мітку достовірності на основі кольору інформаційної панелі. Задокументуйте припущення, щоб інша особа могла зрозуміти, як було зроблено висновок.

Встановіть план спостереження перед перевіркою результатів

Заздалегідь визначте заплановану тривалість, цільову інформацію та процес перегляду. Враховуйте звичайний бізнес-цикл, який має значення для аудиторії, наприклад різну поведінку в будні, не припускаючи, що довільна кількість днів гарантує дійсність. Підтримуйте обидва пункти призначення та їхні правила вимірювання стабільними, якщо не вимагають втручання проблеми безпеки чи експлуатації. Записуйте будь-які переривання, а не вдавайте, що збір продовжується без змін.

Неодноразова перевірка звичайних обчислень значущості фіксованої вибірки та зупинка на першому сприятливому результаті може ввести в оману подані дані. Якщо вам потрібен постійний моніторинг, використовуйте аналіз, призначений для цього процесу. Оперативні перевірки слід продовжувати у будь-якому разі: пошкоджена форма чи недоступна сторінка потребують уваги. Відокремте ці перевірки надійності від неодноразових змін експерименту, оскільки поточний коефіцієнт конверсії розчаровує.

Перевірте якість трафіку та відсутні результати

Попередній перегляд посилань, автоматичні запити, внутрішні тести та повторні відвідування можуть вплинути на доступні для вас спостереження. Застосовуйте послідовну обробку до обох варіантів і документуйте виключення, перш ніж перевіряти, який вибір дає кращий результат. Мітки ботів – це оцінки на основі доступних сигналів; вони не є ідеальним знанням кожного відвідувача. Перегляньте незвичайні стрибки та прогалини замість того, щоб покладатися на одну загальну суму.

Посібник із якості трафіку містить контекст для інтерпретації автоматизованих дій. Також перевірте, чи події конверсії не надходять із запізненням, чи не заблоковані чи дедуплікуються по-різному в різних місцях призначення. Сторінка, яка втрачає дані відстеження, може виглядати погано, навіть якщо її користувачі виконують заплановану дію. Усуньте невідповідності вимірювань, перш ніж приписувати всю різницю дизайну чи тексту.

Повідомте про рішення з його практичними обмеженнями

У корисному звіті вказано аудиторію, дати, метод розподілу, кількості, частки, метод оцінки невизначеності та будь-які відхилення від плану. Поясніть, що змінилося між А і Б, а що залишилося незмінним. Якщо результат непереконливий, скажіть, яке рішення можна прийняти в будь-якому разі: продовжувати збирати інформацію, зберегти простішу сторінку чи переробити порівняння навколо більш значущої різниці.

Працюючи з Lumeraya Links, використовуйте його маршрутизацію та записаний трафік як вхідні дані для цього процесу, а потім зверніться до Довідки Links, щоб дізнатися про можливості, доступні для вашого облікового запису. Не припускайте, що маршрут на основі відсотка автоматично надає розподіл на рівні окремих людей, статистичну значущість або причинно-наслідковий доказ. Сила висновку залежить від експерименту та його вимірювань, а не лише від інструменту, який використовується для доставки місць призначення.

Перш ніж почати наступне порівняння, напишіть односторінковий план із результатом, прийнятною аудиторією, правилом призначення та підходом до зупинки. Після цього залиште видимими фактичні підрахунки та вкажіть невизначеність у тому ж абзаці, що й результат. Така практика робить скромне, але корисне відкриття більш цінним, ніж вражаюча заява про покращення, яка зникає, коли хтось перевіряє, як це було виміряно.