A/B-тест страниц: выборка и неопределённость

Две целевые страницы получают трафик, одна показывает более высокий коэффициент конверсии, а информационная панель, кажется, указывает на очевидного победителя. Сложная часть состоит в том, чтобы решить, достаточно ли информативна разница, чтобы на нее можно было действовать. Небольшие выборки, непостоянная аудитория, изменение страниц и повторные посетители — все это может усложнить сравнение. Запланируйте измерение, прежде чем направлять трафик, а затем сообщите как о наблюдаемом результате, так и о причинах, по которым его нельзя распространить на следующую кампанию.

A/B-тестирование целевых страниц начинается с одного четкого результата

Определите, что считать успехом, до начала теста. Завершенная регистрация отличается от открытия формы, а оплаченный заказ — от достижения кассы. Выберите основной результат, который отражает решение, которое вы хотите принять. Запишите, как об этом сообщает каждый пункт назначения, и убедитесь, что к обоим вариантам применяется одно и то же правило.

Также определите знаменатель. Доля конверсий среди записанных запросов не обязательно равна доле конверсий среди отдельных людей или соответствующих критериям сеансах. Если один человек может произвести несколько наблюдений, признайте эту зависимость при интерпретации результатов. Руководство по отслеживанию конверсий помогает определить путь измерения. Эксперимент не может спасти определение результата, которое меняется в середине сравнения или различается на двух страницах.

Делайте понятными аудиторию и правила распределения трафика

Сравнение посетителей с мобильных устройств на одной странице и посетителей с компьютеров на другой не позволяет выделить влияние страницы. Также нельзя сравнивать один пункт назначения во время распродажи с другим после ее окончания. Укажите, кто имеет на это право, как распределяется трафик и какие различия вы намерены оставить постоянными. Сохраняйте стабильность правила распределения трафика при сборе запланированных наблюдений.

Lumeraya поддерживает процентное соотношение трафика в рамках применимых правил маршрутизации, но это не обещает полноценной платформы для статистических экспериментов. Назначение основано на характеристиках запроса, а не на проверенной личности каждого человека. Изменения этих характеристик или общей среды могут повлиять на то, кто следует по маршруту. Проверьте, как ведет себя ваша установка, задокументируйте единицу, которую вы фактически наблюдаете, и избегайте описания процента маршрутизации как точного количества независимо рандомизированных людей.

Сравнивайте проценты вместе с исходными количествами

Предположим, что в ходе иллюстративного сравнения зафиксировано 20 конверсий из 200 подходящих наблюдений для A и 30 из 200 для B. Наблюдаемые показатели составляют 10 процентов и 15 процентов: разница в пять процентных пунктов или относительное увеличение на 50 процентов по сравнению с A. Эти описания относятся к одной и той же выборке, однако они могут создавать совершенно разные впечатления, если не учитывать подсчеты.

Ни одна из формулировок не указывает на то, что улучшение является стабильным. Эти придуманные числа иллюстрируют арифметику, а не тест Люмерайи или опубликованный эксперимент. Всегда указывайте числитель и знаменатель рядом с долями. Результат, основанный на нескольких конверсиях, может существенно измениться, если произойдет еще несколько. Прежде чем назвать вариант успешным, спросите, достаточно ли точны имеющиеся наблюдения для принятия решения и можно ли доверять процессу измерения.

Планируйте размер выборки вокруг полезной разницы

Не существует универсального количества посещений, которое делало бы каждое сравнение решающим. Требуемый размер выборки зависит от исходной частоты конверсий, размера разницы, которую вы хотите обнаружить, выбранной статистической процедуры и приемлемой неопределенности. Обнаружение небольшого улучшения обычно требует больше информации, чем обнаружение значительного улучшения при аналогичных предположениях. Используйте метод, соответствующий вашей единице измерения и результату.

Доверительные интервалы описывают неопределенность вокруг расчётных долей в рамках модели; они не устраняют проблемы с назначением или отслеживанием. NIST объясняет методы определения пропорций и предостерегает от простых аппроксимаций с небольшими выборками или небольшим количеством результатов. Для принятия важного решения используйте подходящий статистический инструмент или квалифицированный обзор вместо того, чтобы придумывать знак доверия на основе цвета информационной панели. Задокументируйте предположения, чтобы другой человек мог понять, как был сделан такой вывод.

Установите план наблюдения перед проверкой результатов

Заранее определите запланированную продолжительность, целевую информацию и процесс анализа. Учитывайте обычный деловой цикл, который важен для аудитории, например, различное поведение в будние дни, не предполагая, что произвольное количество дней гарантирует достоверность. Сохраняйте стабильными оба пункта назначения и правила их измерения, если только проблемы безопасности или эксплуатации не требуют вмешательства. Записывайте любые перерывы, а не притворяйтесь, что сбор продолжается без изменений.

Неоднократная проверка обычных расчетов значимости фиксированной выборки и остановка на первом благоприятном результате может привести к тому, что сообщаемые данные введут в заблуждение. Если вам нужен непрерывный мониторинг, используйте анализ, предназначенный для этого процесса. Оперативные проверки должны продолжаться в любом случае: битая форма или недоступная страница требуют внимания. Отделите эти проверки надежности от неоднократного изменения эксперимента, потому что текущий коэффициент конверсии разочаровывает.

Проверяйте качество трафика и недостающие результаты

Предварительный просмотр ссылок, автоматические запросы, внутренние тесты и повторные посещения могут повлиять на доступные вам наблюдения. Примените единообразную обработку к обоим вариантам и задокументируйте исключения, прежде чем проверять, какой вариант дает предпочтительный результат. Ярлыки ботов — это оценки, основанные на доступных сигналах; они не являются идеальным знанием каждого посетителя. Анализируйте необычные пики и провалы вместо того, чтобы полагаться на одну совокупную сумму.

Руководство по качеству трафика предоставляет контекст для интерпретации автоматизированных действий. Также проверьте, не задерживаются ли события конверсии, не блокируются ли они и дедуплицируются по-разному в разных местах назначения. Страница, которая теряет данные отслеживания, может оказаться неэффективной, даже когда ее пользователи выполняют запланированное действие. Устраните несоответствия в измерениях, прежде чем приписывать всю разницу дизайну или тексту.

Сообщите о решении с его практическими ограничениями

В полезном отчете указывается аудитория, даты, метод распределения, количества, доли, метод оценки неопределённости и любые отклонения от плана. Объясните, что изменилось между А и Б, а что осталось неизменным. Если результат неубедительный, скажите, какое решение можно принять в любом случае: продолжить сбор информации, сохранить более простую страницу или перепроектировать сравнение с учетом более значимого различия.

При работе с Lumeraya Links используйте его маршрутизацию и записанный трафик в качестве входных данных для этого процесса, а затем обратитесь к Справке по ссылкам, чтобы узнать о возможностях, доступных для вашей учетной записи. Не думайте, что маршрут на основе процентов автоматически обеспечивает распределение на уровне отдельных людей, статистическую значимость или причинно-следственные доказательства. Сила вывода зависит от эксперимента и его измерений, а не только от инструмента, используемого для достижения целей.

Прежде чем приступить к следующему сравнению, напишите одностраничный план, содержащий результат, подходящую аудиторию, правило распределения трафика и подход к остановке. После этого сохраняйте видимость фактических подсчетов и указывайте неопределенность в том же абзаце, что и результат. Такая практика делает скромное, но полезное открытие более ценным, чем впечатляющее утверждение об улучшении, которое исчезает, когда кто-то изучает, как оно было измерено.