Pruebas A/B de destinos: muestra e incertidumbre

Dos destinos reciben tráfico, uno registra una tasa de conversión más alta y un panel parece ofrecer un ganador evidente. La parte difícil es decidir si la diferencia es lo suficientemente informativa como para actuar en consecuencia. Muestras pequeñas, audiencias no comparables, páginas cambiantes y visitas repetidas pueden complicar la comparación. Planifique la medición antes de dirigir el tráfico, luego informe tanto del resultado observado como de las razones por las que es posible que no se generalice a la siguiente campaña.

Las pruebas A/B de destinos comienzan con un resultado claro

Defina qué se considera éxito antes de que comience la prueba. Un registro completo es diferente a abrir un formulario, y un pedido pagado es diferente a llegar a la página de pago. Elija un resultado primario que refleje la decisión que desea tomar. Registre cómo lo informa cada destino y asegúrese de que se aplique la misma regla a ambas variantes.

Defina también el denominador. Una tasa basada en solicitudes registradas no es necesariamente una tasa basada en personas distintas o sesiones elegibles. Si una persona puede generar varias observaciones, reconozca esa dependencia al interpretar los resultados. La guía de seguimiento de conversiones ayuda a establecer la ruta de medición. Un experimento no puede compensar una definición de resultado que cambia a mitad de la comparación o difiere entre las dos páginas.

Mantenga comprensibles la audiencia y las reglas de asignación

Una comparación entre los visitantes móviles en una página y los visitantes de escritorio en otra no aísla el efecto de la página. Tampoco aísla ese efecto comparar un destino durante una promoción con otro después de que la promoción haya terminado. Especifique quién es elegible, cómo se asigna el tráfico y qué condiciones desea mantener constantes. Mantenga estable la regla de asignación mientras recopila las observaciones planificadas.

Lumeraya admite porcentajes de tráfico dentro de las reglas de enrutamiento aplicables, pero eso no es una promesa de una plataforma de experimentación estadística completa. La asignación se basa en las características de la solicitud en lugar de en una identidad verificada para cada persona. Los cambios en esas características o entornos compartidos pueden afectar quién sigue una ruta. Verifique cómo se comporta su configuración, documente la unidad que realmente observa y evite describir un porcentaje de enrutamiento como un recuento exacto de personas asignadas al azar de forma independiente.

Lea los porcentajes junto con las cifras de base

Supongamos que una comparación ilustrativa registra 20 conversiones de 200 observaciones elegibles para A y 30 de 200 para B. Las tasas observadas son 10 por ciento y 15 por ciento: una diferencia de cinco puntos porcentuales, o un aumento relativo del 50 por ciento sobre A. Esas descripciones se refieren a la misma muestra, pero pueden crear impresiones muy diferentes cuando se omiten los recuentos.

Ninguna redacción establece que la mejora sea estable. Estos números inventados ilustran la aritmética, no un punto de referencia de Lumeraya o un experimento publicado. Muestre siempre el numerador y el denominador junto con las tasas. Un resultado basado en unas pocas conversiones puede cambiar sustancialmente cuando llegan varias más. Antes de considerar exitosa una variación, pregunte si las observaciones disponibles son lo suficientemente precisas para tomar la decisión y si el proceso de medición es creíble.

Planifique el tamaño de la muestra en torno a una diferencia útil

No existe un número universal de visitas que haga que toda comparación sea decisiva. El tamaño de muestra requerido depende de la tasa de referencia, el tamaño de la diferencia que se desea detectar, el procedimiento estadístico elegido y la incertidumbre aceptable. Detectar una pequeña mejora generalmente requiere más información que detectar una gran mejora bajo supuestos similares. Utilice un método apropiado para su unidad de medida y resultado.

Los intervalos de confianza describen la incertidumbre en torno a las tasas estimadas según un modelo; no eliminan problemas en la asignación o el seguimiento. El NIST explica métodos para proporciones y advierte sobre aproximaciones simples con muestras pequeñas o pocos resultados. Para tomar una decisión importante, utilice una herramienta estadística adecuada o una revisión cualificada en lugar de inventar una etiqueta de confianza a partir del color del panel. Documente las suposiciones para que otra persona pueda entender cómo se llegó a la conclusión.

Establezca un plan de observación antes de verificar los resultados

Decida de antemano la duración planificada, la cantidad de información que se busca reunir y el proceso de revisión. Tenga en cuenta el ciclo habitual de actividad que importa a la audiencia, como los cambios de comportamiento según el día de la semana, sin asumir que un número arbitrario de días garantiza la validez. Mantenga estables ambos destinos y sus reglas de medición a menos que un problema operativo o de seguridad requiera intervención. Registre cualquier interrupción en lugar de pretender que la recolección continuó sin cambios.

Repetir los cálculos convencionales de significación estadística previstos para una muestra de tamaño fijo y detenerse en el primer resultado favorable puede hacer que la evidencia reportada sea engañosa. Si necesita un seguimiento continuo, utilice un análisis diseñado para ese proceso. Las comprobaciones operativas deben continuar independientemente: un formulario roto o una página no disponible necesitan atención. Separe esas comprobaciones de confiabilidad de cambiar repetidamente el experimento porque la tasa de conversión actual es decepcionante.

Inspeccione la calidad del tráfico y los resultados faltantes

Las vistas previas de enlaces, las solicitudes automatizadas, las pruebas internas y las visitas repetidas pueden afectar las observaciones disponibles para usted. Aplique un tratamiento consistente a ambas variantes y documente las exclusiones antes de inspeccionar qué opción da el resultado preferido. Las etiquetas de los bots son estimaciones basadas en señales disponibles; no son un conocimiento perfecto de cada visitante. Revise los picos y brechas inusuales en lugar de depender de un total agregado.

La guía de calidad del tráfico proporciona contexto para interpretar la actividad automatizada. Compruebe también si los eventos de conversión llegan tarde, están bloqueados o se deduplican de forma diferente entre los destinos. Una página que pierde datos de seguimiento puede parecer que funciona mal incluso cuando sus usuarios completan la acción prevista. Resuelva las inconsistencias de medición antes de atribuir toda la diferencia al diseño o al texto de la página.

Informe de la decisión y de sus límites prácticos

Un informe útil indica la audiencia, las fechas, el método de asignación, los recuentos, las tasas, el método para evaluar la incertidumbre y cualquier desviación del plan. Explique qué cambió entre A y B y qué permaneció fijo. Si el resultado no es concluyente, diga qué decisión se puede tomar razonablemente de todos modos: continuar recopilando información, mantener la página más simple o rediseñar la comparación en torno a una diferencia más significativa.

Cuando trabaje con Lumeraya Links, utilice su enrutamiento y el tráfico registrado como datos para ese proceso, luego consulte Ayuda de enlaces para conocer las capacidades disponibles para su cuenta. No asuma que una ruta basada en porcentaje proporciona automáticamente una asignación a nivel de persona, significación estadística o prueba causal. La fuerza de la conclusión depende del experimento y sus mediciones, no sólo de la herramienta utilizada para alcanzar los destinos.

Antes de iniciar la siguiente comparación, escriba un plan de una página que contenga el resultado, la audiencia elegible, la regla de asignación y la regla de finalización. Luego, mantenga visibles los recuentos reales e indique la incertidumbre en el mismo párrafo que el resultado. Esa práctica hace que un hallazgo modesto pero útil sea más valioso que una impresionante afirmación de mejora que desaparece cuando alguien examina cómo se midió.