Teste A/B de destinos: amostra e incerteza

Dois destinos recebem tráfego, um registra uma taxa de conversão mais alta e um painel parece oferecer um vencedor evidente. A parte difícil é decidir se a diferença é informativa o suficiente para agir. Amostras pequenas, públicos que não são comparáveis, alterações nas páginas e visitas repetidas podem complicar a comparação. Planeje a medição antes de direcionar o tráfego e, em seguida, relate o resultado observado e os motivos pelos quais ele pode não ser generalizado para a próxima campanha.

O teste A/B de destinos começa com um resultado claro

Defina o que conta como sucesso antes do início do teste. Um cadastro concluído é diferente de abrir um formulário, e um pedido pago é diferente de chegar à página de pagamento. Escolha um resultado primário que reflita a decisão que você deseja tomar. Registre como cada destino reporta isso e certifique-se de que a mesma regra seja aplicada a ambas as variantes.

Defina também o denominador. Uma taxa calculada a partir de solicitações registradas não é necessariamente uma taxa calculada a partir de pessoas distintas ou sessões elegíveis. Se uma pessoa puder gerar diversas observações, reconheça essa dependência ao interpretar os resultados. O guia de acompanhamento de conversão ajuda a estabelecer o caminho de medição. Um experimento não pode compensar uma definição de resultado que mude no meio da comparação ou seja diferente entre as duas páginas.

Mantenha o público e as regras de atribuição compreensíveis

Uma comparação entre visitantes em dispositivos móveis em uma página e visitantes em computadores em outra não isola o efeito da página. Comparar um destino durante uma promoção com outro após o fim da promoção também não isola esse efeito. Especifique quem está qualificado, como o tráfego é atribuído e quais condições você pretende manter constantes. Mantenha a regra de atribuição estável enquanto coleta as observações planejadas.

A Lumeraya permite definir porcentagens de tráfego dentro das regras de roteamento aplicáveis, mas isso não é uma promessa de uma plataforma completa de experimentação estatística. A atribuição é baseada nas características da solicitação e não na identidade verificada de cada pessoa. Mudanças nessas características ou ambientes compartilhados podem afetar quem segue uma rota. Verifique como sua configuração se comporta, documente a unidade que você realmente observa e evite descrever uma porcentagem de roteamento como uma contagem exata de pessoas distribuídas de forma aleatória e independente.

Leia as porcentagens ao lado das contagens subjacentes

Suponha que uma comparação ilustrativa registre 20 conversões de 200 observações elegíveis para A e 30 de 200 para B. As taxas observadas são de 10 por cento e 15 por cento: uma diferença de cinco pontos percentuais, ou um aumento relativo de 50 por cento em relação a A. Essas descrições referem-se à mesma amostra, mas podem criar impressões muito diferentes quando as contagens são omitidas.

Nenhuma das formulações estabelece que a melhoria é estável. Esses números inventados ilustram a aritmética, não uma referência de Lumeraya ou um experimento publicado. Sempre mostre o numerador e o denominador ao lado das taxas. Um resultado baseado em algumas conversões pode mudar substancialmente quando chegam várias outras. Antes de considerar uma variação bem-sucedida, pergunte se as observações disponíveis são suficientemente precisas para a decisão e se o processo de medição é confiável.

Planeje o tamanho da amostra em torno de uma diferença útil

Não existe um número universal de visitas que torne cada comparação decisiva. O tamanho da amostra necessário depende da taxa de referência, do tamanho da diferença que você deseja detectar, do procedimento estatístico escolhido e da incerteza aceitável. Detectar uma pequena melhoria geralmente requer mais informações do que detectar uma grande melhoria sob suposições semelhantes. Use um método apropriado à sua unidade de medida e resultado.

Os intervalos de confiança descrevem a incerteza em torno das taxas estimadas em um modelo; eles não eliminam problemas de atribuição ou rastreamento. O NIST explica métodos para proporções e alerta sobre aproximações simples com amostras pequenas ou poucos resultados. Para uma decisão importante, use uma ferramenta estatística adequada ou uma revisão qualificada em vez de inventar um rótulo de confiança a partir de uma cor de painel. Documente as suposições para que outra pessoa possa entender como a conclusão foi alcançada.

Defina um plano de observação antes de verificar os resultados

Decida antecipadamente a duração planejada, a quantidade de informação a reunir e o processo de revisão. Considere o ciclo comercial normal que é importante para o público, como diferenças de comportamento conforme o dia da semana, sem presumir que um número arbitrário de dias garanta a validade. Mantenha ambos os destinos e suas regras de medição estáveis, a menos que uma questão operacional ou de segurança exija intervenção. Registre qualquer interrupção em vez de fingir que a coleta continuou inalterada.

A verificação repetida dos cálculos convencionais de significância previstos para uma amostra de tamanho fixo e a parada no primeiro resultado favorável podem tornar as evidências relatadas enganosas. Se precisar de monitoramento contínuo, use uma análise desenvolvida para esse processo. As verificações operacionais devem continuar independentemente: um formulário quebrado ou uma página indisponível precisa de atenção. Separe essas verificações de confiabilidade das alterações repetidas do experimento porque a taxa de conversão atual é decepcionante.

Inspecione a qualidade do tráfego e os resultados ausentes

Prévias de links, solicitações automatizadas, testes internos e visitas repetidas podem afetar as observações disponíveis para você. Aplique um tratamento consistente a ambas as variantes e documente as exclusões antes de inspecionar qual opção fornece o resultado preferido. Os rótulos dos bots são estimativas baseadas nos sinais disponíveis; eles não são um conhecimento perfeito de todos os visitantes. Revise picos e lacunas incomuns em vez de confiar em um total agregado.

O guia de qualidade de tráfego fornece contexto para interpretar atividades automatizadas. Verifique também se os eventos de conversão chegam atrasados, estão bloqueados ou são desduplicados de forma diferente entre destinos. Uma página que perde dados de rastreamento pode parecer ter um desempenho insatisfatório, mesmo quando os usuários concluem a ação pretendida. Resolva inconsistências de medição antes de atribuir toda a diferença ao design ou ao texto da página.

Relate uma decisão com seus limites práticos

Um relatório útil indica o público, as datas, o método de atribuição, as contagens, as taxas, o método para avaliar a incerteza e quaisquer desvios do plano. Explique o que mudou entre A e B e o que permaneceu fixo. Se o resultado for inconclusivo, diga qual decisão pode ser razoavelmente tomada: continuar coletando informações, manter a página mais simples ou redesenhar a comparação em torno de uma diferença mais significativa.

Ao trabalhar com Lumeraya Links, use seu roteamento e tráfego registrado como dados para esse processo e, em seguida, consulte Ajuda do Links para obter os recursos disponíveis para sua conta. Não presuma que uma rota baseada em porcentagem fornece automaticamente atribuição em nível de pessoa, significância estatística ou prova causal. A força da conclusão depende do experimento e de suas medições, não apenas da ferramenta usada para direcionar as visitas aos destinos.

Antes de iniciar a próxima comparação, escreva um plano de uma página contendo o resultado, o público elegível, a regra de atribuição e a regra de encerramento. Depois, mantenha as contagens reais visíveis e indique a incerteza no mesmo parágrafo do resultado. Essa prática torna uma descoberta modesta mas útil mais valiosa do que uma afirmação de melhoria impressionante que desaparece quando alguém examina como foi medida.