目标页面A/B测试：样本量与不确定性

两个目标页面分别获得流量，其中一个转化率更高，报表似乎就给出了简单的胜者。真正困难的是判断：这个差异是否已经足够可靠，值得据此行动？样本小、受众不一致、页面中途改变和重复访客，都可能让比较变复杂。开始分流之前先规划测量，再同时报告观察结果，以及它未必适用于下一次活动的原因。

A/B 目标页面测试，先明确一个主要结果

测试开始前，就定义什么算成功。完成报名不等于打开表单，支付订单也不等于到达结账页面。选择能够反映所需业务决策的主要结果，记录两个目标页面如何上报，并确保两个版本使用相同规则。

同时定义分母。根据记录的请求数计算出的比例，不一定等于按独立访客或符合条件的会话计算的比例。如果一个人能够贡献多次观察，解释结果时就要承认这些观察可能相互关联。转化跟踪指南 有助于建立测量路径。如果结果定义中途改变，或两个页面的定义不同，再做实验也无法补救这个基础问题。

让受众与分配规则清楚可解释

一个页面接收手机访客，另一个页面接收桌面访客，无法单独分辨页面本身的效果；拿促销期间的一个页面与促销结束后的另一个页面比较，也存在同样问题。事先说明谁符合测试条件、流量怎样分配，以及哪些差异应保持不变。收集计划内观察数据时，分配规则也应保持稳定。

Lumeraya 在适用的路由规则中支持按比例分配流量，但这不等于提供完整的统计实验平台。分配依据是请求特征，而不是对每个人身份的可靠识别。特征变化或多人共享环境，可能影响具体走向哪条路径。验证自己的设置如何工作，记录实际观察单位，不要把路由百分比描述成精确数量、彼此独立随机分组的人。

将百分比与实际数量放在一起看

假设一个示例中，A 的 200 次符合条件的观察产生了 20 次转化，B 的 200 次观察产生了 30 次转化。观察到的转化率分别为 10% 和 15%；差异是 5 个百分点，也可以说相对 A 提高了 50%。这些说法描述的是同一份样本，但如果省略实际数量，给人的印象可能很不一样。

无论采用哪种表达，都不能单独证明提升能够稳定持续。这组数字是用于解释计算方法的虚构示例，不是 Lumeraya 基准，也不是已发表的实验结果。报告比例时始终同时列出分子和分母。只有少量转化时，再多几次转化就可能显著改变结果。宣布某个版本成功前，先判断现有数据是否足以支持这项决策，以及测量过程是否可信。

根据有实际意义的差异规划样本量

不存在一个适用于所有比较的通用访问次数门槛。所需样本量取决于基准转化率、希望检测的差异大小、选定的统计方法，以及能够接受的不确定性。在其他假设相近时，识别小幅改进通常比识别大幅改进需要更多信息。采用适合实际测量单位和结果类型的方法。

置信区间是在特定模型下，描述估计比例不确定性的工具，不能消除流量分配或跟踪本身的问题。NIST 介绍了比例估计方法，并提醒小样本或结果发生次数很少时，简单近似可能不适用。重要决策应使用合适的统计工具，或请具备相关能力的人复核，不要根据仪表盘颜色凭空给出“置信度”。记录假设，让别人能够理解结论是如何得出的。

查看结果之前，先安排观察计划

提前确定计划时长、需要获取的信息量和复核流程。考虑与受众有关的正常业务周期，例如不同工作日的行为差异，但不要假定随便选定若干天就能保证有效。除非安全或运营问题必须干预，否则保持两个目标页面及其测量规则稳定。出现中断就如实记录，不要把它当作数据收集从未改变。

如果反复套用普通固定样本的显著性计算，并在第一次出现有利结果时立即停止，报告出来的证据可能具有误导性。需要持续观察时，应采用为这种流程设计的分析方法。与此同时，运行状态检查仍应继续：表单损坏或页面不可用需要处理。要把这些可靠性检查，与因为当前转化率不满意而反复修改实验区分开。

检查流量质量与遗漏的转化结果

链接预览、自动请求、内部测试和重复访问，都可能影响最终得到的观察数据。对两个版本采用一致的处理规则，并在查看哪种剔除方式更有利之前，先记录排除标准。机器人标签只是根据现有信号作出的估计，不代表完全了解每位访客。检查异常高峰和数据缺口，不要只依赖一个汇总数字。

流量质量指南 提供了理解自动活动的背景。还应检查转化事件是否延迟到达、遭到阻止，或在两个目标页面采用了不同的去重方式。页面丢失跟踪数据时，即使用户完成了目标操作，也可能显得表现较差。先解决测量不一致，再判断差异究竟有多少来自设计或文案。

报告决策，也说明适用边界

有用的报告应列出受众、日期、分配方式、实际数量、比例、不确定性的分析方法，以及偏离原计划的情况。说明 A 与 B 之间改了什么、保留了什么。如果结果尚不明确，应如实说明，同时指出仍可合理作出的决定：继续收集信息、暂时保留更简单的页面，或围绕更有业务意义的差异重新设计比较。

使用 Lumeraya Links 时，可以把路由和已记录的流量作为分析输入，再通过 Lumeraya Links 帮助 核对账户可用功能。不要假定按比例分流就自动提供以个人为单位的分配、统计显著性或因果证明。结论有多可信，取决于实验设计和实际测量，而不只是用什么工具把访客送到不同页面。

下一次比较上线前，先用一页纸写明目标结果、符合条件的受众、分配规则和停止方式。结束后保留实际数量，并在报告结果的同一段中说明不确定性。这样得到的结论即使幅度不大，也比一个经不起测量方法审查的惊人提升数字更有价值。