目標頁面A/B測試：樣本與不確定性

兩個目標頁面分別獲得流量，其中一個轉換率較高，儀表板看起來就給出了明確的勝出版本。真正困難的是判斷：這個差異是否已提供足夠資訊，值得據此採取行動？樣本少、受眾不一致、頁面中途變動，以及重複造訪，都可能讓比較變得複雜。開始分流前先規劃量測，再同時報告觀察結果，以及它未必適用於下一次活動的原因。

A/B 目標頁面測試，先定義一個主要結果

測試開始前，就定義什麼才算成功。完成報名不等於開啟表單，已付款的訂單也不等於到達結帳頁面。選擇能反映所需業務決策的主要結果，記錄兩個目標頁面如何回報，並確保兩個版本採用相同規則。

同時定義分母。以記錄到的請求次數計算比例，不一定等於以不重複人數或符合條件的工作階段計算比例。如果同一個人可以產生多筆觀察值，解讀結果時就應考慮這些觀察值之間的相依性。轉換追蹤指南 有助於建立量測流程。如果結果的定義在比較途中改變，或兩個頁面的定義不同，再做實驗也無法彌補這個基礎問題。

讓受眾與分配規則清楚易懂

一個頁面接收手機訪客，另一個頁面接收電腦訪客，無法單獨分辨頁面本身的影響。拿促銷期間的一個頁面與促銷結束後的另一個頁面比較，也有同樣問題。事先說明誰符合測試條件、流量如何分配，以及哪些差異應保持不變。收集計畫中的觀察資料時，分配規則也應維持穩定。

Lumeraya 在適用的路由規則中支援按比例分配流量，但這不代表它是一套完整的統計實驗平台。分配依據是請求特徵，而不是每個人經過驗證的身分。這些特徵的變化或多人共用環境，都可能影響訪客被導向哪條路徑。確認自己的設定如何運作，記錄實際觀察單位，不要把路由百分比描述成精確數量、彼此獨立接受隨機分組的人。

將百分比與實際數量一起呈現

假設一個示例中，A 的 200 次符合條件的觀察產生 20 次轉換，B 的 200 次觀察產生 30 次轉換。觀察到的轉換率分別為 10% 與 15%；兩者相差 5 個百分點，也可以說相對於 A 增加了 50%。這些說法描述的是同一份樣本，但省略實際數量時，可能給人截然不同的印象。

不論使用哪種表達方式，都不能單獨證明提升能夠穩定持續。這些是用來說明計算方式的虛構數字，不是 Lumeraya 的基準，也不是已發表的實驗結果。報告比例時，應一併列出分子與分母。只有少量轉換時，再多幾次轉換就可能大幅改變結果。宣布某個版本成功前，先判斷現有資料是否足以支援這項決策，以及量測過程是否可信。

根據有實際意義的差異規劃樣本量

沒有一個通用的造訪次數門檻，能讓所有比較都有定論。所需樣本量取決於基準轉換率、希望偵測的差異大小、選用的統計方法，以及可接受的不確定性。在其他假設相近的情況下，偵測小幅改善通常比偵測大幅改善需要更多資訊。應採用適合實際量測單位與結果類型的方法。

信賴區間是在特定模型下描述估計比例不確定性的工具，不能消除分配或追蹤本身的問題。NIST 介紹了比例的估計方法，並提醒在樣本少或結果發生次數很少時，簡單的近似方法可能不適用。重要決策應使用合適的統計工具，或請具備相關專業的人員複核，不要只根據儀表板顏色自行宣稱某種信心水準。記錄分析假設，讓其他人能了解結論如何得出。

查看結果前，先訂好觀察計畫

事先決定計畫持續多久、需要取得多少資訊，以及如何審查結果。考慮與受眾相關的正常業務週期，例如不同工作日的行為差異，但不要假定隨意選定幾天就能保證有效。除非安全或營運問題需要介入，否則應保持兩個目標頁面及其量測規則穩定。若有中斷，就如實記錄，不要假裝資料收集從未受到影響。

反覆套用一般固定樣本的顯著性計算，並在第一次出現有利結果時就停止，可能使報告中的證據具有誤導性。如果需要持續監測，就應採用為這種流程設計的分析方法。同時，運作狀態檢查仍應繼續：表單故障或頁面無法使用都需要處理。應將這些可靠性檢查，與因為目前轉換率不如預期而反覆修改實驗的行為區分開來。

檢查流量品質與遺漏的轉換結果

連結預覽、自動化請求、內部測試及重複造訪，都可能影響取得的觀察資料。對兩個版本採用一致的處理方式，並在查看哪種排除方式能得到較有利結果之前，先記錄排除標準。機器人標籤只是根據現有訊號做出的估計，不代表已完全掌握每位訪客的情況。檢查異常高峰與資料缺口，不要只依賴一個彙總數字。

流量品質指南 提供了解讀自動化活動的背景。也應檢查轉換事件是否延遲送達、遭到封鎖，或兩個目標頁面是否採用不同的去重方式。頁面遺失追蹤資料時，即使使用者已完成預期操作，也可能看起來表現較差。先解決量測不一致的問題，再判斷差異有多少來自設計或文案。

報告決策，同時說明適用限制

有用的報告應列出受眾、日期、分配方式、實際數量、比例、不確定性的分析方法，以及偏離原計畫的情況。說明 A 與 B 之間改了什麼、哪些條件維持不變。如果結果尚無定論，應如實說明，同時指出仍可合理做出的決策：繼續收集資訊、保留較簡單的頁面，或針對更有實際意義的差異重新設計比較。

使用 Lumeraya Links 時，可將路由和已記錄的流量作為分析輸入，再透過 Lumeraya Links 說明 確認帳戶可用的功能。不要假定按比例分流就自動提供以個人為單位的分組、統計顯著性或因果證明。結論的可信程度取決於實驗與量測，而不只是使用什麼工具將訪客導向不同頁面。

下一次比較上線前，先用一頁計畫寫明目標結果、符合條件的受眾、分配規則及停止方式。結束後保留實際數量，並在報告結果的同一段中說明不確定性。這樣的發現即使幅度不大，仍比一個經不起量測方法檢驗的驚人提升數字更有價值。