準備資料
- 目前基準率與最小有意義效果
- 主要轉換、護欄指標與流量量級
- 分流單位、實驗平台和預計運行期間
這個 Skill 解決什麼？
要驗證文案、版面、定價呈現或流程變更是否改善結果時使用。
交付成果
- 實驗計畫書、樣本量假設與追蹤需求
- 上線檢查表、停止與回滾條件
交付表格至少包含
實驗假設分流單位主要指標護欄指標基準率與 MDE樣本量停止與回滾規則
四步做出可審核的交付
- 01
用『若改變 X，因為 Y，預期 Z 指標改變』寫可反駁假設；先確定主要指標、護欄和分析單位。
- 02
預先計算樣本量與時間，記錄顯著水準、檢定力、最小可偵測效果和多重比較策略；流量不足時縮小問題或改用定性研究。
- 03
檢查隨機分派、使用者黏著分組、曝光時機和互斥實驗；規劃 A/A、樣本比例失衡與埋點 QA。
- 04
寫預先註冊的分析與停止規則，含排除條件、完整週期、分群只作探索，以及回滾門檻。
判斷示例
更換結帳按鈕文案前，先把 purchase rate 定為主要指標，並監控付款錯誤率和退款率。
怎麼知道做得好？
主要指標與成功門檻在上線前固定
對照組與實驗組只有受測差異
樣本量計算可用輸入參數重算
權限與停止條件
不得以未核准的定價或對外承諾直接上線實驗；資料不足時明示無法估計樣本量。
參考規格
產品規格可能更新；實作前請以官方文件與目前帳戶設定核對。