準備資料
- 預先註冊的實驗計畫
- 分組、曝光、轉換與護欄原始資料
- 實際運行日期和同期事件
這個 Skill 解決什麼？
實驗結束或出現異常，需要決定推出、重測或放棄時使用。
交付成果
- 實驗品質檢查與效果表
- 一頁決策備忘錄及後續監測計畫
交付表格至少包含
實際樣本數分流品質指標差異不確定區間護欄變化結論限制決策與監測
四步做出可審核的交付
- 01
先核對分派與曝光是否一致，排查樣本比例失衡、資料延遲、重複使用者和實驗期間的外部變更。
- 02
按預先指定的分析單位重算分母、絕對差、相對差和不確定區間；報告樣本數與缺值。
- 03
把主要指標與護欄並列，檢視是否跨越事前定義的實務門檻；事後分群標成探索發現。
- 04
整理推出、重測或保留現狀的決策紀錄，說明風險、預估影響、監測與回滾責任。
判斷示例
轉換率上升 2%，但信賴區間跨過負向效果且退款率升高，應先延長驗證或重測。
怎麼知道做得好？
沒有把不顯著寫成兩組完全相同
沒有因中途偷看結果改變停止規則
可由原始資料重算主要結論
權限與停止條件
若分流或追蹤不可靠，交付『無法判讀』與修復建議，不硬給贏家。
參考規格
產品規格可能更新；實作前請以官方文件與目前帳戶設定核對。