新建實驗
實驗是流量分配的核心單元,包含多個可靈活配置流量占比的實驗版本,確保所有版本的流量占比總和為100%。每個實驗版本可設(shè)置多個實驗參數(shù),根據(jù)流量分配策略,每個請求將被路由到特定的實驗版本,從而獲取相應(yīng)的實驗參數(shù)。實驗不僅具有明確的生命周期管理,包括開始時間和結(jié)束時間,而且還分配在實驗層上,可占據(jù)實驗層所有流量或隨機(jī)占據(jù)部分流量。此外,實驗支持白名單功能,確保白名單內(nèi)的用戶直接參與此實驗流程。本文為您介紹如何創(chuàng)建和管理實驗。
前提條件
已創(chuàng)建實驗項目,詳情請參見新建實驗項目。
已注冊數(shù)據(jù)表,詳情請參見注冊數(shù)據(jù)表。
已新建實驗指標(biāo),詳情請參見新建實驗指標(biāo)。
創(chuàng)建實驗
進(jìn)入A/B實驗(ABTest)頁面。
登錄PAI控制臺。
在左側(cè)導(dǎo)航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進(jìn)入對應(yīng)工作空間內(nèi)。
在工作空間頁面的左側(cè)導(dǎo)航欄選擇
,進(jìn)入A/B實驗(ABTest)頁面。
在A/B實驗(ABTest)頁面的左側(cè)導(dǎo)航欄中,選擇
。在右側(cè)頁面中,單擊新建實驗。
在新建實驗頁面,配置以下參數(shù)。
在基本信息配置向?qū)ы撁妫渲靡韵聟?shù),參數(shù)配置完成后單擊下一步。
參數(shù)
描述
名稱
自定義實驗名稱。
描述
為該實驗添加一些詳細(xì)說明,用于區(qū)分不同的實驗。
實驗項目
在下拉列表中,選擇已創(chuàng)建的實驗項目。如果沒有可選的實驗項目,您可以單擊新建項目進(jìn)行創(chuàng)建。
實驗層
選擇實驗項目后,才能選擇實驗層。在下拉列表中,選擇已創(chuàng)建的實驗層。如果沒有可選的實驗層,您可以單擊新建實驗層進(jìn)行創(chuàng)建。
流量分配
實驗流量占比,取值范圍為0%~100%,表示占據(jù)實驗層流量的百分比。
實驗周期
選擇實驗的開始日期和結(jié)束日期。
實驗人群
實驗白名單設(shè)置:
您可以手動輸入分流用戶的UID,輸入完成后按下回車鍵。支持輸入單個用戶或多個用戶,且多個用戶之間以半角逗號(,)分隔,例如
UID1,UID2
。您也可以在下拉列表中選擇已創(chuàng)建的人群,如果沒有可選的人群,您可以單擊新建人群進(jìn)行創(chuàng)建。
在實驗配置向?qū)ы撁妫渲靡韵聟?shù),參數(shù)配置完成后單擊下一步。
在此頁面,您最多可配置5個版本,包括1個對照版本和多個實驗版本。您可以為每個版本設(shè)置流量占比和實驗參數(shù),如下表所示:
參數(shù)
描述
流量分配
選中均勻分配復(fù)選框,配置的版本將均分實驗流量。
版本配置
流量占比
占據(jù)整體實驗流量的百分比。
版本名稱
實驗版本的名稱。
版本描述
為版本添加一些詳細(xì)說明,用于區(qū)分不同的版本。
實驗人群
實驗白名單設(shè)置:
您可以手動輸入分流用戶的UID,輸入完成后按下回車鍵。支持輸入單個用戶或多個用戶,且多個用戶之間以半角逗號(,)分隔,例如
UID1,UID2
。您也可以在下拉列表中選擇已創(chuàng)建的人群,如果沒有可選的人群,您可以單擊新建人群進(jìn)行創(chuàng)建。
參數(shù)配置
您可以配置多個實驗參數(shù)。首先在對照版本中添加參數(shù)并設(shè)置參數(shù)類型,之后相同的實驗參數(shù)和類型將自動出現(xiàn)在其余實驗版本中。您需要在每個版本中設(shè)置參數(shù)值,以比較不同參數(shù)值的效果差異。
在實驗指標(biāo)配置向?qū)ы撁妫渲?b data-tag="uicontrol" id="a2727833f16m6" class="uicontrol">核心指標(biāo)和關(guān)注指標(biāo)。
支持選擇1個核心指標(biāo)并配置多個關(guān)注指標(biāo),也可以不進(jìn)行配置。一旦配置了指標(biāo),實驗報告將會顯示這些指標(biāo)在不同實驗版本上的數(shù)據(jù)差異。
單擊完成,即可在實驗列表中看到已創(chuàng)建的實驗,此時的實驗狀態(tài)為準(zhǔn)備中。
管理實驗
實驗創(chuàng)建成功后,您可以在實驗列表中查看已創(chuàng)建的實驗,并對其進(jìn)行以下管理操作。
查看實驗詳情
實驗創(chuàng)建成功后,您可以單擊目標(biāo)實驗名稱,進(jìn)入實驗詳情頁面。在該頁面查看實驗的基本信息和實驗報告:
在基本信息頁簽,您可以查看實驗的基本信息和實驗版本相關(guān)參數(shù)。您也可以單擊編輯按鈕修改相關(guān)配置。
在實驗報告頁簽,查看該實驗的報告。關(guān)于報告內(nèi)容的更多詳細(xì)介紹,請參見查看實驗報告。
啟動實驗
您可以在實驗列表中查看已創(chuàng)建成功的實驗,實驗初始狀態(tài)為準(zhǔn)備中。您需要按照以下操作步驟啟動實驗:
單擊目標(biāo)實驗操作列下的啟動。
在提示對話框中,單擊確定。
如果當(dāng)前時間在實驗的開始和結(jié)束時間內(nèi),則實驗狀態(tài)將變?yōu)?b>運行中。
如果當(dāng)前時間在實驗開始時間之前,則實驗狀態(tài)將變?yōu)?b>待運行。直到實驗開始時間后,系統(tǒng)會自動將實驗狀態(tài)變更為運行中。
如果當(dāng)前時間在實驗結(jié)束時間之后,則實驗狀態(tài)將變?yōu)?b>已停止。
克隆實驗
您可以在原始實驗操作列下單擊克隆,以創(chuàng)建一個新的實驗。新實驗將復(fù)用原始實驗的配置,避免重新輸入和配置相同的參數(shù)。
刪除實驗
僅非運行中狀態(tài)的實驗支持刪除操作。您可以單擊目標(biāo)實驗操作列下的刪除,以刪除無用的實驗。
刪除實驗后不可恢復(fù),請謹(jǐn)慎操作。
相關(guān)文檔
創(chuàng)建并啟動實驗后,您可以定期查看實驗報告,詳情請參見查看實驗報告。