創(chuàng)建并使用PAI Designer
人工智能平臺PAI的可視化建模Designer,用于實現(xiàn)端到端的機器學(xué)習(xí)開發(fā)流程的可視化建模工具。DataWorks為您提供PAI Designer節(jié)點,方便您通過該算法節(jié)點載入Designer工作流,通過調(diào)度配置實現(xiàn)Designer工作流的周期性任務(wù)調(diào)度。
前提條件
授權(quán)DataWorks可訪問人工智能平臺PAI。
您可進入授權(quán)界面進行一鍵授權(quán),權(quán)限策略詳情請參見AliyunServiceRoleForDataWorksEngine。僅阿里云主賬號或擁有AliyunDataWorksFullAccess權(quán)限策略的RAM用戶可執(zhí)行一鍵授權(quán)操作。
已創(chuàng)建業(yè)務(wù)流程。
數(shù)據(jù)開發(fā)(DataStudio)基于業(yè)務(wù)流程對不同開發(fā)引擎進行具體開發(fā)操作,因此,創(chuàng)建節(jié)點前需先新建業(yè)務(wù)流程,操作詳情請參見創(chuàng)建業(yè)務(wù)流程。
步驟一:創(chuàng)建PAI Designer節(jié)點
進入數(shù)據(jù)開發(fā)頁面。
登錄DataWorks控制臺,切換至目標(biāo)地域后,單擊左側(cè)導(dǎo)航欄的 ,在下拉框中選擇對應(yīng)工作空間后單擊進入數(shù)據(jù)開發(fā)。
右鍵單擊目標(biāo)業(yè)務(wù)流程,選擇
。在新建節(jié)點對話框中輸入節(jié)點名稱,并選擇路徑,單擊確認(rèn),完成節(jié)點創(chuàng)建。后續(xù)您可在節(jié)點中進行對應(yīng)工作流任務(wù)的開發(fā)與配置。
步驟二:開發(fā)PAI Designer節(jié)點任務(wù)簡單示例
開發(fā)任務(wù):編寫Designer工作流
編輯PAI Designer節(jié)點任務(wù)時,如選擇加載已有工作流,則需提前在PAI中創(chuàng)建Designer工作流,通過名稱搜索,載入已經(jīng)創(chuàng)建好的工作流。在PAI Designer節(jié)點編輯頁面,您可以通過如下方式創(chuàng)建Designer工作流:
創(chuàng)建空白工作流。
可以根據(jù)業(yè)務(wù)需求,創(chuàng)建空白工作流,通過添加組件,拖拽組件的方式構(gòu)建模型,操作詳情請參見創(chuàng)建工作流:空白工作流。
創(chuàng)建預(yù)置模板。
PAI Designer提供了預(yù)置模板,便于您快速創(chuàng)建與模板類似的工作流,您可以在此基礎(chǔ)上對組件或組件的配置進行修改,來構(gòu)建模型,操作詳情請參見創(chuàng)建工作流:預(yù)置模板。
創(chuàng)建自定義模板。
可以將使用穩(wěn)定的工作流保存成自定義模板,便于您工作空間內(nèi)的其他成員進行使用和編輯,操作詳情請參見創(chuàng)建工作流:自定義模板。
若您想了解如何創(chuàng)建預(yù)置模板進行數(shù)據(jù)可視化建模,您可以參考DataWorks離線調(diào)度Designer工作流案例,了解預(yù)設(shè)模板的使用及任務(wù)調(diào)度流程 。
若您想了解如何創(chuàng)建自定義工作流進行數(shù)據(jù)可視化建模,您可以參考創(chuàng)建自定義工作流案例,了解自定義工作流的創(chuàng)建過程。
開發(fā)SQL代碼:使用調(diào)度參數(shù)
DataWorks提供的調(diào)度參數(shù)可實現(xiàn)周期調(diào)度場景下代碼動態(tài)入?yún)ⅲ稍诠?jié)點任務(wù)中通過${變量名}
的方式定義代碼中的變量,并在調(diào)度配置>參數(shù)處,為該變量賦值。調(diào)度參數(shù)支持的格式,詳情請參見調(diào)度參數(shù)支持的格式。
調(diào)度參數(shù)代碼示例如下。
--command='echo '\''${變量名}'\'';' \ --可結(jié)合調(diào)度參數(shù)使用。
步驟三:配置任務(wù)調(diào)度
如您需周期性執(zhí)行創(chuàng)建的節(jié)點任務(wù),可單擊節(jié)點編輯頁面右側(cè)的調(diào)度配置,根據(jù)業(yè)務(wù)需求配置該節(jié)點任務(wù)的調(diào)度信息。配置詳情請參見任務(wù)調(diào)度屬性配置概述。
您需設(shè)置節(jié)點的重跑屬性和依賴的上游節(jié)點,才可提交節(jié)點。
步驟四:調(diào)試任務(wù)代碼
您可根據(jù)需要執(zhí)行如下調(diào)試操作,查看任務(wù)是否符合預(yù)期。
(可選)選擇運行資源組、賦值自定義參數(shù)取值。
單擊工具欄的圖標(biāo),在參數(shù)對話框選擇調(diào)試運行需使用的調(diào)度資源組。
如您的任務(wù)代碼中有使用調(diào)度參數(shù)變量,可在此處為變量賦值,用于調(diào)試。參數(shù)賦值邏輯詳情請參見運行,高級運行和開發(fā)環(huán)境冒煙測試賦值邏輯有什么區(qū)別。
保存并運行SQL語句。
單擊工具欄的圖標(biāo),保存編寫的SQL語句,單擊圖標(biāo),運行創(chuàng)建的SQL任務(wù)。
(可選)冒煙測試。
如您希望在開發(fā)環(huán)境進行冒煙測試,查看調(diào)度節(jié)點任務(wù)的執(zhí)行是否符合預(yù)期,則可在節(jié)點提交時,或節(jié)點提交后執(zhí)行冒煙測試,操作詳情請參見執(zhí)行冒煙測試。
步驟五:提交發(fā)布任務(wù)
節(jié)點任務(wù)配置完成后,需執(zhí)行提交發(fā)布操作,提交發(fā)布后節(jié)點會根據(jù)調(diào)度配置內(nèi)容進行周期性運行。
單擊工具欄中的圖標(biāo),保存節(jié)點。
單擊工具欄中的圖標(biāo),提交節(jié)點任務(wù)。
提交時需在提交新版本對話框中輸入變更描述,并根據(jù)需要選擇是否在節(jié)點提交后執(zhí)行代碼評審。
說明您需設(shè)置節(jié)點的重跑屬性和依賴的上游節(jié)點,才可提交節(jié)點。
代碼評審可對任務(wù)的代碼質(zhì)量進行把控,防止由于任務(wù)代碼有誤,未經(jīng)審核直接發(fā)布上線后出現(xiàn)任務(wù)報錯。如進行代碼評審,則提交的節(jié)點代碼必須通過評審人員的審核才可發(fā)布,詳情請參見代碼評審。
如您使用的是標(biāo)準(zhǔn)模式的工作空間,任務(wù)提交成功后,需單擊節(jié)點編輯頁面右上方的發(fā)布,將該任務(wù)發(fā)布至生產(chǎn)環(huán)境執(zhí)行,操作請參見發(fā)布任務(wù)。
后續(xù)步驟
任務(wù)提交發(fā)布后,會基于節(jié)點的配置周期性運行,您可單擊編輯界面右上角的運維,進入運維中心查看周期任務(wù)的調(diào)度運行情況。詳情請參見查看并管理周期任務(wù)。