EMR Workflow是一個全托管的工作流和任務調度服務,100%兼容開源Apache DolphinScheduler。它提供了易于使用的調度服務,您可以通過可視化的操作界面輕松地管理工作流和任務,高效構建數據倉庫,并為生產任務的穩定運行提供保障。本文以HIVECLI任務類型為例,為您介紹如何快速使用EMR Workflow。
前提條件
已完成系統角色授權,詳情請參見EMR Workflow角色授權。
已在EMR on ECS頁面創建集群或集群模板,詳情請參見創建集群或創建集群模板。
支持綁定的集群類型為DataLake、Hadoop和Custom。
步驟一:綁定集群和關聯工作空間
使用阿里云賬號(主賬號)或RAM用戶登錄E-MapReduce控制臺。
在左側導航欄,選擇EMR Workbench > Workflow。
在Workflow頁面,單擊調度資源組。
綁定集群或集群模板。
在調度資源組頁面,單擊綁定集群。
在綁定EMR集群/集群模板對話框中,單擊綁定,綁定EMR集群或集群模板。
在彈出的對話框中,選擇交換機和安全組,單擊確定。
說明綁定集群大約需要5~10分鐘,請耐心等待。
(可選)關聯工作空間。
說明首次開通EMR Workflow服務時,將免費為您提供一個默認調度資源組。默認資源組開通時已自動關聯至default工作空間。如果默認調度資源組不能滿足您的需求,您也可以選擇購買付費調度資源組。付費調度資源組的規格指標及計費規格詳情,請參見調度資源組計費說明。付費調度資源組需要按照以下步驟關聯工作空間。
在調度資源組頁面,單擊關聯工作空間。
在關聯工作空間對話框中,單擊對應工作空間操作列的關聯。
在彈出的對話框中,單擊確定,即可將調度資源組綁定至此工作空間。
步驟二:新建項目
在Workflow頁面,單擊工作空間。
單擊工作空間操作列的控制臺。
在項目管理頁面,單擊創建項目。
在彈出的對話框中,輸入項目名稱,單擊確定。
步驟三:創建工作流
步驟四:運行工作流
在工作流定義頁面,單擊圖標(上線)。
單擊圖標(運行)。
在彈出的對話框中,在調度資源組下拉列表中選擇調度資源組,單擊確定。
步驟五:查看任務實例日志
在左側導航欄,選擇實例運維>工作流實例,可以查看實例的運行狀況。
在左側導航欄,選擇實例運維>任務實例。
在任務實例頁面,單擊目標任務名稱操作列的圖標(查看日志),可以查看任務節點的運行日志。
(可選)步驟六:下線工作流
在工作流定義頁面,單擊目標工作流操作列的(下線)。
常見問題
相關文檔
EMR Workflow的更多介紹,請參見什么是EMR Workflow。
更多任務類型的詳細信息,請參見任務類型。
工作流相關的操作,請參見管理工作流。