本文以SHELL任務類型為例,帶您快速體驗EMR Workflow中創建、運行以及關聯手動任務等操作。
前提條件
已完成系統角色授權,詳情請參見EMR Workflow角色授權。
已在EMR on ECS頁面創建集群或集群模板,詳情請參見創建集群或創建集群模板。
支持綁定的集群類型為DataLake、Hadoop和Custom。
步驟一:綁定集群和關聯工作空間
使用阿里云賬號(主賬號)或RAM用戶登錄E-MapReduce控制臺。
在左側導航欄,選擇EMR Workbench > Workflow。
在Workflow頁面,單擊調度資源組。
綁定集群或集群模板。
在調度資源組頁面,單擊綁定集群。
在綁定EMR集群/集群模板對話框中,單擊綁定,綁定EMR集群或集群模板。
在彈出的對話框中,選擇交換機和安全組,單擊確定。
說明綁定集群大約需要5~10分鐘,請耐心等待。
(可選)關聯工作空間。
說明首次開通EMR Workflow服務時,將免費為您提供一個默認調度資源組。默認資源組開通時已自動關聯至default工作空間。如果默認調度資源組不能滿足您的需求,您也可以選擇購買付費調度資源組。付費調度資源組的規格指標及計費規格詳情,請參見調度資源組計費說明。付費調度資源組需要按照以下步驟關聯工作空間。
在調度資源組頁面,單擊關聯工作空間。
在關聯工作空間對話框中,單擊對應工作空間操作列的關聯。
在彈出的對話框中,單擊確定,即可將調度資源組綁定至此工作空間。
步驟二:新建項目
在Workflow頁面,單擊工作空間。
單擊工作空間操作列的控制臺。
在項目管理頁面,單擊創建項目。
在彈出的對話框中,輸入項目名稱,單擊確定。
步驟三:創建手動任務
步驟四:運行手動任務
在手動任務定義頁面,單擊目標任務操作列的運行。
在彈出的對話框中,選擇調度資源組,單擊確定。
步驟六:查看手動任務日志
在左側導航欄中,單擊手動任務實例。
在手動任務實例頁面,單擊目標任務名稱操作列的查看日志,可以查看任務節點的運行日志。
(可選)步驟七:在工作流中關聯手動任務
在工作流定義頁面,單擊創建工作流。
在創建工作流頁面,拖拽SHELL節點塊到畫布中。
本文以SHELL任務類型為例。任務類型的詳細信息,請參見任務類型。
在彈出的對話框中,設置節點名稱和腳本,單擊確定。
更多參數的說明,請參見SHELL。
參數
說明
關聯手動任務
打開關聯手動任務開關,在手動任務名稱下拉列表中選擇已創建的手動任務(shell_test)。手動任務的創建操作,請參見管理手動任務。
節點名稱
您自定義的節點名稱。例如shell。
腳本
關聯手動任務時您無需寫內容,會獲取您關聯任務的腳本。
保存工作流。
單擊畫布右上方的保存。
在彈出的對話框中,輸入工作流名稱,單擊確定。
運行工作流。
在工作流定義頁面,單擊運行。
在彈出的對話框中,配置相關參數,單擊確定。
(可選)步驟八:查看任務實例日志
在左側導航欄,選擇實例運維>工作流實例,可以查看實例的運行狀況。
在左側導航欄,選擇實例運維>任務實例。
在任務實例頁面,單擊目標任務名稱操作列的查看日志,可以查看任務節點的運行日志。