在E-MapReduce數據開發項目中,您可以在作業編輯中定義一組有依賴的作業,然后創建工作流,使作業按照依賴依次執行。E-MapReduce工作流支持基于有向無環圖(DAG)并行執行大數據作業,您可以通過E-MapReduce控制臺管控工作流調度以及查看工作流的執行狀態。
背景信息
前提條件
新建工作流
通過以下步驟,可以新建工作流。
- 進入數據開發的項目列表頁面。
- 通過阿里云賬號登錄阿里云E-MapReduce控制臺。
- 在頂部菜單欄處,根據實際情況選擇地域和資源組。
- 單擊上方的數據開發頁簽。
- 在項目列表頁面,單擊目標項目右側的工作流設計。
- 新建工作流。
編輯工作流
配置工作流調度
您可以打開工作流調度配置面板,配置工作流調度參數,調度系統會按照參數定時運行相關工作流,并將作業下發到指定集群上執行。以下介紹如何配置工作流的基本屬性、調度屬性和告警設置。
執行工作流
您也可以指定工作流的業務時間,此時工作流作業中的時間相關變量將使用指定的業務時間進行計算,一般用于重跑某個時間段的工作流實例,可以設置單次重跑或批量重跑。如果您的作業中沒有任何時間相關變量,可以選擇在當前時間立即執行,即可運行工作流。
- 進入數據開發的項目列表頁面。
- 通過阿里云賬號登錄阿里云E-MapReduce控制臺。
- 在頂部菜單欄處,根據實際情況選擇地域和資源組。
- 單擊上方的數據開發頁簽。
- 在項目列表頁面,單擊目標項目右側的工作流設計。
- 運行工作流。
查看工作流運行記錄
運行工作流后,可通過以下步驟查看工作流運行記錄。
工作流可執行操作
在工作流設計區域,您可以在工作流名稱上單擊右鍵,執行如下操作。
操作 | 說明 |
---|---|
克隆工作流 | 在同一文件夾下克隆出相同圖形的工作流。
說明 工作流的調度參數目前無法克隆。
|
重命名工作流 | 重新命名工作流的名稱。 |
刪除工作流 | 刪除工作流。當工作流在運行狀態時無法刪除。 |