調度資源組用于任務的調度運行。首次開通EMR Workflow服務時,將免費為您提供一個默認調度資源組。如果默認調度資源組不能滿足您的需求,您可以根據業務場景需求購買合適規格的付費調度資源組。購買調度資源組后,在實際使用前您還需進行綁定集群、關聯工作空間等操作。本文為您介紹從購買到使用調度資源組的完整流程。
前提條件
注意事項
代碼的運行環境由所屬用戶負責管理和配置。
使用限制
暫不支持向已啟用Kerberos認證的集群提交作業。
僅阿里云賬號(主賬號)或擁有AliyunEMRWorkflowAdmin權限的RAM用戶可以進行購買調度資源組、綁定集群、關聯工作空間的操作。
調度資源組不支持跨地域使用。例如,華東2(上海)地域的獨享調度資源組,只能給華東2(上海)地域的工作空間使用。
調度資源組只能綁定一個EMR集群或集群模板。如果需更換綁定對象,請先解除當前綁定,然后再將資源組關聯至新的指定集群。
綁定集群或集群模板階段,僅支持綁定下列可用區的交換機。
地域名稱
地域ID
可用區名稱
華東1(杭州)
cn-hangzhou
杭州 可用區H
杭州 可用區I
華北2(北京)
cn-beijing
北京 可用區F
北京 可用區G
北京 可用區H
華東2(上海)
cn-shanghai
上海 可用區F
上海 可用區G
華南1(深圳)
cn-shenzhen
深圳 可用區E
西南1(成都)
cn-chengdu
成都 可用區B
華北3(張家口)
cn-zhangjiakou
張家口 可用區B
中國香港
cn-hongkong
香港 可用區C
地域名稱
地域ID
可用區名稱
美國(硅谷)
us-west-1
硅谷 可用區B
新加坡
ap-southeast-1
新加坡 可用區C
德國(法蘭克福)
eu-central-1
法蘭克福 可用區B
馬來西亞(吉隆坡)
ap-southeast-3
吉隆坡 可用區B
操作流程
從購買至使用調度資源組,您需要進行的主要操作流程如下。
步驟 | 描述 | 參考鏈接 |
1 | 首次開通EMR Workflow服務時,將免費為您提供一個默認調度資源組。如果默認調度資源組不能滿足您的需求,您可以購買付費調度資源組。 根據您實際的業務需求,可以使用Workflow提供的默認資源組或者購買付費調度資源組。 | |
2 | 默認情況下調度資源組不會綁定到任何EMR集群或集群模板。您需要手動規劃并設置資源組與特定的EMR集群或集群模板之間的綁定。 | |
3 |
| |
4 | 在成功將工作空間與調度資源組進行關聯后,您在執行工作流任務時便能夠根據實際需求靈活選用已綁定的、符合預期資源配置的資源組。 | |
5 | 在使用過程中,您可以隨時查看調度資源組的資源使用情況。 | |
6 | 在使用過程中,您可以根據實際業務需求靈活對調度資源組進行擴縮容。 | |
7 | 為了提高資源效率并避免浪費,當調度資源組不再被需要、且未綁定集群或集群模板、未關聯工作空間時,您可以將其釋放。 |
購買調度資源組
進入調度資源組頁面。
使用阿里云賬號(主賬號)登錄E-MapReduce控制臺。
在左側導航欄,選擇EMR Workbench > Workflow。
在Workflow頁面,單擊調度資源組。
在調度資源組頁面,單擊創建調度資源組。
默認調度資源組如下圖所示。
在E-MapReduce Workflow頁面,完成相關配置。
參數
說明
調度資源組類型
集群資源組:僅支持綁定EMR集群。
集群模板資源組:僅支持綁定EMR集群模板。
地域
地域指數據中心所在的地理區域,建議選擇與您數據所在地相同的地域,創建完成后不支持更改地域。
說明調度資源組不支持跨地域使用。例如,華東2(上海)地域的調度資源組,只適用于華東2(上海)地域的工作空間。
調度資源組名稱
調度資源組的名稱。
調度資源組規格
選擇所需的調度資源組規格,詳情請參見資源規格。
資源組節點數量
根據業務需求,配置所需的資源組節點數量。
說明如果資源組類型是集群模板資源組,當使用該資源組啟動一個工作流實例時,系統會根據預配置動態生成2個資源組節點。購買該資源組時所設定的資源組節點數量,則是該集群模板資源組在運行過程中能夠動態創建的最大資源組節點上限。
選中服務協議,單擊立即購買,根據界面提示進行付款等操作后即可完成購買調度資源組。
綁定集群或集群模板
調度資源組只能綁定一個EMR集群或集群模板。如果需更換綁定對象,請先解除當前綁定,然后再重新綁定集群或集群模板。
在調度資源組頁面,單擊目標資源組操作列的綁定集群。
在綁定EMR集群/集群模板中,單擊對應集群或集群模板操作列的綁定。
從交換機和安全組的下拉列表中,選擇已有的交換機和安全組。
參數
說明
交換機
選擇用于資源組節點與待綁定的EMR集群連通的交換機,僅支持選擇特定可用區下的交換機,詳情請參見使用限制。
安全組
選擇資源組節點加入的安全組,默認情況下會采用EMR集群自身的安全組。如果您不選擇默認的集群安全組,或者安全組內的連通策略為組內隔離模式,則須確保事先配置好適當的安全組規則,以允許資源組節點能夠順利訪問其所要綁定的EMR集群。
單擊確定,即可將調度資源組與指定集群或集群模板綁定。
關聯工作空間
默認資源組開通時已自動關聯至default工作空間。調度資源組需要關聯歸屬的工作空間,才可以在對應的工作空間下選擇使用該調度資源組及該調度資源組綁定的集群或集群模板。一個調度資源組可以關聯多個工作空間使用,但不支持跨地域使用。
在調度資源組頁面,單擊目標資源組操作列的關聯工作空間。
在關聯工作空間對話框中,單擊對應工作空間操作列的關聯。
在彈出的對話框中,單擊確定,即可將調度資源組綁定至此工作空間。
使用調度資源組
在執行工作流定義、調度定時任務以及手動觸發任務操作時,您可以選擇適合的資源組作為目標運行環境。
例如,進入Workflow工作空間,在項目管理頁簽下的工作流定義頁面,單擊工作流定義操作列的運行,在調度資源組下拉列表中選擇目標資源組。
查看調度資源組利用率
僅處于運行中狀態的調度資源組支持查看資源利用率。
進入調度資源組頁面。
使用阿里云賬號(主賬號)登錄E-MapReduce控制臺。
在左側導航欄,選擇EMR Workbench > Workflow。
在Workflow頁面,單擊調度資源組。
在調度資源組頁面,單擊目標調度資源組的監控列的圖標。
在資源監控面板中,您可以查看該資源組的利用率。
擴縮容調度資源組
在調度資源組頁面,選擇需要變更節點數量的調度資源組操作列的
或 。在變配頁面,修改資源組節點數量。
重要僅支持變更調度資源組的節點數量,變更后的調度資源組規格與當前規格保持一致。
請盡量避免在線上工作流調度時縮容。如果有工作流或任務運行在被縮容的節點上,將觸發該作業重新運行。
選中服務協議,單擊立即購買,即可完成調度資源組的擴縮容。
返回調度資源組頁面,可以查看調度資源組的變更情況。
(可選)釋放調度資源組
僅可釋放處于未綁定狀態且未關聯工作空間的調度資源組。
在調度資源組頁面,單擊目標資源組操作列的釋放。
在釋放調度資源組對話框中,單擊確定。