在DataWorks中,您可按照工作空間粒度指定各模塊使用的YARN隊列,后續各模塊將默認使用該隊列執行EMR任務。同時,可定義全局YARN資源隊列優先級是否高于指定模塊內配置的YARN資源隊列優先級。本文為您介紹如何設置全局YARN資源隊列。
背景信息
YARN是一個分布式的資源管理系統,是Hadoop的核心組件,在Hadoop集群中主要負責資源管理、調度運行及監控作業。關于EMR YARN的詳情,請參見YARN調度器。
在DataWorks中,您可通過如下方式配置調度節點運行時使用的YARN資源隊列:
方式一:配置全局YARN資源隊列
設置工作空間級別某DataWorks功能模塊運行EMR任務時使用哪個YARN資源隊列,并定義此處配置的YARN資源隊列優先級是否高于指定模塊內配置的YARN資源隊列。詳情請參見設置全局YARN資源隊列。
方式二:配置產品模塊內YARN隊列
數據開發(DataStudio):對于Hive、Spark節點,可在節點編輯頁面右側導航欄的高級設置,通過queue參數設置單個節點任務的YARN資源隊列。
數據質量:可在EMR表的分區規則中,通過運行隊列配置單個分區規則的YARN資源隊列。詳情請參見配置規則:按表(單表)。
其他產品模塊:暫不支持在模塊內單獨設置YARN資源隊列。
使用限制
僅以下角色可配置YARN資源隊列:
阿里云主賬號。
擁有AliyunDataWorksFullAccess權限的子賬號(RAM用戶)或RAM角色。
擁有空間管理員角色的子賬號(RAM用戶)。
修改YARN全局最大優先級
通過DataWorks的EMR任務修改YARN優先級時,您需同時在EMR集群的
yarn-site.xml
文件中添加配置項yarn.cluster.max-application-priority
,并設置較大的優先級來覆蓋默認值0
,否則DataWorks上配置的EMR任務優先級將不生效。說明修改配置后需重啟YARN服務,該配置才會生效。
目前僅支持對數據開發(DataStudio)、數據質量、數據分析、運維中心模塊設置全局YARN資源隊列。
前提條件
已注冊EMR集群至DataWorks,詳情請參見注冊EMR集群至DataWorks。
設置全局YARN資源隊列
進入全局YARN資源隊列配置頁面。
進入管理中心頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的管理中心,在下拉框中選擇對應工作空間后單擊進入管理中心。
單擊左側導航欄的開源集群,進入集群管理頁面。
找到目標E-MapReduce集群,單擊YARN資源隊列,進入全局YARN資源隊列配置頁面。
設置全局YARN資源隊列。
單擊YARN資源隊列頁面右上角的編輯YARN資源隊列,配置各模塊的全局YARN資源隊列及隊列優先級。
說明該配置為工作空間全局配置,請在配置前確認所使用的工作空間是否正確。
參數
描述
資源隊列
配置各模塊運行EMR任務時使用的YARN資源隊列。您可進入EMR on ECS控制臺獲取EMR已創建的資源隊列。
全局配置是否優先
勾選后,表示全局配置將比產品模塊內配置優先生效;此時將按照全局配置的YARN資源隊列統一運行任務。
全局配置:即在的YARN資源隊列頁面配置的YARN資源隊列。
說明目前僅支持對數據開發(DataStudio)、數據質量、數據分析、運維中心模塊設置全局YARN資源隊列。
產品模塊內配置:
數據開發(DataStudio):對于Hive、Spark節點,可在節點編輯頁面右側導航欄的高級設置,通過queue參數設置單個節點任務的YARN資源隊列。
數據質量:可在EMR表的分區規則中,通過運行隊列配置單個分區規則的YARN資源隊列。詳情請參見配置規則:按表(單表)。
其他產品模塊:暫不支持在模塊內單獨設置YARN資源隊列。