日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

文檔

設置全局YARN資源隊列

更新時間:

在DataWorks中,您可按照工作空間粒度指定各模塊使用的YARN隊列,后續各模塊將默認使用該隊列執行EMR任務。同時,可定義全局YARN資源隊列優先級是否高于指定模塊內配置的YARN資源隊列優先級。本文為您介紹如何設置全局YARN資源隊列。

背景信息

YARN是一個分布式的資源管理系統,是Hadoop的核心組件,在Hadoop集群中主要負責資源管理、調度運行及監控作業。關于EMR YARN的詳情,請參見YARN調度器

在DataWorks中,您可通過如下方式配置調度節點運行時使用的YARN資源隊列:

  • 方式一:配置全局YARN資源隊列

    設置工作空間級別某DataWorks功能模塊運行EMR任務時使用哪個YARN資源隊列,并定義此處配置的YARN資源隊列優先級是否高于指定模塊內配置的YARN資源隊列。詳情請參見設置全局YARN資源隊列

  • 方式二:配置產品模塊內YARN隊列

    • 數據開發(DataStudio):對于Hive、Spark節點,可在節點編輯頁面右側導航欄的高級設置,通過queue參數設置單個節點任務的YARN資源隊列。

    • 數據質量:可在EMR表的分區規則中,通過運行隊列配置單個分區規則的YARN資源隊列。詳情請參見配置規則:按表(單表)

      image.png

    • 其他產品模塊:暫不支持在模塊內單獨設置YARN資源隊列

使用限制

  • 僅以下角色可配置YARN資源隊列:

    • 阿里云主賬號。

    • 擁有AliyunDataWorksFullAccess權限的子賬號(RAM用戶)或RAM角色。

    • 擁有空間管理員角色的子賬號(RAM用戶)

  • 修改YARN全局最大優先級

    通過DataWorks的EMR任務修改YARN優先級時,您需同時在EMR集群的yarn-site.xml文件中添加配置項yarn.cluster.max-application-priority,并設置較大的優先級來覆蓋默認值0,否則DataWorks上配置的EMR任務優先級將不生效。

    說明

    修改配置后需重啟YARN服務,該配置才會生效。

  • 目前僅支持對數據開發(DataStudio)、數據質量、數據分析、運維中心模塊設置全局YARN資源隊列。

前提條件

已注冊EMR集群至DataWorks,詳情請參見注冊EMR集群至DataWorks

設置全局YARN資源隊列

  1. 進入全局YARN資源隊列配置頁面。

    1. 進入管理中心頁面。

      登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的管理中心,在下拉框中選擇對應工作空間后單擊進入管理中心

    2. 單擊左側導航欄的開源集群,進入集群管理頁面

    3. 找到目標E-MapReduce集群,單擊YARN資源隊列進入全局YARN資源隊列配置頁面。

      image.png

  2. 設置全局YARN資源隊列。

    單擊YARN資源隊列頁面右上角的編輯YARN資源隊列,配置各模塊的全局YARN資源隊列及隊列優先級。

    說明

    該配置為工作空間全局配置,請在配置前確認所使用的工作空間是否正確。

    參數

    描述

    資源隊列

    配置各模塊運行EMR任務時使用的YARN資源隊列。您可進入EMR on ECS控制臺獲取EMR已創建的資源隊列。

    全局配置是否優先

    勾選后,表示全局配置將比產品模塊內配置優先生效;此時將按照全局配置的YARN資源隊列統一運行任務。

    • 全局配置:即在管理中心 > 開源集群 > EMR集群YARN資源隊列頁面配置的YARN資源隊列。

      說明

      目前僅支持對數據開發(DataStudio)、數據質量、數據分析、運維中心模塊設置全局YARN資源隊列。

    • 產品模塊內配置:

      • 數據開發(DataStudio):對于Hive、Spark節點,可在節點編輯頁面右側導航欄的高級設置,通過queue參數設置單個節點任務的YARN資源隊列。

      • 數據質量:可在EMR表的分區規則中,通過運行隊列配置單個分區規則的YARN資源隊列。詳情請參見配置規則:按表(單表)

        image.png

      • 其他產品模塊:暫不支持在模塊內單獨設置YARN資源隊列

相關文檔

設置基線優先級與YARN隊列優先級的映射關系