Hue進行SQL交互查詢時,需要向YARN申請資源進行計算,如果需要對計算資源進行管理和隔離,則需要配置HiveSQL和SparkSQL的隊列。本文為您介紹如何調(diào)整YARN隊列。

前提條件

已創(chuàng)建E-MapReduce的Hadoop集群,詳情請參見創(chuàng)建集群

操作步驟

  1. 進入詳情頁面。
    1. 通過阿里云賬號登錄阿里云E-MapReduce控制臺
    2. 在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組。
    3. 單擊上方的集群管理頁簽。
    4. 集群管理頁面,單擊相應集群所在行的詳情
  2. 修改或添加自定義配置。
    說明 如果需要修改配置,您可以配置頁面,搜索待修改的配置項,直接修改配置項的值。
    • HiveSQL需要根據(jù)不同引擎設置HiveServer2:
      1. 在左側(cè)導航欄中,選擇集群服務 > Hive
      2. 在Hive頁面,單擊上方的配置頁簽。
      3. 服務配置區(qū)域,單擊hiveserver2-site頁簽。
      4. hiveserver2-site頁簽,單擊右上角的自定義配置,添加配置信息。
        引擎 參數(shù) 描述
        Hive on MR mapreduce.job.queuename 隊列名稱,您可以自定義。

        本文示例參數(shù)值為QUEUENAME。

        Hive on Tez tez.queue.name
        Hive on Spark spark.yarn.queue
      5. 添加完配置信息后,單擊確定
      6. 保存配置。
        1. 單擊右上角的保存。
        2. 確認修改對話框中,輸入執(zhí)行原因,單擊確定。
    • SparkSQL使用SparkThriftServer,在Spark組件上修改spark-thriftServer配置或添加自定義配置:
      1. 在左側(cè)導航欄中,選擇集群服務 > Spark。
      2. 單擊配置頁簽。
      3. 單擊服務配置區(qū)域的spark-thriftServer頁簽。
      4. spark-thriftServer頁簽,單擊右上角的自定義配置。
      5. 新增配置項對話框中,添加參數(shù)為spark.yarn.queue,參數(shù)值為QUEUENAME的信息,單擊確定。
      6. 保存配置。
        1. 單擊右上角的保存。
        2. 確認修改對話框中,輸入執(zhí)行原因,單擊確定
  3. 重啟服務。
    • 重啟Hive的HiveServer2組件。
      1. 在左側(cè)導航欄中,選擇集群服務 > Hive
      2. 組件列表區(qū)域,單擊HiveServer2所在行的重啟
      3. 執(zhí)行集群操作對話框,輸入執(zhí)行原因,單擊確定
      4. 確認對話框中,單擊確定
    • 重啟Spark的ThriftServer組件。
      1. 在左側(cè)導航欄中,選擇集群服務 > Spark。
      2. 組件列表區(qū)域,單擊ThriftServer所在行的重啟。
      3. 執(zhí)行集群操作對話框,輸入執(zhí)行原因,單擊確定。
      4. 確認對話框中,單擊確定