Hue進行SQL交互查詢時,需要向YARN申請資源進行計算,如果需要對計算資源進行管理和隔離,則需要配置HiveSQL和SparkSQL的隊列。本文為您介紹如何調(diào)整YARN隊列。
前提條件
已創(chuàng)建E-MapReduce的Hadoop集群,詳情請參見創(chuàng)建集群。
操作步驟
- 進入詳情頁面。
- 通過阿里云賬號登錄阿里云E-MapReduce控制臺。
- 在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組。
- 單擊上方的集群管理頁簽。
- 在集群管理頁面,單擊相應集群所在行的詳情。
- 修改或添加自定義配置。說明 如果需要修改配置,您可以配置頁面,搜索待修改的配置項,直接修改配置項的值。
- HiveSQL需要根據(jù)不同引擎設置HiveServer2:
- 在左側(cè)導航欄中,選擇集群服務 > Hive。
- 在Hive頁面,單擊上方的配置頁簽。
- 在服務配置區(qū)域,單擊hiveserver2-site頁簽。
- 在hiveserver2-site頁簽,單擊右上角的自定義配置,添加配置信息。
引擎 參數(shù) 描述 Hive on MR mapreduce.job.queuename 隊列名稱,您可以自定義。 本文示例參數(shù)值為QUEUENAME。
Hive on Tez tez.queue.name Hive on Spark spark.yarn.queue - 添加完配置信息后,單擊確定。
- 保存配置。
- 單擊右上角的保存。
- 在確認修改對話框中,輸入執(zhí)行原因,單擊確定。
- SparkSQL使用SparkThriftServer,在Spark組件上修改spark-thriftServer配置或添加自定義配置:
- 在左側(cè)導航欄中,選擇集群服務 > Spark。
- 單擊配置頁簽。
- 單擊服務配置區(qū)域的spark-thriftServer頁簽。
- 在spark-thriftServer頁簽,單擊右上角的自定義配置。
- 在新增配置項對話框中,添加參數(shù)為spark.yarn.queue,參數(shù)值為QUEUENAME的信息,單擊確定。
- 保存配置。
- 單擊右上角的保存。
- 在確認修改對話框中,輸入執(zhí)行原因,單擊確定。
- HiveSQL需要根據(jù)不同引擎設置HiveServer2:
- 重啟服務。
- 重啟Hive的HiveServer2組件。
- 在左側(cè)導航欄中,選擇集群服務 > Hive。
- 在組件列表區(qū)域,單擊HiveServer2所在行的重啟。
- 在執(zhí)行集群操作對話框,輸入執(zhí)行原因,單擊確定。
- 在確認對話框中,單擊確定。
- 重啟Spark的ThriftServer組件。
- 在左側(cè)導航欄中,選擇集群服務 > Spark。
- 在組件列表區(qū)域,單擊ThriftServer所在行的重啟。
- 在執(zhí)行集群操作對話框,輸入執(zhí)行原因,單擊確定。
- 在確認對話框中,單擊確定。
- 重啟Hive的HiveServer2組件。