YARN和Hive等服務含有大量的配置項。如果您需要調整這些服務的配置項,則可以在集群創建時使用軟件自定義配置功能,以修改現有配置或添加新的配置項。
使用限制
軟件配置操作僅在集群創建時執行一次。
操作步驟
在頂部菜單欄處,根據實際情況選擇地域和資源組。
在EMR on ECS頁面,單擊創建集群。
在軟件配置的高級設置區域,開啟軟件自定義配置開關。
您可以添加JSON格式的配置文件,在創建集群過程中覆蓋或添加集群服務的默認參數。JSON文件的內容示例如下。
[ { "ApplicationName":"YARN", "ConfigFileName":"yarn-site.xml", "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores", "ConfigItemValue":"8" }, { "ApplicationName":"YARN", "ConfigFileName":"yarn-site.xml", "ConfigItemKey":"aaa", "ConfigItemValue":"bbb" } ]
各參數含義如下表所示。
參數
描述
ApplicationName
服務名,需要全部大寫。
ConfigFileName
實際傳參的配置文件名稱。
說明為確保配置文件正確應用于對應的集群,請注意實際傳參時配置文件的命名細節。
數據湖(DataLake)、實時數據流(DataFlow)、數據分析(OLAP)、數據服務(DataServing)或自定義場景(Custom)的集群,需要包含后綴。例如,文件名稱為
yarn-site.xml
。舊版數據湖(hadoop),不需要后綴。例如,文件名稱為
yarn-site
。
ConfigItemKey
配置項的名稱。
ConfigItemValue
該配置項要設置的具體的值。
各服務的配置文件如下表所示。
服務
配置文件
YARN
core-site.xml
log4j.properties
hdfs-site.xml
mapred-site.xml
yarn-site.xml
httpsfs-site.xml
capacity-scheduler.xml
hadoop-env.sh
httpfs-env.sh
mapred-env.sh
yarn-env.sh
Hive
hive-env.sh
hive-site.xml
hive-exec-log4j.properties
hive-log4j.properties
集群組件的參數配置好后,您可以繼續創建集群,詳情請參見創建集群。
相關文檔
集群創建完成后,您還可以在各服務配置頁面直接調整配置項,詳情請參見管理配置項。