E-MapReduce提供控制臺的方式修改、添加或查看HDFS、YARN和Spark等服務的配置項。本文為您介紹如何在E-MapReduce控制臺管理配置項。
前提條件
已創建集群，詳情請參見創建集群。
查看配置項
在目標服務的配置頁簽中，默認展示集群默認的配置項。您也可以在集群默認配置下拉列表中，選擇節點組配置或者獨立節點配置。部分節點、節點組支持修改配置項，詳情請參見節點級別可修改的配置項。
如果某個配置項在節點組或節點級別有修改，或與集群級別的默認配置存在不一致，則該配置項將在集群默認配置級別的頁面顯示節點組或節點級別的配置信息。
查看某一配置項節點組級別和節點級別配置值，需要指定具體的節點組或節點名稱。
同一配置項的配置值存在覆蓋關系。配置項的配置值是按節點、節點組、集群級別三層管理的，優先級順序為：節點級別 > 節點組級別 > 集群級別。
在集群默認配置級別的頁面，節點組或節點的配置項僅供查看。如果需要進行修改，請先單擊上方的文件頁簽，然后選擇節點組配置或者獨立節點配置進行修改與保存。
修改配置項
進入服務的配置頁面。
在頂部菜單欄處，根據實際情況選擇地域和資源組。
在EMR on ECS頁面，單擊目標集群操作列的集群服務。
單擊目標服務區域的配置。
修改配置。
在搜索框中，輸入待修改的配置項。
找到您待修改的參數后，修改對應的參數值。
保存配置。
在配置頁面，單擊保存。
在保存對話框中，輸入執行原因，單擊保存。
說明在保存對話框中，保存并下發配置開關默認打開，保存配置后，配置項將下發至客戶端。您可以通過手動生效方式使配置生效。如果您在保存對話框中關閉了保存并配置下發開關，則可以通過提示燈方式使配置生效。
生效配置。
請根據您修改的參數類型執行以下操作，使修改的配置生效。
手動生效方式
客戶端類型配置
保存完成后，單擊部署客戶端配置。
在彈出的對話框中，輸入執行原因，單擊確定。
在確認對話框中，單擊確定。
服務端類型配置
保存完成后，在配置頁面，選擇。
在彈出的對話框中，輸入執行原因，單擊確定。
在確認對話框中，單擊確定。
提示燈生效方式
說明該方式僅適用于EMR-5.12.1及后續版本，EMR-3.46.1及后續版本。
客戶端類型配置
保存完成后，會有
的提示燈。單擊待下發提示燈。
在彈出的對話框中，單擊配置下發。
說明對于YARN服務，如果配置下發的配置項中有隊列相關的配置項，則在配置下發后，需要再單擊部署生效或
的提示燈，才能使配置生效。
服務端類型配置
保存完成后，會有
的提示燈。單擊待生效提示燈。
在彈出的對話框中，根據生效方式進行配置。
自定義生效方式配置
需要您手動單擊各生效操作。
重啟生效方式配置
可以單擊重啟或批量重啟。
在彈出的對話框中，輸入執行原因，單擊確定。
添加配置項
進入服務的配置頁面。
在頂部菜單欄處，根據實際情況選擇地域和資源組。
在EMR on ECS頁面，單擊目標集群操作列的集群服務。
單擊目標服務區域的配置。
新增配置。
單擊待操作的頁簽。
單擊上方的新增配置項。
根據您的實際情況，添加配置項。
一次可以添加多個配置項。
配置項
描述
Key
參數名。
Value
參數值。
描述
參數描述。
操作
支持刪除配置項。
新增完成后，單擊確定。
在彈出的對話框中，輸入執行原因，單擊保存。
生效配置。
請根據您修改的參數類型執行以下操作，使修改的配置生效。
手動生效方式
客戶端類型配置
保存完成后，單擊部署客戶端配置。
在彈出的對話框中，輸入執行原因，單擊確定。
在確認對話框中，單擊確定。
服務端類型配置
保存完成后，在配置頁面，選擇。
在彈出的對話框中，輸入執行原因，單擊確定。
在確認對話框中，單擊確定。
提示燈生效方式
說明該方式僅適用于EMR-5.12.1及后續版本，EMR-3.46.1及后續版本。
客戶端類型配置
保存完成后，會有
的提示燈。單擊待下發提示燈。
在彈出的對話框中，單擊配置下發。
說明對于YARN服務，如果配置下發的配置項中有隊列相關的配置項，則在配置下發后，需要再單擊部署生效或
的提示燈，才能使配置生效。
服務端類型配置
保存完成后，會有
的提示燈。單擊待生效提示燈。
在彈出的對話框中，根據生效方式進行配置。
自定義生效方式配置
需要您手動單擊各生效操作。
重啟生效方式配置
可以單擊重啟或批量重啟。
在彈出的對話框中，輸入執行原因，單擊確定。
節點級別可修改的配置項
本文以EMR-5.17.1版本為例介紹。
kerberos相關的配置項，需要在開啟Kerberos安全認證的場景下顯示。
服務名 | 文件名 | 節點/節點組可修改的配置項 |
Hadoop-Common | core-site.xml | fs.oss.tmp.data.dirs hadoop.tmp.dir |
HDFS | hdfs-env.sh | hadoop_datanode_heapsize hadoop_secondarynamenode_opts hadoop_namenode_heapsize |
hdfs-site.xml | dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves | |
OSS-HDFS | 無 | 無 |
Hive | hive-env.sh | hive_metastore_heapsize hive_server2_heapsize |
Spark2 | hiveserver2-site.xml | hive.server2.authentication.kerberos.principal |
spark-env.sh | spark_history_daemon_memory spark_thrift_daemon_memory | |
spark-thriftserver.conf | spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.yarn.principal | |
spark-defaults.conf | spark.yarn.historyServer.address spark.history.kerberos.principal | |
Spark3 | hiveserver2-site.xml | hive.server2.authentication.kerberos.principal |
spark-env.sh | spark_history_daemon_memory spark_thrift_daemon_memory | |
spark-thriftserver.conf | spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.kerberos.principal | |
spark-defaults.conf | spark.yarn.historyServer.address spark.history.kerberos.principal | |
Tez | 無 | 無 |
Trino | iceberg.properties | hive.hdfs.trino.principal hive.metastore.client.principal |
delta.properties | hive.hdfs.trino.principal hive.metastore.client.principal | |
config.properties | coordinator node-scheduler.include-coordinator query.max-memory query.max-total-memory query.max-memory-per-node http-server.authentication.type http-server.authentication.krb5.user-mapping.pattern http-server.authentication.krb5.service-name http-server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path event-listener.config-files 說明 event-listener.config-files用于指定事件監聽器（Event Listener）的配置文件路徑，在開啟Event Listener開關后可顯示。 | |
jvm.config | jvm parameter | |
hudi.properties | hive.hdfs.trino.principal hive.metastore.client.principal | |
password-authenticator.properties | ldap.url ldap.user-bind-pattern | |
hive.properties | hive.hdfs.trino.principal hive.metastore.client.principal | |
DeltaLake | 無 | 無 |
Hudi | 無 | 無 |
Iceberg | 無 | 無 |
JindoData | storage.yaml | jindofsx.storage.cache-mode storage.watermark.high.ratio storage.watermark.low.ratio storage.handler.threads 說明
|
Flume | flume-conf.properties | agent_name flume-conf.properties |
Kyuubi | kyuubi-env.sh | kyuubi_java_opts |
YARN | yarn-site.xml | yarn.nodemanager.resource.memory-mb yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs yarn.nodemanager.resource.cpu-vcores yarn.nodemanager.address yarn.nodemanager.node-labels.provider.configured-node-partition |
yarn-env.sh | YARN_RESOURCEMANAGER_HEAPSIZE YARN_TIMELINESERVER_HEAPSIZE YARN_PROXYSERVER_HEAPSIZE YARN_NODEMANAGER_HEAPSIZE YARN_RESOURCEMANAGER_HEAPSIZE_MIN YARN_TIMELINESERVER_HEAPSIZE_MIN YARN_PROXYSERVER_HEAPSIZE_MIN YARN_NODEMANAGER_HEAPSIZE_MIN | |
mapred-env.sh | HADOOP_JOB_HISTORYSERVER_HEAPSIZE | |
mapred-site.xml | mapreduce.cluster.local.dir | |
Impala | 無 | 無 |
OpenLDAP | 無 | 無 |
Ranger | 無 | 無 |
Ranger-Plugin | 無 | 無 |
DLF-Auth | 無 | 無 |
Presto | iceberg.properties | hive.hdfs.presto.principal hive.metastore.client.principal |
delta.properties | hive.hdfs.presto.principal hive.metastore.client.principal | |
hive.properties | hive.hdfs.presto.principal hive.metastore.client.principal | |
config.properties | coordinator node-scheduler.include-coordinator query.max-memory-per-node query.max-total-memory-per-node http-server.authentication.type http.authentication.krb5.principal-hostname http.server.authentication.krb5.service-name http.server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path | |
jvm.config | jvm parameter | |
hudi.properties | hive.hdfs.presto.principal hive.metastore.client.principal | |
password-authenticator.properties | ldap.url ldap.user-bind-pattern | |
Starrocks2 | fe.conf | JAVA_OPTS meta_dir |
be.conf | storage_root_path JAVA_OPTS | |
Starrocks3 | fe.conf | JAVA_OPTS meta_dir |
be.conf | storage_root_path JAVA_OPTS | |
Doris | fe.conf | JAVA_OPTS JAVA_OPTS_FOR_JDK_9 meta_dir |
be.conf | storage_root_path | |
ClickHouse | server-config | interserver_http_host |
server-metrika | macros.shard macros.replica | |
Zookeeper | 無 | 無 |
Sqoop | 無 | 無 |
Knox | 無 | 無 |
Celeborn | celeborn-env.sh | CELEBORN_WORKER_MEMORY CELEBORN_WORKER_OFFHEAP_MEMORY CELEBORN_MASTER_MEMORY |
celeborn-defaults.conf | celeborn.worker.storage.dirs celeborn.worker.flusher.threads | |
Flink | flink-conf.yaml | security.kerberos.login.principal security.kerberos.login.keytab |
HBase | hbase-env.sh | hbase_master_opts hbase_thrift_opts hbase_rest_opts hbase_regionserver_opts |
hbase-site.xml | hbase.regionserver.handler.count hbase.regionserver.global.memstore.size hbase.regionserver.global.memstore.lowerLimit hbase.regionserver.thread.compaction.throttle hbase.regionserver.thread.compaction.large hbase.regionserver.thread.compaction.small | |
HBASE-HDFS | hdfs-env.sh | hadoop_secondarynamenode_opts hadoop_namenode_heapsize hadoop_datanode_heapsize |
hdfs-site.xml | dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves | |
JindoCache | 無 | 無 |
Kafka | server.properties | broker.id num.network.threads num.io.threads kafka.heap.opts log.dirs kafka.public-access.ip listeners advertised.listeners 說明
|
kafka-internal-config | broker_id | |
user_params | is_local_disk_instance | |
Kudu | master.gflags | fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
tserver.gflags | fs_data_dirs fs_wal_dir fs_metadata_dir log_dir | |
Paimon | 無 | 無 |
Phoenix | 無 | 無 |