日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
產品文檔
輸入文檔關鍵字查找
首頁 開源大數據平臺 E-MapReduce EMR on ECS 操作指南 集群管理 集群運維 常用文件路徑

常用文件路徑

更新時間：
一鍵部署
產品詳情
相關技術圈
我的收藏

本文為您介紹E-MapReduce中常用文件的路徑。您可以登錄Master節點查看常用文件的安裝路徑。

數據湖集群

大數據組件安裝目錄

組件安裝在/opt/apps/xxx目錄下，例如：

  • HDFS：/opt/apps/HDFS/hdfs-current

  • Hive：/opt/apps/HIVE/hive-current

  • Hudi：/opt/apps/HUDI/hudi-current

  • YARN：/opt/apps/YARN/yarn-current

  • Presto：/opt/apps/PRESTO/presto-current

  • Ranger：/opt/apps/RANGER/ranger-current

您也可以通過登錄Master節點，執行env |grep xxx命令查看軟件的安裝目錄，其中xxx為服務名。

例如，執行命令env |grep hive，查看Hive的安裝目錄。

JINDOTABLE_EXTRA_CLASSPATH=/opt/apps/METASTORE/metastore-current/hive2
HIVE_HOME=/opt/apps/HIVE/hive-current
HIVE_LOG_DIR=/var/log/taihao-apps/hive
HIVE_CONF_DIR=/etc/taihao-apps/hive-conf
PATH=/opt/apps/JINDOSDK/jindosdk-current/bin:/opt/apps/HADOOP-COMMON/hadoop-common-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/apps/HIVE/hive-current/bin:/opt/apps/JINDODATA/jindodata-current/bin:/opt/apps/JINDODATA/jindodata-current/sbin:/opt/apps/SPARK-EXTENSION/spark-extension-current/bin:/opt/apps/SPARK3/spark-current/bin:/root/bin
OLDPWD=/var/log/emr/hive

日志目錄

日志在/var/log/emr/xxx目錄下，例如：

  • Spark：/var/log/emr/spark/

  • Hive：/var/log/emr/hive/

  • YARN：/var/log/emr/yarn/

  • Jindosdk：/var/log/emr/jindosdk/

配置文件目錄

配置文件在/etc/emr/xxx目錄下，例如：

  • HDFS：/etc/emr/hdfs-conf/

  • Spark：/etc/emr/spark-conf/

  • Hive：/etc/emr/hive-conf/

  • Hudi：/etc/emr/hudi-conf/

  • Knox：/etc/emr/knox-conf/

  • YARN：/etc/emr/hadoop-conf/

  • Zookeeper：/etc/emr/zookeeper-conf/

舊版數據湖集群

大數據組件安裝目錄

軟件安裝在/usr/lib/xxx目錄下，例如：

  • Hadoop：/usr/lib/hadoop-current

  • Spark ：/usr/lib/spark-current

  • Hive：/usr/lib/hive-current

  • Flink：/usr/lib/flink-current

  • Flume：/usr/lib/flume-current

您也可以通過登錄Master節點，執行env |grep xxx命令查看軟件的安裝目錄。

例如，執行以下命令，查看Spark的安裝目錄。 

env |grep spark

返回如下信息，其中/usr/lib/spark-current為Spark的安裝目錄。 

SPARK_HOME=/usr/lib/spark-current
SPARK_CONF_DIR=/etc/ecm/spark-conf
SPARK_LOG_DIR=/mnt/disk1/log/spark
PATH=/usr/lib/sqoop-current/bin:/usr/lib/jindosdk-current/bin:/usr/lib/hudi-current/bin:/usr/lib/hive-current/hcatalog/bin:/usr/lib/hive-current/bin:/usr/lib/datafactory-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/lib/flow-agent-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/usr/lib/jindodata-current//bin:/usr/lib/jindodata-current//sbin:/usr/lib/spark-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/root/bin
HADOOP_CLASSPATH=/opt/apps/extra-jars/*:/usr/lib/spark-current/yarn/spark-3.2.1-yarn-shuffle.jar
SPARK_PID_DIR=/usr/lib/spark-current/pids

日志目錄

組件日志在/mnt/disk1/log/xxx目錄下，例如：

  • Yarn ResourceManager日志：Master節點/mnt/disk1/log/hadoop-yarn

  • Yarn NodeNanager日志：Slave節點/mnt/disk1/log/hadoop-yarn

  • HDFS NameNode日志：Master節點/mnt/disk1/log/hadoop-hdfs

  • HDFS DataNode日志：Slave節點/mnt/disk1/log/hadoop-hdfs

  • Hive日志：Master節點/mnt/disk1/log/hive

  • ESS日志：Master和Worker節點/mnt/disk1/log/ess/

配置文件目錄

配置文件在/etc/ecm/xxx目錄下，例如：

  • Hadoop：/etc/ecm/hadoop-conf/

  • Spark：/etc/ecm/spark-conf/

  • Hive：/etc/ecm/hive-conf/

  • Flink：/etc/ecm/flink-conf/

  • Flume：/etc/ecm/flume-conf/

如果您需要修改配置文件中的參數，請登錄E-MapReduce控制臺操作，通過SSH方式只能瀏覽配置文件中的參數。

數據目錄

JindoFS緩存數據：/mnt/disk1/jindodata/