配置Hadoop

本節以Hadoop 2.7.2版本為例，介紹如何配置Hadoop。

1. 下載Hadoop，建議版本不低于2.7.2。

2. 執行以下命令，解壓Hadoop壓縮包。

   tar -zxf hadoop-2.7.2.tar.gz

3. 執行以下命令，設置Hadoop工作環境變量。

   export HADOOP_HOME=yourWorkingDir/hadoop-2.7.2

4. 執行cd hadoop-2.7.2命令，進入Hadoop目錄。

5. 配置hadoop-env.sh文件。

   1. 執行以下命令，打開hadoop-env.sh文件。

      vim etc/hadoop/hadoop-env.sh

   2. 配置JAVA_HOME。

      # ${JAVA_HOME}為您ECS的Java JDK的路徑，請根據實際路徑進行替換。
      export JAVA_HOME=${JAVA_HOME}

6. 配置core-site.xml文件。core-site.xml文件中需要修改的內容如下所示。

   1. 執行以下命令，打開core-site.xml文件。

      vim etc/hadoop/core-site.xml

   2. 在core-site.xml文件中，配置如下信息。

      <property>
           <name>fs.defaultFS</name>
           <value>dfs://f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com:10290</value>
      </property>
      <property>
           <name>fs.dfs.impl</name>
           <value>com.alibaba.dfs.DistributedFileSystem</value>
      </property>
      <property>
           <name>fs.AbstractFileSystem.dfs.impl</name>
           <value>com.alibaba.dfs.DFS</value>
      </property>

      說明

      • f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com為文件存儲 HDFS 版掛載點地址，請根據實際值替換。

      • core-site.xml的內容需要同步到所有依賴hadoop-common的節點上。

部署依賴

1. 下載最新的文件存儲 HDFS 版的文件系統Java SDK。

2. 將下載的SDK拷貝至Hadoop生態系統組件的CLASSPATH上。

   推薦將其部署到hadoop-common-x.y.z.jar所在的目錄內，并復制到所有Hadoop節點。對于MapReduce組件，該目錄為${HADOOP_HOME}/share/hadoop/hdfs，命令示例如下。

   cp aliyun-sdk-dfs-x.y.z.jar ${HADOOP_HOME}/share/hadoop/hdfs

   其中，x.y.z為文件系統SDK的版本號，請根據實際版本號替換。

驗證安裝

請執行以下步驟驗證安裝。

1. 準備數據。

   1. 運行以下命令創建目錄。

      ${HADOOP_HOME}/bin/hadoop fs -mkdir -p inputDir

   2. 運行以下命令上傳文件（例如，上傳a.txt文件）。

      ${HADOOP_HOME}/bin/hadoop fs -put a.txt inputDir/

2. 重啟YARN服務。

   1. 關閉YARN服務。

      ${HADOOP_HOME}/sbin/stop-yarn.sh

   2. 開啟YARN服務。

      ${HADOOP_HOME}/sbin/start-yarn.sh

3. 執行樣例測試。

   • WordCount樣例

     ${HADOOP_HOME}/bin/hadoop jar \
     ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \
     inputDir outputDir

   • Grep樣例

     ${HADOOP_HOME}/bin/hadoop jar \
     ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep \
     inputDir outputDirGrep "the"