注意事項

• 本文操作均不可逆，一旦開始下線操作后，無法恢復原有狀態。

• 本文操作為最佳實踐操作演示，請結合集群實際情況進行評估后謹慎操作，避免集群任務調度失敗以及數據安全的風險。

下線前準備

服務組件Decommission

YARN NodeManager Decommission

1. 進入YARN服務的狀態頁面。

   1. 登錄E-MapReduce控制臺。

   2. 在頂部菜單欄處，根據實際情況選擇地域和資源組。

   3. 在EMR on ECS頁面，單擊目標集群操作列的集群服務。

   4. 在集群服務頁面，單擊YARN服務區域的狀態。

2. 下線目標節點的NodeManager。

   1. 在組件列表中，單擊NodeManager操作列中的下線。

   2. 在彈出的對話框中，選擇執行范圍、輸入執行原因、單擊確定。

   3. 在彈出的對話框中，單擊確定。

3. 單擊右上角的操作歷史，可以查看操作進度。

HDFS DataNode Decommission

1. 通過SSH方式登錄集群Master節點，詳見請參見登錄集群。

2. 切換到hdfs用戶，并查看當前NameNode的個數。

   sudo su - hdfs
   hdfs haadmin -getAllServiceState

3. 依次ssh到NameNode所在節點，編輯dfs.exclude文件，加入需要下線的節點，每次建議只新增一臺。

   • Hadoop集群

     touch /etc/ecm/hadoop-conf/dfs.exclude
     vim /etc/ecm/hadoop-conf/dfs.exclude

     在vim下輸入o，新開始一行，填寫下線的DataNode的hostname。

     emr-worker-3.cluster-xxxxx
     emr-worker-4.cluster-xxxxx

   • 非Hadoop集群

     touch /etc/taihao-apps/hdfs-conf/dfs.exclude
     vim /etc/taihao-apps/hdfs-conf/dfs.exclude

     在vim下輸入o，新開始一行，填寫下線的DataNode的hostname。

     core-1-3.c-0894dxxxxxxxxx
     core-1-4.c-0894dxxxxxxxxx

4. 在任一NameNode所在節點，切換到hdfs用戶，執行刷新命令，HDFS自動啟動Decommission。

   sudo su - hdfs
   hdfs dfsadmin -refreshNodes

5. 確認下線結果。

   輸?以下命令，判斷decommission過程是否已經完成。

   hadoop dfsadmin -report

   當指定節點的Decommission Status為Decommissioned，即表示該節點DataNode的數據已經遷移?其他節點，下線操作已經完成。

SmartData JindoStorageService Decommission（Hadoop集群）

1. 進入SmartData服務的狀態頁面。

   1. 登錄E-MapReduce控制臺。

   2. 在頂部菜單欄處，根據實際情況選擇地域和資源組。

   3. 在EMR on ECS頁面，單擊目標集群操作列的集群服務。

   4. 在集群服務頁面，單擊SmartData服務區域的狀態。

2. 下線目標節點的JindoStorageService。

   1. 在組件列表中，單擊JindoStorageService操作列中的下線。

   2. 在彈出的對話框中，選擇執行范圍、輸入執行原因、單擊確定。

   3. 在彈出的對話框中，單擊確定。

3. 單擊右上角的操作歷史，可以查看操作進度。

HBase HRegionServer Decommission

1. 進入HBase服務的狀態頁面。

   1. 登錄E-MapReduce控制臺。

   2. 在頂部菜單欄處，根據實際情況選擇地域和資源組。

   3. 在EMR on ECS頁面，單擊目標集群操作列的集群服務。

   4. 在集群服務頁面，單擊HBase服務區域的狀態。

2. 下線目標節點的HRegionServer。

   1. 在組件列表中，單擊HRegionServer操作列中的停止。

   2. 在彈出的對話框中，輸入執行原因，單擊確定。

3. 單擊右上角的操作歷史，可以查看操作進度。

StarRocks Decommission

1. 登錄集群并使用客戶端訪問集群，詳情請參見快速入門。

2. 執行如下命令，通過DECOMMISSION方式下線BE。

   ALTER SYSTEM DECOMMISSION backend "be_ip:be_heartbeat_service_port";

   以下參數請根據集群實際情況替換。

   • be_ip：在節點管理頁面找到待縮容BE的內網IP地址。

   • be_heartbeat_service_port：默認是9050，可以通過show backends命令查看。

   如果Decommission很慢，您可以使用DROP方式強制下線BE。

   重要

   如果您使用DROP方式下線BE節點，請確保系統三副本完整。

   ALTER SYSTEM DROP backend "be_ip:be_heartbeat_service_port";

3. 執行以下命令，觀察BE狀態。

   show backends;

   

   SystemDecommissioned為true的節點，表示正在進行Decommission。當BE節點的TabletNum為0時，系統會清理元數據。

   如果圖中查看不到BE節點，則說明下線成功。

HBASE-HDFS DataNode Decommission

1. 通過SSH方式登錄集群Master節點，詳見請參見登錄集群。

2. 執行以下命令，切換到hdfs用戶并設置環境變量。

   sudo su - hdfs
   export HADOOP_CONF_DIR=/etc/taihao-apps/hdfs-conf/namenode

3. 執行以下命令，查看當前NameNode的信息。

   hdfs dfsadmin -report

4. 依次ssh到NameNode所在節點，編輯dfs.exclude文件，加入需要下線的節點，每次建議只新增一臺。

   touch /etc/taihao-apps/hdfs-conf/dfs.exclude
   vim /etc/taihao-apps/hdfs-conf/dfs.exclude

   在vim下輸入o，新開始一行，填寫下線的DataNode的hostname。

   core-1-3.c-0894dxxxxxxxxx
   core-1-4.c-0894dxxxxxxxxx

5. 在任一NameNode所在節點，切換到hdfs用戶，執行刷新命令，HDFS自動啟動Decommission。

   sudo su - hdfs
   export HADOOP_CONF_DIR=/etc/taihao-apps/hdfs-conf/namenode
   hdfs dfsadmin -refreshNodes

6. 確認下線結果。

   輸?以下命令，判斷decommission過程是否已經完成。

   hadoop dfsadmin -report

   當指定節點的Decommission Status為Decommissioned，即表示該節點DataNode的數據已經遷移?其他節點，下線操作已經完成。

釋放節點

1. 進入節點管理頁面。

   1. 登錄E-MapReduce控制臺。

   2. 在頂部菜單欄處，根據實際情況選擇地域和資源組。

   3. 在EMR on ECS頁面，單擊目標集群操作列的節點管理。

2. 在節點管理頁面，單擊待釋放節點的ECS ID。

   即可進入ECS控制臺。

3. 在ECS控制臺上對實例進行釋放操作，詳情請參見釋放實例。

相關文檔

對于按量付費和搶占式實例的Task節點組的縮容操作，詳情請參見縮容集群。