HDFS Web UI介紹
本文為您介紹如何訪問HDFS Web界面，包括獲取NameNode服務(wù)地址、瀏覽NameNode UI首頁，并提供有關(guān)啟動NameNode UI的相關(guān)說明。
訪問HDFS Web UI
您可以通過SSH隧道和控制臺兩種方式訪問HDFS Web UI，具體操作請參見通過SSH隧道方式訪問開源組件Web UI和訪問鏈接與端口。
NameNode服務(wù)地址
版本 | 訪問地址 | 說明 |
hadoop 3.x | http://${namenode_hostname}:9870 | ${namenode_hostname}需要替換為對應(yīng)節(jié)點(diǎn)的hostname。 |
hadoop 2.x | http://${namenode_hostname}:50070 | ${namenode_hostname}需要替換成對應(yīng)節(jié)點(diǎn)的hostname。 |
NameNode UI首頁介紹
Overview
其中，第一行Overview后，為當(dāng)前NameNode節(jié)點(diǎn)的hostname，括號內(nèi)為active或standby，對應(yīng)當(dāng)前節(jié)點(diǎn)的高可用狀態(tài)。其他參數(shù)說明如下。
參數(shù) | 說明 |
Namespace | NameNode的nameservice地址。 |
NameNode ID | 當(dāng)前NameNode的Service ID。 |
Started | NameNode本次啟動時(shí)間。 |
Version | HDFS版本號。 |
Compiled | 編譯相關(guān)信息。 |
Cluster ID | HDFS集群標(biāo)識。 |
Block Pool ID | HDFS Block Pool標(biāo)識。 |
Summary
主要信息說明如下：
Security：表示集群是否開啟了Kerberos安全認(rèn)證。
Safemode：表示集群是否處理只讀狀態(tài)。
文件、目錄和數(shù)據(jù)塊的數(shù)量，Active NameNode和Standby NameNode的統(tǒng)計(jì)有一定差異，屬于正常現(xiàn)象。在這種情況下，應(yīng)以Active NameNode提供的數(shù)據(jù)為標(biāo)準(zhǔn)。
NameNode Journal Status
NameNode在高可用模式下，需要重點(diǎn)關(guān)注，其中：
Active NameNode為寫模式
監(jiān)控Active節(jié)點(diǎn)的QJM（Quorum Journal Manager）狀態(tài)時(shí)，需密切觀察每個(gè)Journal Node上的Written txid的ID值。如果發(fā)現(xiàn)某個(gè)ID持續(xù)為0，或與其他兩個(gè)Journal Node的ID值差異顯著，則需要重置對應(yīng)的Journal Node。
Standby NameNode為讀模式
通常，Standby節(jié)點(diǎn)上的QJM狀態(tài)設(shè)置為讀取模式，不需要特別關(guān)注。
NameNode Storage
由于NameNode異步進(jìn)行FsImage checkpointing，所以需要密切關(guān)注Image Type狀態(tài)。例如，如果Standby Node的Image Type長時(shí)間顯示為Failed，則會導(dǎo)致編輯日志（edits）的堆積。在這樣的情形下，如果發(fā)生NameNode重啟，則會消耗較多時(shí)間來讀取堆積的edits文件。
NameNode UI啟動說明
NameNode的啟動主要包括加載文件系統(tǒng)鏡像（Load FsImage）、加載編輯日志（Load edits）和等待數(shù)據(jù)節(jié)點(diǎn)報(bào)告其持有的數(shù)據(jù)塊（Wait Reported blocks）幾個(gè)關(guān)鍵步驟。正常情況下，這些步驟應(yīng)該相對迅速完成，但如果某些步驟耗時(shí)過長，可能需要采取優(yōu)化措施。
如果Load FsImage和Wait Reported blocks階段耗時(shí)過長，可以檢查是否需要調(diào)整GC參數(shù)。
如果Load edits階段耗時(shí)過長，可以檢查JournalNode下是否積壓了大量尚未處理的日志。JournalNode的目錄信息請參見HDFS組件使用的本地磁盤目錄。
相關(guān)文檔
如果在使用HDFS過程中遇到任何問題或故障，詳情請參見常見問題和故障診斷。