本文為您介紹HDFS指標的詳細信息。
HDFS-HOME
參數 | 指標 | 描述 |
BlocksTotal | hdfs_namenode_fsnamesystem_BlocksTotal | NameNode總的塊數。 |
CapacityRemainingGB | hdfs_namenode_fsnamesystem_CapacityRemainingGB | NameNode剩余的空間大小，單位GB。 |
CapacityTotalGB | hdfs_namenode_fsnamesystem_CapacityTotalGB | NameNode配置的總的空間大小，單位GB。 |
CapacityUsedGB | hdfs_namenode_fsnamesystem_CapacityUsedGB | NameNode已經使用的空間大小，單位GB。 |
CorruptBlocks | hdfs_namenode_fsnamesystem_CorruptBlocks | NameNode損壞的塊數。 |
ExcessBlocks | hdfs_namenode_fsnamesystem_ExcessBlocks | NameNode超過副本數的塊數。 |
ExpiredHeartbeats | hdfs_namenode_fsnamesystem_ExpiredHeartbeats | DataNode向NameNode心跳超時的個數。 |
MissingBlocks | hdfs_namenode_fsnamesystem_MissingBlocks | NameNode丟失的塊數。 |
TotalFiles | hdfs_namenode_fsnamesystem_TotalFiles | NameNode所有的文件和目錄個數之和（HDFS 2.x）。 |
TotalFiles | hdfs_namenode_fsnamesystem_FilesTotal | NameNode所有的文件和目錄個數之和（HDFS 3.x）。 |
UnderReplicatedBlocks | hdfs_namenode_fsnamesystem_UnderReplicatedBlocks | NameNode不足副本的塊數。 |
PendingDeletionBlocks | hdfs_namenode_fsnamesystem_PendingDeletionBlocks | NameNode等待刪除的塊數。 |
PendingReplicationBlocks | hdfs_namenode_fsnamesystem_PendingReplicationBlocks | NameNode等待復制的塊數。 |
PostponedMisreplicatedBlocks | hdfs_namenode_fsnamesystem_PostponedMisreplicatedBlocks | NameNode啟動時被推遲處理的塊數。 |
TotalLoad | hdfs_namenode_fsnamesystem_TotalLoad | 整個集群的客戶端連接數。 |
NumLiveDataNodes | hdfs_namenode_fsnamesystem_NumLiveDataNodes | NameNode存活的DataNode個數。 |
NumDeadDataNodes | hdfs_namenode_fsnamesystem_NumDeadDataNodes | 處于Dead狀態的DataNode個數。 |
NumDecomLiveDataNodes | hdfs_namenode_fsnamesystem_NumDecomLiveDataNodes | NameNode在線的已經decommision的DataNode個數。 |
NumDecomDeadDataNodes | hdfs_namenode_fsnamesystem_NumDecomDeadDataNodes | NameNode離線的已經decommission的DataNode個數。 |
NumDecommissioningDataNodes | hdfs_namenode_fsnamesystem_NumDecommissioningDataNodes | NameNode正在decommision的DataNode個數。 |
StaleDataNodes | hdfs_namenode_fsnamesystem_StaleDataNodes | NameNode由于Heartbeat延遲被標記為stale的DataNode個數，默認是超過三個心跳時間。 |
VolumeFailuresTotal | hdfs_namenode_fsnamesystem_VolumeFailuresTotal | DataNode存盤算壞的總數。 |
HDFS-DataNodes
參數 | 指標 | 描述 |
Rpc QueueTime Num Ops | hdfs_datanode_rpc_activity_RpcQueueTimeNumOps | DataNode RPC被調用次數。 |
Rpc QueueTime Avg Time | hdfs_datanode_rpc_activity_RpcQueueTimeAvgTime | DataNode RPC隊列平均耗時。單位：毫秒。 |
Rpc ProcessingTime Num Ops | hdfs_datanode_rpc_activity_RpcProcessingTimeNumOps | DataNode RPC被調用次數。 |
Rpc ProcessingTime Avg Time | hdfs_datanode_rpc_activity_RpcProcessingTimeAvgTime | DataNode RPC平均處理時間。單位：毫秒。 |
Rpc CallQueueLength | hdfs_datanode_rpc_activity_CallQueueLength | DataNode RPC隊列積壓長度。 |
RPC Networkdrop Connections | hdfs_datanode_rpc_activity_NumDroppedConnections | DataNode RPC中斷的連接數。 |
RPC Networkopen Connections | hdfs_datanode_rpc_activity_NumOpenConnections | DataNode RPC正在連接的連接數。 |
Rpc Slow Calls | hdfs_datanode_rpc_activity_RpcSlowCalls | DataNode RPC慢連接數。 |
ReadBlockOp Num Ops | hdfs_datanode_rpc_ReadBlockOpNumOps | DataNode RPC ReadBlock調用次數。 |
ReadBlockOp Avg Time | hdfs_datanode_rpc_ReadBlockOpAvgTime | DataNode RPC ReadBlock調用平均時間。單位：毫秒。 |
WriteBlockOpNumOps | hdfs_datanode_rpc_WriteBlockOpNumOps | DataNode RPC WriteBlock調用次數。 |
WriteBlockOp Avg Time | hdfs_datanode_rpc_WriteBlockOpAvgTime | DataNode RPC WriteBloc調用平均時間。單位：毫秒。 |
CopyBlockOpNumOps | hdfs_datanode_rpc_CopyBlockOpNumOps | DataNode RPC CopyBlock調用次數。 |
CopyBlockOpAvgTime | hdfs_datanode_rpc_CopyBlockOpAvgTime | DataNode RPC CopyBlock調用平均時間。單位：毫秒。 |
ReplaceBlockOpNumOps | hdfs_datanode_rpc_ReplaceBlockOpNumOps | DataNode RPC ReplaceBlock調用次數。 |
ReplaceBlockOpAvgTime | hdfs_datanode_rpc_ReplaceBlockOpAvgTime | DataNode RPC ReplaceBlock調用平均時間。單位：毫秒。 |
BlockReportsAvgTime | hdfs_datanode_rpc_BlockReportsAvgTime | DataNode RPC BlockReports調用平均時間。單位：毫秒。 |
BlockReportsNumOps | hdfs_datanode_rpc_BlockReportsNumOps | DataNode RPC BlockReports調用次數。 |
IncrementalBlockReportsAvgTime | hdfs_datanode_rpc_IncrementalBlockReportsAvgTime | DataNode RPC IncrementalBlockReports調用平均時間。單位：毫秒。 |
IncrementalBlockReportsNumOps | hdfs_datanode_rpc_IncrementalBlockReportsNumOps | DataNode RPC IncrementalBlockReports調用次數。 |
BlocksRead | hdfs_datanode_rpc_BlocksRead | DataNode RPC讀取塊次數。 |
BlocksRemoved | hdfs_datanode_rpc_BlocksRemoved | DataNode RPC移除塊次數。 |
BlocksReplicated | hdfs_datanode_rpc_BlocksReplicated | DataNode RPC復制塊次數。 |
BlocksVerified | hdfs_datanode_rpc_BlocksVerified | DataNode RPC驗證塊次數。 |
BlocksWritten | hdfs_datanode_rpc_BlocksWritten | DataNode RPC塊寫入次數。 |
CopyBlockOpAvgTime | hdfs_datanode_rpc_CopyBlockOpAvgTime | DataNode RPC CopyBlock調用平均時間。單位：毫秒。 |
CopyBlockOpNumOps | hdfs_datanode_rpc_CopyBlockOpNumOps | DataNode RPC CopyBlock調用次數 |
HeartbeatsAvgTime | hdfs_datanode_rpc_HeartbeatsAvgTime | DataNode RPC Heartbeats調用平均時間。單位：毫秒。 |
HeartbeatsNumOps | hdfs_datanode_rpc_HeartbeatsNumOps | DataNode RPC Heartbeats調用次數。 |
ReadBlockOp Avg Time | hdfs_datanode_rpc_ReadBlockOpAvgTime | DataNode RPC ReadBloc調用平均時間。單位：毫秒。 |
ReadBlockOp Num Ops | hdfs_datanode_rpc_ReadBlockOpNumOps | DataNode RPC ReadBloc調用次數。 |
Reads Local | hdfs_datanode_rpc_ReadsFromLocalClient | DataNode RPC本地Client讀取次數。 |
Reads Local Remote | hdfs_datanode_rpc_ReadsFromRemoteClient | DataNode RPC遠程Client讀取次數。 |
Writes Local | hdfs_datanode_rpc_WritesFromLocalClient | DataNode RPC本地Client寫入次數。 |
Writes Local Remote | hdfs_datanode_rpc_WritesFromRemoteClient | DataNode RPC遠程Client寫入次數。 |
PacketAckRoundTripTimeNanosAvgTime | hdfs_datanode_rpc_PacketAckRoundTripTimeNanosAvgTime | DataNode RPC副本寫入ACK時間。單位：毫秒。 |
FlushNanosAvgTime | hdfs_datanode_rpc_FlushNanosAvgTime | DataNode RPC flush調用平均時間。單位：毫秒。 |
FlushNanosNumOps | hdfs_datanode_rpc_FlushNanosNumOps | DataNode RPC flush調用次數。 |
ReplaceBlockOpAvgTime | hdfs_datanode_rpc_ReplaceBlockOpAvgTime | DataNode RPC ReplaceBlock調用平均時間。單位：毫秒。 |
ReplaceBlockOpNumOps | hdfs_datanode_rpc_ReplaceBlockOpNumOps | DataNode RPC ReplaceBlock調用次數。單位：毫秒。 |
GC Time | hdfs_datanode_jvm_GcTimeMillis | DataNode GC時間。單位：毫秒。 |
GC Count | hdfs_datanode_jvm_GcCount | DataNode GC次數。 |
ThreadsTerminated | hdfs_datanode_jvm_ThreadsTerminated | DataNode進程中結束的線程個數。 |
ThreadsTimedWaiting | hdfs_datanode_jvm_ThreadsTimedWaiting | DataNode進程中等待（wait）一定時間后運行的線程個數。 |
ThreadsWaiting | hdfs_datanode_jvm_ThreadsWaiting | DataNode進程中等待運行的線程個數。 |
ThreadsBlocked | hdfs_datanode_jvm_ThreadsBlocked | DataNode進程中由于資源或鎖原因被組織的線程個數。 |
MemHeapMaxM | hdfs_datanode_jvm_MemHeapMaxM | DataNode設置的JVM最大內存大小。單位：MB。 |
MemMaxM | hdfs_datanode_jvm_MemMaxM | DataNode可用的最大內存。單位：MB。 |
MemHeapUsedM | hdfs_datanode_jvm_MemHeapUsedM | DataNode堆使用的內存大小。單位：MB。 |
MemNonHeapUsedM | hdfs_datanode_jvm_MemNonHeapUsedM | DataNode非堆使用的內存大小。單位：MB。 |
MemHeapCommittedM | hdfs_datanode_jvm_MemHeapCommittedM | DataNode堆內存commit大小。單位：MB。 |
HDFS-NameNodes
參數 | 指標 | 描述 |
SafeModeTime | hdfs_namenode_rpc_SafeModeTime | NameNode安全模式時間。單位：毫秒。 |
BlockReportAvgTime | hdfs_namenode_rpc_BlockReportAvgTime | NameNode塊匯報平均時間。單位：毫秒。 |
FilesCreated | hdfs_namenode_rpc_FilesCreated | NameNode建立文件次數。 |
FilesDeleted | hdfs_namenode_rpc_FilesDeleted | NameNode刪除文件次數。 |
FilesAppended | hdfs_namenode_rpc_FilesAppended | NameNode追加文件次數。 |
FilesRenamed | hdfs_namenode_rpc_FilesRenamed | NameNode重命名文件次數。 |
FsImageLoadTime | hdfs_namenode_rpc_FsImageLoadTime | NameNode讀取FSImage時間。單位：毫秒。 |
GetAdditionalDatanodeOps | hdfs_namenode_rpc_GetAdditionalDatanodeOps | NameNode獲取新的DataNode用于寫Block次數。 |
GetBlockLocations | hdfs_namenode_rpc_GetBlockLocations | NameNode獲取塊信息次數。 |
SyncsAvgTime | hdfs_namenode_rpc_SyncsAvgTime | NameNode Sync操作平均時間。單位：毫秒。 |
FilesDeleted | hdfs_namenode_rpc_FilesDeleted | NameNode成功刪除文件的操作次數。 |
TransactionsAvgTime | hdfs_namenode_rpc_TransactionsAvgTime | NameNode寫入EditLog的平均時間。單位：毫秒。 |
TransactionsNumOps | hdfs_namenode_rpc_TransactionsNumOps | NameNode寫入EditLog的次數。 |
SyncsNumOps | hdfs_namenode_rpc_SyncsNumOps | NameNode與JournalNode同步次數。 |
HDFS-JournanlNodes
參數 | 指標 | 描述 |
RpcQueueTimeNumOps | hdfs_journalnode_rpc_activity_RpcQueueTimeNumOps | JournalNode RPC被調用次數。單位：毫秒。 |
RpcQueueTimeAvgTime | hdfs_journalnode_rpc_activity_RpcQueueTimeAvgTime | JournalNode RPC隊列平均耗時。單位：毫秒。 |
RpcProcessingTimeNumOps | hdfs_journalnode_rpc_activity_RpcProcessingTimeNumOps | JournalNode RPC被調用次數。 |
RpcProcessingTimeAvgTime | hdfs_journalnode_rpc_activity_RpcProcessingTimeAvgTime | JournalNode RPC平均處理時間。單位：毫秒。 |
CallQueueLength | hdfs_journalnode_rpc_activity_CallQueueLength | JournalNode RPC隊列積壓長度。 |
NumDroppedConnections | hdfs_journalnode_rpc_activity_NumDroppedConnections | JournalNode RPC中斷的連接數。 |
NumOpenConnections | hdfs_journalnode_rpc_activity_NumOpenConnections | JournalNode RPC正在連接的連接數。 |
RpcSlowCalls | hdfs_journalnode_rpc_activity_RpcSlowCalls | JournalNode RPC慢連接數。 |
NewEpochNumOps | hdfs_journalnode_rpc_detailed_activity_NewEpochNumOps | JournalNode RPC NewEpoch調用次數。 |
NewEpochAvgTime | hdfs_journalnode_rpc_detailed_activity_NewEpochAvgTime | JournalNode RPC NewEpoch調用平均時間。單位：毫秒。 |
StartLogSegmentNumOps | hdfs_journalnode_rpc_detailed_activity_StartLogSegmentNumOps | JournalNode RPC StartLogSegment調用次數。 |
StartLogSegmentAvgTime | hdfs_journalnode_rpc_detailed_activity_StartLogSegmentAvgTime | JournalNode RPC StartLogSegment調用平均時間。單位：毫秒。 |
JournalNumOps | hdfs_journalnode_rpc_detailed_activity_JournalNumOps | JournalNode RPC Journal調用次數。 |
JournalAvgTime | hdfs_journalnode_rpc_detailed_activity_JournalAvgTime | JournalNode RPC Journal調用平均時間。單位：毫秒。 |
FinalizeLogSegmentNumOps | hdfs_journalnode_rpc_detailed_activity_FinalizeLogSegmentNumOps | JournalNode RPC FinalizeLogSegment調用次數。 |
FinalizeLogSegmentAvgTime | hdfs_journalnode_rpc_detailed_activity_FinalizeLogSegmentAvgTime | JournalNode FinalizeLogSegment調用平均時間。單位：毫秒。 |
GcTimeMillis | hdfs_journalnode_jvm_GcTimeMillis | JournalNode GC時間。單位：毫秒。 |
GcCount | hdfs_journalnode_jvm_GcCount | JournalNode GC次數。 |
ThreadsTerminated | hdfs_journalnode_jvm_ThreadsTerminated | JournalNode進程中結束的線程個數。 |
ThreadsTimedWaiting | hdfs_journalnode_jvm_ThreadsTimedWaiting | JournalNode進程中等待一定時間后運行的線程個數。 |
ThreadsWaiting | hdfs_journalnode_jvm_ThreadsWaiting | JournalNode進程中等待運行的線程個數。 |
ThreadsBlocked | hdfs_journalnode_jvm_ThreadsBlocked | JournalNode進程中由于資源或鎖原因被組織的線程個數 |
MemHeapMaxM | hdfs_journalnode_jvm_MemHeapMaxM | JournalNode設置的JVM最大內存大小。單位：MB。 |
MemMaxM | hdfs_journalnode_jvm_MemMaxM | JournalNode可用的最大內存。單位：MB。 |
MemHeapUsedM | hdfs_journalnode_jvm_MemHeapUsedM | JournalNode堆使用的內存大小。單位：MB。 |
MemNonHeapUsedM | hdfs_journalnode_jvm_MemNonHeapUsedM | JournalNode非堆使用的內存大小。單位：MB。 |