DLA提供了Spark虛擬集群的性能監控功能，本文介紹如何通過DLA管理控制臺查看資源監控。

前提條件

  • 您已經成功購買DLA虛擬集群。
  • 如果您是RAM用戶，請確認已具備AliyunARMSFullAccess權限。

查看集群監控

  1. 登錄Data Lake Analytics管理控制臺。
  2. 單擊左側導航欄中的虛擬集群管理 。
  3. 單擊目標虛擬集群詳情。虛擬集群管理
  4. 在左側導航欄單擊監控報警，選擇標準監控。集群監控
說明 集群監控的監控項詳情請參見監控項說明。

查看作業監控

您可以通過作業列表或者作業嘗試列表查看作業監控。

  • 作業列表查看作業監控。
    1. 登錄Data Lake Analytics管理控制臺。
    2. 單擊Serverless Spark > 作業管理。
    3. 在作業列表中，單擊目標作業操作，選擇監控。作業列表作業監控
      說明 作業監控的監控項詳情請參見監控項說明。
  • 作業嘗試列表查看作業監控。
    1. 登錄Data Lake Analytics管理控制臺。
    2. 單擊Serverless Spark > 作業管理。
    3. 在作業嘗試列表中，單擊目標作業操作，選擇監控。作業嘗試列表作業監控
      說明 作業監控的監控項詳情請參見監控項說明。

監控項說明

在標準監控頁面選擇集群監控或者作業監控，具體監控項說明如下。
類別 監控項 說明
集群監控 VC CPU Quota 虛擬集群的CPU Core上限（cpu-cores-hards）和當前用量（cpu-core-used）。
VC Memory Quota 虛擬集群的CPU內存上限（memory-hards）和當前用量（memory-used）
作業監控 CPU Usage 當前作業Driver和Executor節點的CPU使用率。
Memory Usage 當前作業Driver和Executor節點的內存使用率。
Network I/O 當前作業Driver和Executor節點的網絡傳輸速度。
Minor GC(GC time/1 min) 當前作業Driver和Executor節點每分鐘 Minor GC花費時間。
Full GC(GC time/1 min) 當前作業Driver和Executor節點每分鐘Full GC花費時間。
Streaming Processing Rate/Min 當前Streaming作業每分鐘處理Records的速率。
Streaming Processing Delay 當前Streaming作業Batch的處理延時。
Streaming Scheduling Delay 當前Streaming作業Batch的調度延時。
Structured Streaming Latency 當前Structured Streaming的作業延時。
Structured Streaming Processing Rate 當前Structured Streaming每秒的處理速率。
Structured Streaming Input Rate 當前Structured Streaming每秒的Input速率。