功能使用場景

容器服務報警配置功能集合容器場景的監控報警能力，提供報警的統一配置管理，有如下幾個典型的使用場景：

• 集群運維

  可以通過監控報警了解集群管控、存儲、網絡、彈性擴縮容等異常事件。例如：

  • 通過集群資源異常報警規則集感知集群基礎資源的關鍵指標是否異常。例如，CPU、Memory、網絡等關鍵指標是否出現高水位情況，避免影響集群穩定性。

  • 通過配置并查看集群異常事件報警規則集感知集群節點或容器節點異常。例如，集群節點Docker進程異常、集群節點進程異常及集群容器副本啟動失敗等異常。

  • 通過配置并查看集群存儲異常事件報警規則集感知集群存儲的變更與異常。

  • 通過配置并查看集群網絡異常事件報警規則集感知集群網絡的變更與異常。

  • 通過配置并查看集群管控運維異常報警規則集感知集群管控的變更與異常等。

• 應用開發

  可以通過監控報警了解在集群中運行應用的異常事件、指標是否異常。例如，集群容器副本異常或者應用Deployment的CPU、內存水位指標是否超過閾值等。可通過開啟報警配置功能中的默認報警規則模板，即可快速接收集群內應用容器副本的異常事件報警通知。例如，通過配置并訂閱關注集群容器副本異常報警規則集感知所屬應用的Pod是否異常。

• 應用管理

  關注運行在集群上的應用健康、容量規劃、集群運行穩定性及異常甚至是錯誤報警等貫穿應用生命周期的一系列問題。例如，通過配置并訂閱關注集群重要事件報警規則集感知集群內所有Warning、Error等異常報警；關注集群資源異常報警規則集感知集群的資源情況，從而更好地做容量規劃等。

• 多集群管理

  當您有多個集群需要管理，為集群配置報警規則往往會是一個重復繁瑣且難以同步的操作。容器服務報警配置功能，支持通過集群內部署CRD配置的方式管理報警規則。可通過維護多個集群中同樣配置的CRD資源，來方便快捷地實現多集群中報警規則的同步配置。

組件安裝與升級

控制臺會自動檢測報警配置環境是否符合要求，并會引導進行開通或安裝、升級組件。

1. 登錄容器服務管理控制臺。

2. 在控制臺左側導航欄，單擊集群。

3. 在集群列表頁面，單擊目標集群名稱或者目標集群右側操作列下的詳情。

4. 在集群管理頁左側導航欄，選擇運維管理 > 報警配置。

5. 在報警配置頁面控制臺會自動檢查以下條件。

   若不符合條件，請按以下提示完成操作。

   • 已開通SLS日志服務云產品。當您首次使用日志服務時，需要登錄日志服務控制臺，根據頁面提示開通日志服務。

     說明

     關于日志服務的詳細計費，請參見按使用功能付費模式計費項。

   • 已安裝事件中心。具體操作，請參見事件監控。

   • 集群托管組件alicloud-monitor-controller升級到最新版本。更多信息，請參見alicloud-monitor-controller。

   

如何接入報警配置功能

目前容器服務報警規則配置功能支持ACK托管版集群、ACK專有版集群。

步驟一：開啟默認報警規則

• 創建ACK托管版集群時，打開使用默認報警模板配置報警開關，并選擇報警通知聯系人分組。

  開啟后將會創建默認報警規則，并默認發送報警通知到此聯系人分組。

  具體操作，請參見創建Kubernetes托管版集群。

• 若已創建集群，可在目標集群開啟對應報警規則。

  1. 在目標集群左側導航欄選擇運維管理 > 報警配置配置管理。

  2. 在報警規則管理頁簽，打開啟動狀態可開啟對應報警規則集。

  具體操作，請參見步驟二：手動配置報警規則。

步驟二：手動配置報警規則

ACK托管版集群、ACK專有版集群創建后，可進行報警規則、聯系人和聯系人分組管理。

1. 登錄容器服務管理控制臺。

2. 在控制臺左側導航欄，單擊集群。

3. 在集群列表頁面，單擊目標集群名稱或者目標集群右側操作列下的詳情。

4. 在集群管理頁左側導航欄，選擇運維管理 > 報警配置。

   功能特性	說明
   報警規則管理	容器服務報警規則功能會默認生成容器場景下的報警模板（包含異常事件報警、異常指標報警）。 報警規則被分類為若干個報警規則集，可為報警規則集關聯多個聯系人分組，并啟動或關閉報警規則集。 報警規則集中包含多個報警規則，一個報警規則對應單個異常的檢查項。多個報警規則集可以通過一個YAML資源配置到對應集群中，修改YAML會同步生成報警規則。 關于報警規則YAML配置，請參見如何通過CRD配置報警規則。 關于默認報警規則模板，請參見默認報警規則模板。
   報警歷史	目前可查看最近發送的近100條歷史記錄。單擊報警規則列下的鏈接，可以跳轉到對應監控系統中查看詳細規則配置；單擊排查現場，可以快速定位到異常發生的資源頁面（異常事件、指標異常的資源）。
   聯系人管理	對聯系人進行管理，可創建、編輯或刪除聯系人。 集群資源異常報警規則集中集群節點基礎資源報警，聯系人短信、郵箱等聯系方式需要在云監控中先驗證聯系方式，才能正常接收集群基礎資源報警信息。可在云監控控制臺查看同步聯系人，若驗證信息過期，可刪除云監控中對應聯系人并重新刷新容器服務報警中心的聯系人頁面。
   聯系人分組管理	對聯系人分組進行管理，可創建、編輯或刪除聯系人分組。當無聯系人分組時，控制臺會從您的阿里云賬號注冊信息中同步創建一個默認聯系人分組。

5. 在報警規則管理頁簽，單擊編輯通知對象可設置關聯的通知對象；打開啟動狀態可開啟對應報警規則集。

如何通過CRD配置報警規則

報警配置功能開啟時，會默認在kube-system Namespace下創建一個AckAlertRule類型的資源配置，包含默認報警規則模板。容器服務報警規則集可通過此資源配置在集群中。

1. 登錄容器服務管理控制臺。

2. 在控制臺左側導航欄，單擊集群。

3. 在集群列表頁面，單擊目標集群名稱或者目標集群右側操作列下的詳情。

4. 在集群管理頁左側導航欄，選擇運維管理 > 報警配置。

5. 在報警規則管理頁簽中，單擊右上角編輯報警配置，可查看當前集群中的AckAlertRule資源配置，并可通過YAML文件修改。

   報警規則配置的YAML文件示例如下：

   apiVersion: alert.alibabacloud.com/v1beta1
   kind: AckAlertRule
   metadata:
     name: default
   spec:
     groups:
       #以下是一個集群事件報警規則配置樣例。
       - name: pod-exceptions                             #報警規則分組名，對應報警模板中的Group_Name字段。
         rules:
           - name: pod-oom                                #報警規則名。
             type: event                                  #報警規則類型（Rule_Type），枚舉值為event（事件類型）、metric-cms（云監控指標類型）。
             expression: sls.app.ack.pod.oom              #報警規則表達式，當規則類型為event時，表達式的值為本文默認報警規則模板中Rule_Expression_Id值。
             enable: enable                               #報警規則開啟狀態，枚舉值為enable、disable。
           - name: pod-failed
             type: event
             expression: sls.app.ack.pod.failed
             enable: enable
       #以下是一個集群基礎資源報警規則配置樣例。
       - name: res-exceptions                              #報警規則分組名，對應報警模板中的Group_Name字段。
         rules:
           - name: node_cpu_util_high                      #報警規則名。
             type: metric-cms                              #報警規則類型（Rule_Type），枚舉值為event（事件類型）、metric-cms（云監控指標類型）。
             expression: cms.host.cpu.utilization          #報警規則表達式，當規則類型為metric-cms時，表達式的值為本文默認報警規則模板中Rule_Expression_Id值。
             contactGroups:                                #報警規則映射的聯系人分組配置，由ACK控制臺生成，同一個賬號下聯系人相同，可在多集群中復用。
             enable: enable                                #報警規則開啟狀態，枚舉值為enable、disable。
             thresholds:                                   #報警規則閾值，詳情見文檔如何更改報警規則閾值部分。            
               - key: CMS_ESCALATIONS_CRITICAL_Threshold
                 unit: percent
                 value: '1'

默認報警規則模板

如何為專有版集群授予報警功能訪問權限

為專有版集群SLS報警功能及ARMS-Prometheus報警功能授予資源訪問權限。更多信息，請參見RAM自定義授權場景及訪問控制概述。

1. 登錄容器服務管理控制臺。

2. 在控制臺左側導航欄，單擊集群。

3. 在集群列表頁面，單擊目標集群名稱或者目標集群右側操作列下的詳情。

4. 在集群信息頁面，單擊集群資源頁簽Worker RAM角色字段右側的鏈接，進入RAM訪問控制控制臺。

   

5. 在角色頁面的權限管理頁簽，單擊對應權限策略名稱的鏈接。

6. 在策略內容頁簽單擊修改策略內容，然后將以下內容添加到策略內容中。

   {
               "Action": [
                   "log:*",
                   "arms:*",
                   "cms:*",
                   "cs:UpdateContactGroup"
               ],
               "Resource": [
                   "*"
               ],
               "Effect": "Allow"
   }

7. 單擊繼續編輯基本信息，然后單擊確定完成配置。

8. 通過日志查看報警功能訪問權限是否已配置。

   1. 在容器服務管理控制臺目標集群管理頁左側導航欄，選擇工作負載 > 無狀態。

   2. 選擇命名空間kube-system，單擊無狀態應用列表中alicloud-monitor-controller的名稱鏈接。

   3. 單擊日志頁簽，可看到授權成功的Pod日志。

如何修改集群基礎資源報警規則的閾值

Rule_Type為metric-cms的報警規則，是同步自云監控的基礎資源報警規則，此類規則可通過CRD配置報警規則的閾值。具體操作，請參見如何通過CRD配置報警規則。

本示例通過集群節點-CPU使用率規則的報警規則CRD，增加thresholds參數配置基礎監控報警規則的閾值、重試判斷次數、靜默期配置。

apiVersion: alert.alibabacloud.com/v1beta1
kind: AckAlertRule
metadata:
  name: default
spec:
  groups:
    #以下是一個集群基礎資源報警規則配置樣例。
    - name: res-exceptions                                        #報警規則分組名，對應報警模板中的Group_Name字段。
      rules:
        - name: node_cpu_util_high                                #報警規則名。
          type: metric-cms                                        #報警規則類型（Rule_Type），枚舉值為event（事件類型）、metric-cms（云監控指標類型）。
          expression: cms.host.cpu.utilization                    #報警規則表達式，當規則類型為metric-cms時，表達式的值為本文默認報警規則模板中Rule_Expression_Id值。
          contactGroups:                                          #報警規則映射的聯系人分組配置，由ACK控制臺生成，同一個賬號下聯系人相同，可在多集群中復用。
          enable: enable                                          #報警規則開啟狀態，枚舉值為enable、disable。
          thresholds:                                             #報警規則閾值，更多信息，請參見如何通過CRD配置報警規則。
            - key: CMS_ESCALATIONS_CRITICAL_Threshold
              unit: percent
              value: '1'  
            - key: CMS_ESCALATIONS_CRITICAL_Times
              value: '3'  
            - key: CMS_RULE_SILENCE_SEC
              value: '900'  

如何在對應監控系統中查看ACK報警中心報警規則

• 日志服務的報警規則：

  1. 登錄日志服務控制臺。

  2. 搜索并進入此集群日志服務對應的Project。集群默認日志服務Project命名為K8s-log-{{clusterId}}。

  3. 在左側導航欄，單擊圖標，在告警中心頁面中，單擊規則/事務頁簽，查看已開啟的規則。類別選擇容器服務Kubernetes，可篩選展示ACK報警中心同步的此集群的默認報警規則。

     說明

     需要您開啟ACK報警中心的報警規則，否則無法顯示類別。

     

• 云監控報警規則：

  1. 登錄云監控控制臺。

  2. 在左側導航欄，單擊應用分組，在應用分組列表頁面，單擊資源標簽規則頁簽。

  3. 在規則描述列，查找資源標簽鍵：ack.aliyun.com，資源標簽值：等于為<集群ID>的規則。

• Prometheus報警規則：登錄ARMS控制臺，查看ACK報警中心在此集群已經同步的Prometheus報警規則。報警規則名在Prometheus控制臺中以報警規則名_集群名展示。

  

常見問題

報警規則同步失敗且報錯信息為The Project does not exist : k8s-log-xxx

問題現象：

問題原因：

未創建SLS事件中心資源。

解決方案：

1. 在日志服務管理控制臺檢查Project是否達到Quota上限，刪除多余的Project，或提交工單申請擴大Project資源Quota限制。關于如何刪除Project，請參見管理Project。

2. 重新安裝ack-node-problem-detector組件。

   1. 在容器服務管理控制臺目標集群管理頁左側導航欄中，選擇應用 > Helm。

   2. 若您需要通過YAML方式重新安裝ack-node-problem-detector組件，請通過以下操作備份ack-node-problem-detector組件資源。

      在Helm頁面，單擊ack-node-problem-detector組件右側操作列的更新。更新完成后，單擊ack-node-problem-detector組件右側操作列詳情。在ack-node-problem-detector組件詳情頁，單擊所有資源信息的查看YAML，并保存各資源的YAML到本地。

   3. 在Helm頁面，單擊ack-node-problem-detector組件右側操作列的刪除。

   4. 在集群管理頁左側導航欄中，選擇運維管理 > 組件管理。

   5. 單擊日志與監控頁簽，在ack-node-problem-detector組件的卡片中單擊安裝。

      在提示對話框中確認版本信息后單擊確定。安裝成功后，對應組件卡片區域會提示已安裝，且可查看組件當前版本。

由于無訂閱的聯系人組導致報警規則同步失敗

問題現象：

當報警中心中報警規則同步狀態出現如下情況：

問題原因：

報警規則無訂閱的聯系人組。

解決方案：

1. 已創建聯系人，并將聯系人加入聯系人分組中。

2. 在對應報警規則集右側單擊編輯通知對象，為該組報警規則配置訂閱的聯系人分組。

關于上述操作的詳情，請參見如何接入報警配置功能。