使用限制

• 僅支持ACK集群Pro版。具體操作，請參見創(chuàng)建ACK托管集群。

• 使用負載熱點打散重調(diào)度，需滿足以下版本要求。

  組件	版本要求
  ACK調(diào)度器版本	v1.22.15-ack-4.0及以上，v1.24.6-ack-4.0及以上
  ack-koordinator(ack-slo-manager)	v1.1.1-ack.1及以上
  Helm版本	v3.0及以上

費用說明

ack-koordinator組件本身的安裝和使用是免費的，不過需要注意的是，在以下場景中可能產(chǎn)生額外的費用：

• ack-koordinator是非托管組件，安裝后將占用Worker節(jié)點資源。您可以在安裝組件時配置各模塊的資源申請量。

• ack-koordinator默認會將資源畫像、精細化調(diào)度等功能的監(jiān)控指標以Prometheus的格式對外透出。若您配置組件時開啟了ACK-Koordinator開啟Prometheus監(jiān)控指標選項并使用了阿里云Prometheus服務，這些指標將被視為自定義指標并產(chǎn)生相應費用。具體費用取決于您的集群規(guī)模和應用數(shù)量等因素。建議您在啟用此功能前，仔細閱讀阿里云Prometheus計費說明，了解自定義指標的免費額度和收費策略。您可以通過賬單和用量查詢，監(jiān)控和管理您的資源使用情況。

負載熱點打散重調(diào)度介紹

以下介紹負載熱點打散重調(diào)度相關(guān)的概念。

負載感知調(diào)度

調(diào)度器支持負載感知調(diào)度，能夠在調(diào)度時選擇負載較低的節(jié)點運行新的Pod。節(jié)點的利用率會隨著時間、集群環(huán)境變化、工作負載的流量或請求等動態(tài)變化，繼而導致集群內(nèi)節(jié)點間原本負載均衡的情況被打破，甚至有可能出現(xiàn)極端負載不均衡的情況，影響到工作負載運行時質(zhì)量。ack-koordinator組件提供重調(diào)度能力，防止負載出現(xiàn)極端不均衡的情況。通過將負載感知調(diào)度和熱點打散重調(diào)度結(jié)合使用，可以獲得集群良好的負載均衡效果。關(guān)于負載感知調(diào)度，請參見使用負載感知調(diào)度。

koord-descheduler模塊工作原理

ack-koordinator組件提供koord-descheduler模塊，其中LowNodeLoad插件負責感知負載水位并完成熱點打散重調(diào)度工作。與Kubernetes原生的Descheduler的插件LowNodeUtilization不同，LowNodeLoad是根據(jù)節(jié)點真實利用率決策重調(diào)度，而LowNodeUtilization是根據(jù)資源分配率決策重調(diào)度。

模塊執(zhí)行過程

koord-descheduler模塊周期性運行，每個周期內(nèi)的執(zhí)行過程分為以下三個階段。

1. 數(shù)據(jù)收集：獲取集群內(nèi)的節(jié)點和工作負載信息，以及相關(guān)的資源利用率數(shù)據(jù)。

2. 策略插件執(zhí)行。

   下文以LowNodeLoad為例。

   1. 篩選負載熱點節(jié)點。關(guān)于節(jié)點分類，請參見下文LowNodeLoad負載水位參數(shù)說明。

   2. 遍歷熱點節(jié)點，從中篩選可以遷移的Pod，并進行排序。關(guān)于Pod打分排序，請參見下文Pod打分策略。

   3. 遍歷每個待遷移的Pod，檢查其是否滿足遷移條件，綜合考慮集群容量、資源利用率水位、副本數(shù)比例等約束。詳細信息，請參見下文負載熱點打散重調(diào)度策略說明。

   4. 若滿足條件則將Pod歸類為待遷移副本，若不滿足則繼續(xù)遍歷其他Pod和熱點節(jié)點。

3. 容器驅(qū)逐遷移：針對待遷移的Pod發(fā)起Evict驅(qū)逐操作。關(guān)于Evict驅(qū)逐，請參見Evict驅(qū)逐。

LowNodeLoad負載水位參數(shù)說明

以下圖為例，將lowThresholds設(shè)置為45%，將highThresholds設(shè)置為70%，那么節(jié)點的分類標準如下。同理，如果lowThresholds和highThresholds的值發(fā)生變更，節(jié)點的分類標準也會相應發(fā)生變化。

資源利用率數(shù)據(jù)默認每分鐘更新一次，粒度為最近5分鐘的平均值。

• 空閑節(jié)點（Idle Node）：資源利用率低于45%的節(jié)點。

• 正常節(jié)點（Normal Node）：資源利用率高于等于45%且低于等于70%的節(jié)點。此節(jié)點的負載水位區(qū)間是期望達到的合理區(qū)間范圍。

• 熱點節(jié)點（Hotspot Node）：資源利用率高于70%的節(jié)點。熱點節(jié)點將驅(qū)逐一部分Pod，降低負載水位，使其不超過70%。

負載熱點打散重調(diào)度策略說明

kubectl get event | grep stress-demo-588f9646cf-7****
55s         Normal    Evicting           podmigrationjob/3bf8f623-4d10-4fc5-ab4e-2bead3c4****   Pod "default/stress-demo-588f9646cf-7****" evicted from node "cn-beijing.10.XX.XX.53" by the reason "node is overutilized, cpu usage(76.72%)>threshold(50.00%)"
22s         Normal    EvictComplete      podmigrationjob/3bf8f623-4d10-4fc5-ab4e-2bead3c4****   Pod "default/stress-demo-588f9646cf-7****" has been evicted
55s         Normal    Descheduled        pod/stress-demo-588f9646cf-7****                       Pod evicted from node "cn-beijing.10.XX.XX.53" by the reason "node is overutilized, cpu usage(76.72%)>threshold(50.00%)"
55s         Normal    Killing            pod/stress-demo-588f9646cf-7****                       Stopping container stress

步驟一：安裝或修改組件ack-koordinator并開啟重調(diào)度

步驟二：開啟負載熱點打散重調(diào)度插件

1. 使用如下YAML文件，創(chuàng)建koord-descheduler-config.yaml。

   koord-descheduler-config.yaml是ConfigMap格式的對象，用于啟用重調(diào)度插件LowNodeLoad。

   展開查看YAML文件內(nèi)容

   # koord-descheduler-config.yaml
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: koord-descheduler-config
     namespace: kube-system
   data:
     koord-descheduler-config: |
       # 以下為koord-desheduler系統(tǒng)配置，請保持不變。
       apiVersion: descheduler/v1alpha2
       kind: DeschedulerConfiguration
       leaderElection:
         resourceLock: leases
         resourceName: koord-descheduler
         resourceNamespace: kube-system
       deschedulingInterval: 120s # 執(zhí)行周期間隔，120s執(zhí)行一次重調(diào)度插件。
       dryRun: false # 全局只讀模式開關(guān)，開啟后koord-descheduler整體不做任何操作。
       # 以上為系統(tǒng)配置。
   
       profiles:
       - name: koord-descheduler
         plugins:
           deschedule:
             disabled:
               - name: "*"
           balance:
             enabled:
               - name: LowNodeLoad # 配置開啟負載熱點打散插件LowNodeLoad。
           evict:
             disabled:
               - name: "*"
             enabled:
               - name: MigrationController # 配置開啟驅(qū)逐遷移控制器。
   
         pluginConfig:
         - name: MigrationController # 重調(diào)度遷移控制參數(shù)。
           args:
             apiVersion: descheduler/v1alpha2
             kind: MigrationControllerArgs
             defaultJobMode: EvictDirectly
   
         - name: LowNodeLoad # 負載熱點打散插件配置。
           args:
             apiVersion: descheduler/v1alpha2
             kind: LowNodeLoadArgs
   
             lowThresholds:  # lowThresholds表示空閑節(jié)點的準入水位閾值，判斷條件為“所有資源維度均低于閾值”。
               cpu: 20 # CPU利用率為20%。
               memory: 30  # Memory利用率為30%。
             highThresholds: # highThresholds表示熱點節(jié)點的準入水位閾值，判斷條件為“只要有一個資源維度均高于閾值”。
               cpu: 50  # CPU利用率為50%。
               memory: 60 # Memory利用率為60%。
   
             evictableNamespaces: # 參與重調(diào)度的Namespace，include和exclude是互斥的，只能配置其中一種。
               include: # include表示只處理下面配置的Namespace。
                 - default
               # exclude: # exclude表示需要排除的Namespace。
                 # - "kube-system"
                 # - "koordinator-system"

2. 執(zhí)行如下命令，將配置更新到集群。

   kubectl apply -f koord-descheduler-config.yaml

3. 執(zhí)行如下命令，重啟重調(diào)度器模塊koord-descheduler。

   重啟重調(diào)度器模塊koord-descheduler后，koord-descheduler會使用修改后的最新配置。

   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 0
   deployment.apps/ack-koord-descheduler scaled
   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 1
   deployment.apps/ack-koord-descheduler scaled

步驟三（可選）：開啟調(diào)度器負載均衡插件

開啟調(diào)度器負載均衡插件，以獲得集群良好的負載均衡效果。具體操作步驟，請參見步驟一：開啟負載感知調(diào)度。

步驟四：驗證重調(diào)度能力

下文以擁有3臺104核 396 GB節(jié)點的集群為例進行說明。

1. 使用如下YAML文件，創(chuàng)建stress-demo.yaml。

   展開查看YAML文件內(nèi)容。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: stress-demo
     namespace: default
     labels:
       app: stress-demo
   spec:
     replicas: 6
     selector:
       matchLabels:
         app: stress-demo
     template:
       metadata:
         name: stress-demo
         labels:
           app: stress-demo
       spec:
         containers:
           - args:
               - '--vm'
               - '2'
               - '--vm-bytes'
               - '1600M'
               - '-c'
               - '2'
               - '--vm-hang'
               - '2'
             command:
               - stress
             image: polinux/stress
             imagePullPolicy: Always
             name: stress
             resources:
               limits:
                 cpu: '2'
                 memory: 4Gi
               requests:
                 cpu: '2'
                 memory: 4Gi
         restartPolicy: Always

2. 執(zhí)行如下命令，創(chuàng)建壓測Pod。

   kubectl create -f stress-demo.yaml
   deployment.apps/stress-demo created

3. 執(zhí)行如下命令，觀察Pod的狀態(tài)，直到它開始運行。

   kubectl get pod -o wide

   預期輸出：

   NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE                    NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Running   0          82s   10.XX.XX.53   cn-beijing.10.XX.XX.53   <none>           <none>

   可以看到，Pod stress-demo-588f9646cf-s****調(diào)度在節(jié)點cn-beijing.10.XX.XX.53上。

4. 提升節(jié)點cn-beijing.10.XX.XX.53的負載水位，然后執(zhí)行如下命令，檢查每個Node節(jié)點的負載。

   kubectl top node

   預期輸出：

   NAME                      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   cn-beijing.10.XX.XX.215   17611m       17%    24358Mi         6%
   cn-beijing.10.XX.XX.53    63472m       63%    11969Mi         3%

   可以看到，節(jié)點cn-beijing.10.XX.XX.53的負載較高，為63%，已經(jīng)超過配置的熱點水位50%。節(jié)點cn-beijing.10.XX.XX.215負載較低，為17%，低于配置的空閑水位20%。

5. 開啟重調(diào)度。具體操作，請參見步驟二：開啟負載熱點打散重調(diào)度插件。

6. 執(zhí)行如下命令，觀察Pod變化。

   等待重調(diào)度器檢查熱點節(jié)點，并執(zhí)行驅(qū)逐遷移操作。

   說明

   判定為熱點節(jié)點的默認條件為連續(xù)5次檢查節(jié)點均超過熱點水位，即10分鐘。

   kubectl get pod -w

   預期輸出：

   NAME                           READY   STATUS               RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Terminating          0          59s   10.XX.XX.53    cn-beijing.10.XX.XX.53     <none>           <none>
   stress-demo-588f9646cf-7****   1/1     ContainerCreating    0          10s   10.XX.XX.215   cn-beijing.10.XX.XX.215    <none>           <none>

7. 執(zhí)行如下命令，觀察Event。

   kubectl get event | grep stress-demo-588f9646cf-s****

   預期輸出：

   2m14s       Normal    Evicting            podmigrationjob/00fe88bd-8d4c-428d-b2a8-d15bcdeb****   Pod "default/stress-demo-588f9646cf-s****" evicted from node "cn-beijing.10.XX.XX.53" by the reason "node is overutilized, cpu usage(68.53%)>threshold(50.00%)"
   101s        Normal    EvictComplete       podmigrationjob/00fe88bd-8d4c-428d-b2a8-d15bcdeb****   Pod "default/stress-demo-588f9646cf-s****" has been evicted
   2m14s       Normal    Descheduled         pod/stress-demo-588f9646cf-s****                       Pod evicted from node "cn-beijing.10.XX.XX.53" by the reason "node is overutilized, cpu usage(68.53%)>threshold(50.00%)"
   2m14s       Normal    Killing             pod/stress-demo-588f9646cf-s****                       Stopping container stress

   預期輸出為遷移記錄，可以看出結(jié)果符合預期。熱點節(jié)點上的Pod被重調(diào)度到其他節(jié)點。

高級配置參數(shù)

koord-descheduler模塊高級配置參數(shù)介紹

koord-descheduler的所有參數(shù)配置以ConfigMap形式提供，以下展示了負載熱點打散重調(diào)度的高級配置參數(shù)格式。

# koord-descheduler-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: koord-descheduler-config
  namespace: kube-system
data:
  koord-descheduler-config: |
    # 以下為koord-desheduler系統(tǒng)配置，請保持不變。
    apiVersion: descheduler/v1alpha2
    kind: DeschedulerConfiguration
    leaderElection:
      resourceLock: leases
      resourceName: koord-descheduler
      resourceNamespace: kube-system
    deschedulingInterval: 120s # 執(zhí)行周期間隔，120s執(zhí)行一次重調(diào)度插件。
    dryRun: false # 全局只讀模式開關(guān)，開啟后koord-descheduler整體不做任何操作。
    # 以上為系統(tǒng)配置。

    profiles:
    - name: koord-descheduler
      plugins:
        deschedule:
          disabled:
            - name: "*"
        balance:
          enabled:
            - name: LowNodeLoad # 配置開啟負載熱點打散插件LowNodeLoad。
        evict:
          disabled:
            - name: "*"
          enabled:
            - name: MigrationController # 配置開啟驅(qū)逐遷移控制器。

      pluginConfig:
      - name: MigrationController # 重調(diào)度遷移控制參數(shù)。
        args:
          apiVersion: descheduler/v1alpha2
          kind: MigrationControllerArgs
          defaultJobMode: EvictDirectly
          maxMigratingPerNode: 1 # 每個節(jié)點處于遷移狀態(tài)的Pod的最大數(shù)量。
          maxMigratingPerNamespace: 1  # 每個Namespace處于遷移狀態(tài)的Pod的最大數(shù)量。
          maxMigratingPerWorkload: 1 # 每個Workload（例如Deployment）中處于遷移狀態(tài)的Pod的最大數(shù)量。
          maxUnavailablePerWorkload: 2 # 每個Workload（例如Deployment）最大不可用副本數(shù)。
          evictLocalStoragePods: false # 是否允許配置了HostPath或EmptyDir的Pod參與重調(diào)度
          objectLimiters:
            workload: # Workload級別Pod遷移的流量控制.默認為首次驅(qū)逐后，5分鐘內(nèi)最多遷移1個副本。
              duration: 5m
              maxMigrating: 1

      - name: LowNodeLoad # 負載熱點打散插件配置。
        args:
          apiVersion: descheduler/v1alpha2
          kind: LowNodeLoadArgs

          lowThresholds:  # lowThresholds表示空閑節(jié)點的準入水位閾值，判斷條件為“所有資源維度均低于閾值”。
            cpu: 20 # CPU利用率為20%。
            memory: 30  # Memory利用率為30%。
          highThresholds: # highThresholds表示熱點節(jié)點的準入水位閾值，判斷條件為“只要有一個資源維度均高于閾值”。
            cpu: 50  # CPU利用率為50%。
            memory: 60 # Memory利用率為60%。

          anomalyCondition: # 熱點節(jié)點檢查配置。
            consecutiveAbnormalities: 5 # 連續(xù)多個執(zhí)行周期檢查中，均超過highThresholds的節(jié)點，才會被判定為熱點節(jié)點。熱點節(jié)點被驅(qū)逐后會重新計數(shù)。

          evictableNamespaces: # 參與重調(diào)度的Namespace。include和exclude是互斥的，只能配置其中一種。
            include: # include表示只處理下面配置的Namespace。
              - default
            # exclude: # exclude表示需要排除的Namespace。
              # - "kube-system"
              # - "koordinator-system"

          nodeSelector: # 只處理指定的部分節(jié)點。
            matchLabels:
              alibabacloud.com/nodepool-id: np77f520e1108f47559e63809713ce****

          podSelectors: # 只處理部分類型的Pod。
          - name: lsPods
            selector:
              matchLabels:
                koordinator.sh/qosClass: "LS"

koord-descheduler系統(tǒng)配置

驅(qū)逐遷移控制配置

type MigrationObjectLimiter struct {
    Duration time.Duration `json:"duration,omitempty"`
    MaxMigrating *intstr.IntOrString `json:"maxMigrating,omitempty"`
}

objectLimiters:
  workload:
    duration: 5m
    maxMigrating: 1

LowNodeLoad插件配置

highThresholds:
  cpu: 55 # CPU利用率熱點水位55%。
  memory: 75 # Memory利用率熱點水位75%。

lowThresholds:
  cpu: 25 # CPU利用率空閑水位25%。
  memory: 25 # Memory利用率空閑水位25%。

evictableNamespaces:
  exclude:
    - "kube-system"
    - "koordinator-system"

type PodSelector struct {
    name     string
    selector metav1.LabelSelector
}

# 只處理LS類型的Pod。
podSelectors:
- name: lsPods
  selector:
    matchLabels:
      koordinator.sh/qosClass: "LS"

常見問題

節(jié)點利用率閾值已經(jīng)達到閾值，但是節(jié)點上Pod沒有被驅(qū)逐怎么辦？

出現(xiàn)這種情況時，一般可能是有以下幾種原因，請參考對應的解決方法進行調(diào)整。

重調(diào)度器頻繁重啟是什么原因？

重調(diào)度器的配置ConfigMap格式錯誤或不存在，請參考高級配置參數(shù)檢查ConfigMap文件內(nèi)容和格式并進行修改，修改后重啟重調(diào)度器。重啟重調(diào)度器，請參見步驟二：開啟負載熱點打散重調(diào)度插件。

負載感知調(diào)度和熱點打散重調(diào)度如何搭配使用？

開啟熱點打散重調(diào)度后，負載熱點上的Pod將會被驅(qū)逐。對于上層控制器（例如Deployment）新建的Pod，調(diào)度器會根據(jù)其配置選擇合適的節(jié)點進行調(diào)度。為了獲得更好的負載均衡效果，建議您同時為調(diào)度器開啟負載感知調(diào)度能力，請參見使用負載感知調(diào)度。

配置時，建議您將負載感知調(diào)度中的節(jié)點篩選功能參數(shù)loadAwareThreshold配置為與熱點打散重調(diào)度器的highThresholds參數(shù)相同的值，具體請參見策略說明。當節(jié)點的負載超過highThresholds時，重調(diào)度器將驅(qū)逐該節(jié)點上的Pod，而調(diào)度器則通過loadAwareThreshold拒絕新的Pod被調(diào)度到該熱點節(jié)點上。否則，經(jīng)驅(qū)逐的Pod可能重新被調(diào)度到原來的節(jié)點，尤其是在Pod指定了節(jié)點調(diào)度范圍，但對應的節(jié)點數(shù)量較少且利用率較為接近時。

重調(diào)度參考的利用率算法是什么？

重調(diào)度器會持續(xù)對利用率監(jiān)控一段時間，并對監(jiān)控數(shù)據(jù)做平滑均值處理，因此只有節(jié)點持續(xù)超過閾值才會觸發(fā)重調(diào)度，默認為10分鐘左右。此外對于內(nèi)存資源維度，重調(diào)度器參考的內(nèi)存用量排除了page cache，因為這部分資源是可以被操作系統(tǒng)回收的，而通過kubectl top node返回的利用率是包含page cache的，您可以通過使用阿里云Prometheus監(jiān)控查看真實的內(nèi)存用量信息。