費用說明

ack-koordinator組件本身的安裝和使用是免費的，不過需要注意的是，在以下場景中可能產生額外的費用：

• ack-koordinator是非托管組件，安裝后將占用Worker節點資源。您可以在安裝組件時配置各模塊的資源申請量。

• ack-koordinator默認會將資源畫像、精細化調度等功能的監控指標以Prometheus的格式對外透出。若您配置組件時開啟了ACK-Koordinator開啟Prometheus監控指標選項并使用了阿里云Prometheus服務，這些指標將被視為自定義指標并產生相應費用。具體費用取決于您的集群規模和應用數量等因素。建議您在啟用此功能前，仔細閱讀阿里云Prometheus計費說明，了解自定義指標的免費額度和收費策略。您可以通過賬單和用量查詢，監控和管理您的資源使用情況。

操作步驟

當您為Pod開啟容器內存QoS時，內存cgroup參數將基于系數配置和Pod參數自適應調整。您可以參見下文，在單個Pod維度、集群全局維度或集群下命名空間維度開啟容器內存QoS并配置相關參數。

annotations:
  # 設置為auto，表示開啟該Pod的容器內存QoS功能。
  koordinator.sh/memoryQOS: '{"policy": "auto"}'
  # 設置為none，表示關閉該Pod的容器內存QoS功能。
  koordinator.sh/memoryQOS: '{"policy": "none"}'

高級參數配置

使用示例

測試步驟

本示例使用以下評測環境進行測試，驗證在內存超賣場景下，關閉或開啟ACK容器內存QoS時，示例應用的時延和吞吐性能表現差異。

• 使用ACK集群Pro版。

• 集群內包含兩個節點：壓測節點（規格為8 Core 32 GB）、測試節點（規格為8 Core 32 GB）。

1. 使用以下YAML內容，創建redis-demo.yaml文件。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: redis-demo-config
   data:
     redis-config: |
       appendonly yes
       appendfsync no
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: redis-demo
     labels:
       koordinator.sh/qosClass: 'LS' # 指定Redis實例的QoS級別為LS。
     annotations:
       koordinator.sh/memoryQOS: '{"policy": "auto"}' # 增加容器內存QoS的配置。
   spec:
     containers:
     - name: redis
       image: redis:5.0.4
       command:
         - redis-server
         - "/redis-master/redis.conf"
       env:
       - name: MASTER
         value: "true"
       ports:
       - containerPort: 6379
       resources:
         limits:
           cpu: "2"
           memory: "6Gi"
         requests:
           cpu: "2"
           memory: "2Gi"
       volumeMounts:
       - mountPath: /redis-master-data
         name: data
       - mountPath: /redis-master
         name: config
     volumes:
       - name: data
         emptyDir: {}
       - name: config
         configMap:
           name: redis-demo-config
           items:
           - key: redis-config
             path: redis.conf
     nodeName: # nodeName需修改為測試節點的nodeName。
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: redis-demo
   spec:
     ports:
     - name: redis-port
       port: 6379
       protocol: TCP
       targetPort: 6379
     selector:
       name: redis-demo
     type: ClusterIP

2. 執行以下命令，部署Redis Server作為目標評測應用。

   您可通過Service redis-demo進行集群內訪問。

   kubectl apply -f redis-demo.yaml

3. 模擬內存超賣場景。

   使用Stress工具制造較大的節點內存壓力，觸發系統內存回收，節點上已分配Pod的內存Limit之和已超過整機大小。

   1. 使用以下Pod YAML內容，創建stress-demo.yaml文件。

      apiVersion: v1
      kind: Pod
      metadata:
        name: stress-demo
        labels:
          koordinator.sh/qosClass: 'BE' # 指定Stress實例的QoS級別為BE。
        annotations:
          koordinator.sh/memoryQOS: '{"policy": "auto"}' # 增加Memory QoS功能的配置。
      spec:
        containers:
          - args:
              - '--vm'
              - '2'
              - '--vm-bytes'
              - 11G
              - '-c'
              - '2'
              - '--vm-hang'
              - '2'
            command:
              - stress
            image: polinux/stress
            imagePullPolicy: Always
            name: stress
        restartPolicy: Always
        nodeName: # nodeName需修改為測試節點的nodeName，與Redis的節點相同。

   2. 使用以下命令，部署stress-demo。

      kubectl apply -f stress-demo.yaml

4. 使用以下命令，查看系統的全局最低水位線。

   說明

   由于系統的全局最低水位線較低，對于內存超賣場景可能來不及回收就觸發整機OOM，因此通常配合較高的全局最低水位線使用。以內存32 GiB的測試機為例，設置最低水位線為4000000 KB。

   cat /proc/sys/vm/min_free_kbytes

   預期輸出：

   4000000

5. 在Pod YAML中，使用memtier-benchmark壓測工具發送請求。

   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       name: memtier-demo
     name: memtier-demo
   spec:
     containers:
       - command:
           - memtier_benchmark
           - '-s'
           - 'redis-demo'
           - '--data-size'
           - '200000'
           - "--ratio"
           - "1:4"
         image: 'redislabs/memtier_benchmark:1.3.0'
         name: memtier
     restartPolicy: Never
     nodeName: # nodeName需修改為壓測節點的nodeName。

6. 使用以下命令，收集memtier-benchmark測試結果。

   kubectl logs -f memtier-demo

7. 在Pod YAML中，通過修改Redis實例和Stress實例的Pod Annotation，測試不同配置下的性能結果。

   apiVersion: v1
   kind: Pod
   metadata:
     name: redis-demo
     labels:
       koordinator.sh/qosClass: 'LS'
     annotations:
       koordinator.sh/memoryQOS: '{"policy": "none"}' # 配置關閉容器內存QoS。
   spec:
     ...
   
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: stress-demo
     labels:
       koordinator.sh/qosClass: 'BE'
     annotations:
       koordinator.sh/memoryQOS: '{"policy": "none"}' # 配置關閉容器內存QoS。
                           

結果分析

當功能全部關閉或開啟ACK容器內存QoS時，指標的數據結果如下。

• 全部關閉：不開啟容器內存QoS，Pod配置為none。

• 開啟容器內存QoS：Pod配置為auto，全部使用自適應配置。

由對比數據可得，在內存超賣場景下，開啟容器內存QoS后，Redis應用的時延（Latency）下降了7.9%，吞吐（Throughput）上漲了8.7%，時延和吞吐指標都得到一定的改善。

FAQ

當前已經通過ack-slo-manager的舊版本協議使用了容器內存QoS功能，升級為ack-koordinator后是否繼續支持容器內存QoS功能？