背景信息

為IDC中K8s集群直接添加云上節(jié)點(diǎn)或GPU節(jié)點(diǎn)的方式，適用于需要自定義配置的節(jié)點(diǎn)（runtime、kubelet、NVIDIA等）和特定的ECS實(shí)例規(guī)格等場(chǎng)景，該方式需要自行維護(hù)云上節(jié)點(diǎn)池，增加額外成本。您可以選擇Serverless方式使用阿里云彈性容器實(shí)例ECI運(yùn)行業(yè)務(wù)Pod，無(wú)需額外運(yùn)維云上節(jié)點(diǎn)池，可以更加高效彈性的使用云上CPU和GPU資源。

前提條件

• 已通過(guò)注冊(cè)集群內(nèi)接入IDC中的K8s集群。具體操作，請(qǐng)參見創(chuàng)建注冊(cè)集群。

• 已開通阿里云彈性容器實(shí)例ECI。

• 已通過(guò)kubectl連接注冊(cè)集群。具體操作，請(qǐng)參見獲取集群KubeConfig并通過(guò)kubectl工具連接集群。

使用場(chǎng)景

通過(guò)Serverless方式使用云上CPU和GPU資源，解決的依然是IDC中K8s集群的彈性能力不足，不能滿足業(yè)務(wù)的快速增長(zhǎng)、周期性業(yè)務(wù)增長(zhǎng)和突發(fā)業(yè)務(wù)流量的問(wèn)題。

通過(guò)Serverless方式，您可以在K8s集群直接提交業(yè)務(wù)Pod，該P(yáng)od將使用阿里云彈性容器實(shí)例ECI運(yùn)行，彈性容器實(shí)例ECI啟動(dòng)速度快，與業(yè)務(wù)Pod的生命周期一致，按Pod運(yùn)行時(shí)間計(jì)費(fèi)。從而不需要為IDC中K8s集群創(chuàng)建云上節(jié)點(diǎn)，無(wú)需規(guī)劃云上資源容量，也不需要等待ECS創(chuàng)建完成，實(shí)現(xiàn)了高度彈性，并節(jié)省了節(jié)點(diǎn)的運(yùn)維成本。通過(guò)Serverless方式使用云上CPU和GPU資源的方式如下圖所示。

IDC中K8s集群以Serverless方式使用云上CPU和GPU資源適合以下業(yè)務(wù)場(chǎng)景。

• 在線業(yè)務(wù)的波峰波谷彈性伸縮：例如，在線教育、電商等行業(yè)有著明顯的波峰波谷計(jì)算特征。使用Serverless ECI可以顯著減少固定資源池的維護(hù)，降低計(jì)算成本。

• 數(shù)據(jù)計(jì)算：使用Serverless ECI承載Spark、Presto、ArgoWorkflow等計(jì)算場(chǎng)景，按Pod運(yùn)行時(shí)間計(jì)費(fèi)，有效降低計(jì)算成本。

• CI/CD Pipeline：Jenkins、Gitlab-Runner。

• Job任務(wù)：定時(shí)任務(wù)、AI。

步驟一：安裝相關(guān)組件

通過(guò)注冊(cè)集群實(shí)現(xiàn)IDC中K8s集群以Serverless方式使用云上CPU和GPU資源，您需要安裝以下組件。

• ack-virtual-node：使用虛擬節(jié)點(diǎn)和ECI的高度彈性能力。

• ack-co-scheduler：通過(guò)該組件，您可以自定義ResourcePolicy CR對(duì)象，使用多級(jí)彈性調(diào)度功能。

您可以通過(guò)以下兩種方式安裝組件。

步驟二：查看節(jié)點(diǎn)

ack-virtual-node組件安裝完成后，您可以通過(guò)注冊(cè)集群kubeconfig查看集群節(jié)點(diǎn)池。virtual-kubelet為虛擬節(jié)點(diǎn)，對(duì)接阿里云Serverless ECI。

執(zhí)行以下命令，查看節(jié)點(diǎn)。

kubectl get node

預(yù)期輸出：

NAME                               STATUS   ROLES    AGE    VERSION
iz8vb1xtnuu0ne6b58hvx0z            Ready    master   4d3h   v1.20.9   # IDC集群節(jié)點(diǎn)，示例只有1個(gè)Master節(jié)點(diǎn)，同時(shí)也是Worker節(jié)點(diǎn)，可以運(yùn)行業(yè)務(wù)容器。
virtual-kubelet-cn-zhangjiakou-a   Ready    agent    99s    v1.20.9。 # 安裝ack-virtual-node組件生產(chǎn)的虛擬節(jié)點(diǎn)。

步驟三：使用Serverless ECI運(yùn)行Pod（CPU和GPU任務(wù)）

您可以通過(guò)以下兩種方式進(jìn)行配置，使用Serverless ECI運(yùn)行Pod。

步驟四：使用多級(jí)彈性調(diào)度

參見步驟三使用Pod或命名空間的標(biāo)簽讓Pod以Serverless ECI的方式運(yùn)行后，您可以使用ACK One注冊(cè)集群的多級(jí)彈性調(diào)度功能實(shí)現(xiàn)此效果：應(yīng)用運(yùn)行過(guò)程中優(yōu)先使用IDC中的節(jié)點(diǎn)資源運(yùn)行Pod，當(dāng)IDC資源不足時(shí)，再使用阿里云Serverless ECI運(yùn)行Pod。

通過(guò)ack-co-scheduler組件，可以自定義ResourcePolicy CR對(duì)象，從而使用多級(jí)彈性調(diào)度功能。ResourcePolicy CR為命名空間資源，主要參數(shù)說(shuō)明如下。

1. 使用以下內(nèi)容，定義ResourcePolicy CR，優(yōu)先使用IDC中集群資源，再使用云上Serverless ECI資源。

   > cat << EOF | kubectl apply -f -
   apiVersion: scheduling.alibabacloud.com/v1alpha1
   kind: ResourcePolicy
   metadata:
     name: cost-balance-policy
   spec:
     selector:
       app: nginx           # 選擇應(yīng)用Pod。
       key1: value1
     strategy: prefer
     units:
     - resource: idc        # 優(yōu)先使用IDC指定使用IDC中節(jié)點(diǎn)資源。
       max：3
     - resource: eci        # 當(dāng)IDC節(jié)點(diǎn)資源不足時(shí)，使用Serverless ECI。
       nodeSelector:
         key2: value2
   EOF

2. 使用以下內(nèi)容，創(chuàng)建應(yīng)用Deployment，啟動(dòng)2個(gè)副本，每個(gè)副本需要2個(gè)CPU。

   > cat << EOF | kubectl apply -f -
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: nginx
     labels:
       app: nginx
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         name: nginx
         annotations:
           addannotion: "true"
         labels:
           app: nginx      # 此處要與上一步創(chuàng)建的ResourcePolicy的selector相關(guān)聯(lián)。
       spec:
         schedulerName: ack-co-scheduler
         containers:
         - name: nginx
           image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/nginx
           resources:
             requests:
               cpu: 2
             limits:
               cpu: 2
   EOF

3. 執(zhí)行以下命令，對(duì)應(yīng)用擴(kuò)容4個(gè)副本。

   IDC中K8s集群只有一個(gè)6 CPU節(jié)點(diǎn)，最多啟動(dòng)2個(gè)Nginx Pod（系統(tǒng)資源預(yù)留，無(wú)法啟動(dòng)3個(gè)Pod），剩余的2個(gè)副本在IDC節(jié)點(diǎn)資源不足時(shí)，將自動(dòng)使用阿里云Serverless ECI運(yùn)行Pod。

   kubectl scale deployment nginx --replicas 4

4. 執(zhí)行以下命令，查看Pod運(yùn)行情況。

   > kubectl get pod -o wide

   預(yù)期輸出：

   NAME                     READY   STATUS    RESTARTS   AGE     IP              NODE                      
   nginx-79cd98b4b5-97s47   1/1     Running   0          84s     10.100.XX.XX    iz8vb1xtnuu0ne6b58h****   
   nginx-79cd98b4b5-gxd8z   1/1     Running   0          84s     10.100.XX.XX    iz8vb1xtnuu0ne6b58h****   
   nginx-79cd98b4b5-k55rb   1/1     Running   0          58s     10.100.XX.XX    virtual-kubelet-cn-zhangjiakou-a
   nginx-79cd98b4b5-m9jxm   1/1     Running   0          58s     10.100.XX.XX    virtual-kubelet-cn-zhangjiakou-a

   預(yù)期輸出表明，2個(gè)Pod運(yùn)行在IDC中的節(jié)點(diǎn)，2個(gè)Pod使用虛擬節(jié)點(diǎn)在阿里云Serverless ECI上運(yùn)行。