使用限制

本功能與ACK彈性調(diào)度功能沖突，暫不支持同時(shí)使用。關(guān)于彈性調(diào)度功能的更多信息，請參見自定義彈性資源優(yōu)先級調(diào)度。

步驟一：上傳測試數(shù)據(jù)到OSS Bucket

1. 創(chuàng)建一個(gè)2 GB的測試文件，本文以test為例。

2. 將測試文件上傳到阿里云OSS對應(yīng)的Bucket。

   您可以通過OSS提供的客戶端工具ossutil上傳數(shù)據(jù)。具體操作，請參見安裝ossutil。

步驟二：創(chuàng)建Dataset和JindoRuntime

K8s和OSS環(huán)境配置完成后，您只需要耗費(fèi)幾分鐘即可完成Dataset和JindoRuntime環(huán)境的部署。

1. 使用以下內(nèi)容，創(chuàng)建secret.yaml文件。

   創(chuàng)建Dataset之前，您可以創(chuàng)建如下YAML文件，保存OSS的fs.oss.accessKeyId和fs.oss.accessKeySecret。

   apiVersion: v1
   kind: Secret
   metadata:
     name: access-key
   stringData:
     fs.oss.accessKeyId: ****
     fs.oss.accessKeySecret: ****

2. 執(zhí)行以下命令，部署Secret。

   kubectl create -f secret.yaml

3. 使用以下內(nèi)容，創(chuàng)建resource.yaml文件。

   YAML文件中包含以下兩部分信息：

   • Dataset：定義遠(yuǎn)端存儲數(shù)據(jù)集和UFS的信息。

   • JindoRuntime：啟動一個(gè)JindoFS的集群，提供緩存服務(wù)。

   apiVersion: data.fluid.io/v1alpha1
   kind: Dataset
   metadata:
     name: serverless-data
   spec:
     mounts:
     - mountPoint: oss://large-model-sh/
       name: demo
       path: /
       options:
         fs.oss.endpoint: oss-cn-shanghai.aliyuncs.com
       encryptOptions:
         - name: fs.oss.accessKeyId
           valueFrom:
             secretKeyRef:
               name: access-key
               key: fs.oss.accessKeyId
         - name: fs.oss.accessKeySecret
           valueFrom:
             secretKeyRef:
               name: access-key
               key: fs.oss.accessKeySecret
     accessModes:
       - ReadWriteMany
   ---
   apiVersion: data.fluid.io/v1alpha1
   kind: JindoRuntime
   metadata:
     name: serverless-data
   spec:
     master:
       disabled: true
     worker:
       disabled: true

   部分參數(shù)說明如下：

   參數(shù)	說明
   mountPoint	表示掛載UFS的路徑，路徑格式為oss://<oss_bucket>/<bucket_dir>。 路徑中不需要包含Endpoint信息。如果您直接訪問Bucket，可以不配置<bucket_dir>。
   fs.oss.endpoint	表示OSS Bucket的Endpoint信息，配置您的公網(wǎng)或私網(wǎng)地址。 配置私網(wǎng)地址可以提高數(shù)據(jù)訪問性能，但是需要您的K8s集群所在區(qū)域和OSS區(qū)域相同。例如您的Bucket在杭州Region，則公網(wǎng)地址為oss-cn-hangzhou.aliyuncs.com，私網(wǎng)地址為oss-cn-hangzhou-internal.aliyuncs.com。
   fs.oss.accessKeyId	表示OSS Bucket的AK ID信息，有權(quán)限訪問Bucket。
   fs.oss.accessKeySecret	表示OSS Bucket的AK ID密鑰信息，有權(quán)限訪問Bucket。
   accessModes	表示支持的讀寫模式。讀寫模式包括ReadWriteOnce、ReadOnlyMany、ReadWriteMany和ReadWriteOncePod，默認(rèn)為ReadOnlyMany。
   disabled	Master和Worker都配置為true，表示開啟無緩存模式。

4. 執(zhí)行以下命令，部署JindoRuntime和Dataset。

   kubectl create -f resource.yaml

5. 執(zhí)行以下命令，查看Dataset的部署情況。

   kubectl get dataset serverless-data

   預(yù)期輸出：

   NAME              UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
   serverless-data                                                                  Bound   1d

   由預(yù)期輸出得到，PHASE為Bound，表示Dataset部署成功。

6. 執(zhí)行以下命令，查看JindoRuntime的部署情況。

   kubectl get jindo serverless-data

   預(yù)期輸出：

   NAME              MASTER PHASE   WORKER PHASE   FUSE PHASE   AGE
   serverless-data                                 Ready        3m41s

   由預(yù)期輸出得到，FUSE為Ready，表示JindoRuntime部署成功。

步驟三：創(chuàng)建Job類型應(yīng)用容器訪問OSS

您可以通過創(chuàng)建應(yīng)用容器來使用JindoFS加速服務(wù)，或者提交機(jī)器學(xué)習(xí)作業(yè)來體驗(yàn)相關(guān)功能。本文以創(chuàng)建Job類型應(yīng)用容器訪問OSS為例進(jìn)行說明。

1. 使用以下內(nèi)容，創(chuàng)建job.yaml文件。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: demo-app
   spec:
     template:
       metadata:
         labels:
           alibabacloud.com/fluid-sidecar-target: eci
           alibabacloud.com/eci: "true"
         annotations:
           k8s.aliyun.com/eci-use-specs: ecs.g7.4xlarge
       spec:
         containers:
           - name: demo
             image: debian:buster
             args:
               - -c
               - du -sh /data && time cp -r /data/ /tmp
             command:
               - /bin/bash
             volumeMounts:
               - mountPath: /data
                 name: demo
         restartPolicy: Never
         volumes:
           - name: demo
             persistentVolumeClaim:
               claimName: serverless-data
     backoffLimit: 4

2. 執(zhí)行以下命令，創(chuàng)建應(yīng)用容器。

   kubectl create -f job.yaml

3. 執(zhí)行以下命令，查看啟動日志。

   kubectl logs demo-app--1-5fr74 -c demo

   預(yù)期輸出：

   real    0m23.644s
   user    0m0.004s
   sys     0m1.036s

   由預(yù)期輸出得到，文件的拷貝時(shí)間real為0m23.644s。拷貝時(shí)間取決于網(wǎng)絡(luò)延時(shí)和帶寬，如果您希望加速數(shù)據(jù)訪問，請參見使用緩存模式加速Job應(yīng)用數(shù)據(jù)訪問。

步驟四：清理環(huán)境

當(dāng)您不再使用數(shù)據(jù)訪問功能時(shí)，請及時(shí)清理環(huán)境。

1. 執(zhí)行以下命令，刪除應(yīng)用容器。

   kubectl delete job demo-app

2. 執(zhí)行以下命令，刪除Dataset。

   kubectl delete dataset serverless-data