跨命名空間共享數(shù)據(jù)集
Fluid利用Kubernetes的命名空間(Namespace)資源隔離特性,確保了數(shù)據(jù)集在計(jì)算任務(wù)與數(shù)據(jù)訪問層面的安全控制,有效滿足了跨團(tuán)隊(duì)數(shù)據(jù)隔離的需求。更進(jìn)一步,F(xiàn)luid實(shí)現(xiàn)了跨命名空間的數(shù)據(jù)訪問及緩存資源共享,這意味著公開數(shù)據(jù)集能夠在多個(gè)團(tuán)隊(duì)間復(fù)用,實(shí)現(xiàn)了單次緩存、多團(tuán)隊(duì)共享的高效模式,增強(qiáng)了數(shù)據(jù)的利用效率與管理的靈活性,為研發(fā)團(tuán)隊(duì)間的協(xié)同作業(yè)提供了便利。本文介紹如何配置跨命名空間共享數(shù)據(jù)集。
實(shí)現(xiàn)原理
ThinRuntime作為Fluid提供的一種可擴(kuò)展的通用存儲(chǔ)系統(tǒng)實(shí)現(xiàn),允許您以低代碼方式接入各類存儲(chǔ)系統(tǒng),復(fù)用Fluid提供的數(shù)據(jù)編排管理、運(yùn)行時(shí)平臺(tái)訪問接入核心能力。Fluid利用ThinRuntime,將源命名空間下的Dataset作為接入的存儲(chǔ)系統(tǒng),與目標(biāo)命名空間的Dataset關(guān)聯(lián),使得同一份緩存運(yùn)行時(shí)可以共享給不同命名空間的應(yīng)用來使用。
前提條件
已創(chuàng)建一個(gè)非ContainerOS操作系統(tǒng)的ACK Pro版集群,且集群版本為1.18及以上。具體操作,請(qǐng)參見創(chuàng)建ACK Pro版集群。
重要ack-fluid組件暫不支持在ContainerOS操作系統(tǒng)上使用。
已安裝云原生AI套件并部署ack-fluid組件。
重要若您已安裝開源Fluid,請(qǐng)卸載后再部署ack-fluid組件。
未安裝云原生AI套件:安裝時(shí)開啟Fluid數(shù)據(jù)加速。具體操作,請(qǐng)參見安裝云原生AI套件。
已安裝云原生AI套件:在容器服務(wù)管理控制臺(tái)的云原生AI套件頁面部署ack-fluid。
已通過kubectl連接Kubernetes集群。具體操作,請(qǐng)參見通過kubectl工具連接集群。
步驟一:上傳測(cè)試數(shù)據(jù)到OSS Bucket
步驟二:創(chuàng)建共享的Dataset和緩存Runtime
使用JindoRuntime作為緩存運(yùn)行時(shí)
創(chuàng)建
share
命名空間,用以創(chuàng)建共享的數(shù)據(jù)集和緩存Runtime。kubectl create ns share
執(zhí)行以下命令,創(chuàng)建用于存儲(chǔ)OSS的訪問憑證的Secret。
kubectl apply -f-<<EOF apiVersion: v1 kind: Secret metadata: name: dataset-secret namespace: share stringData: fs.oss.accessKeyId: <YourAccessKey ID> fs.oss.accessKeySecret: <YourAccessKey Secret> EOF
其中,
fs.oss.accessKeyId
和fs.oss.accessKeySecret
是用來訪問OSS的AccessKey ID(AK)和AccessKey Secret(SK)。關(guān)于如何獲取AK和SK,請(qǐng)參見獲取AccessKey。創(chuàng)建并拷貝以下內(nèi)容到shared-dataset.yaml文件中,用于創(chuàng)建一個(gè)Dataset和一個(gè)JindoRuntime來提供緩存服務(wù)。關(guān)于Dataset及JindoRuntime的詳細(xì)配置信息,請(qǐng)參見JindoFS加速OSS文件訪問。
# 創(chuàng)建一個(gè)Dataset,描述遠(yuǎn)端存儲(chǔ)數(shù)據(jù)集和UFS的信息。 apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata: name: shared-dataset namespace: share spec: mounts: - mountPoint: oss://<oss_bucket>/<bucket_dir> # 請(qǐng)?zhí)鎿Q為實(shí)際的OSS文件存儲(chǔ)地址。 options: fs.oss.endpoint: <oss_endpoint> # 請(qǐng)?zhí)鎿Q為實(shí)際的OSS endpoint地址。 name: hadoop path: "/" encryptOptions: - name: fs.oss.accessKeyId valueFrom: secretKeyRef: name: dataset-secret key: fs.oss.accessKeyId - name: fs.oss.accessKeySecret valueFrom: secretKeyRef: name: dataset-secret key: fs.oss.accessKeySecret --- # 創(chuàng)建一個(gè)JindoRuntime,啟動(dòng)一個(gè)JindoFS的集群來提供緩存服務(wù)。 apiVersion: data.fluid.io/v1alpha1 kind: JindoRuntime metadata: name: shared-dataset namespace: share spec: replicas: 1 tieredstore: levels: - mediumtype: MEM path: /dev/shm quota: 4Gi high: "0.95" low: "0.7"
執(zhí)行以下命令,創(chuàng)建JindoRuntime和Dataset。
kubectl apply -f shared-dataset.yaml
預(yù)期輸出:
dataset.data.fluid.io/shared-dataset created jindoruntime.data.fluid.io/shared-dataset created
輸出結(jié)果表明Dataset資源和JindoRuntime資源已被成功創(chuàng)建。
等待一段時(shí)間,執(zhí)行以下命令,檢查Dataset和JindoRuntime資源的部署情況。
kubectl get dataset,jindoruntime -nshare
預(yù)期輸出:
NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE dataset.data.fluid.io/shared-dataset 1.16GiB 0.00B 4.00GiB 0.0% Bound 4m1s NAME MASTER PHASE WORKER PHASE FUSE PHASE AGE jindoruntime.data.fluid.io/shared-dataset Ready Ready Ready 15m
輸出結(jié)果表明,Dataset已經(jīng)與JindoRuntime綁定。
使用JuiceFSRuntime作為緩存運(yùn)行時(shí)
創(chuàng)建
share
命名空間,用以創(chuàng)建共享的數(shù)據(jù)集和緩存Runtime。kubectl create ns share
執(zhí)行以下命令,創(chuàng)建用于存儲(chǔ)OSS的訪問憑證的Secret。
kubectl apply -f-<<EOF apiVersion: v1 kind: Secret metadata: name: dataset-secret namespace: share type: Opaque stringData: token: <JUICEFS_VOLUME_TOKEN> access-key: <OSS_ACCESS_KEY> secret-key: <OSS_SECRET_KEY> EOF
其中,
access-key
和secret-key
是用來訪問OSS的AccessKey ID(AK)和AccessKey Secret(SK)。關(guān)于如何獲取AK和SK,請(qǐng)參見獲取AccessKey。創(chuàng)建并拷貝以下內(nèi)容到shared-dataset.yaml文件中,用于創(chuàng)建一個(gè)Dataset和一個(gè)JuiceFSRuntime來提供緩存服務(wù)。
# 創(chuàng)建一個(gè)Dataset,描述遠(yuǎn)端存儲(chǔ)數(shù)據(jù)集和UFS的信息。 apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata: name: shared-dataset namespace: share spec: accessModes: ["ReadOnlyMany"] sharedEncryptOptions: - name: access-key valueFrom: secretKeyRef: name: dataset-secret key: access-key - name: secret-key valueFrom: secretKeyRef: name: dataset-secret key: secret-key - name: token valueFrom: secretKeyRef: name: dataset-secret key: token mounts: - name: <JUICEFS_VOLUME_NAME> mountPoint: juicefs:/// # 文件系統(tǒng)的掛載點(diǎn)為juicefs:///。 options: bucket: https://<OSS_BUCKET_NAME>.oss-<REGION_ID>.aliyuncs.com # 請(qǐng)?zhí)鎿Q為Bucket實(shí)際的URL地址,例如https://mybucket.oss-cn-beijing-internal.aliyuncs.com --- # 創(chuàng)建一個(gè)JuiceFSRuntime,啟動(dòng)一個(gè)JuiceFS的集群來提供緩存服務(wù)。 apiVersion: data.fluid.io/v1alpha1 kind: JuiceFSRuntime metadata: name: shared-dataset namespace: share spec: replicas: 1 tieredstore: levels: - mediumtype: MEM path: /dev/shm quota: 1Gi high: "0.95" low: "0.7"
執(zhí)行以下命令,創(chuàng)建JuiceFSRuntime和Dataset。
kubectl apply -f shared-dataset.yaml
預(yù)期輸出:
dataset.data.fluid.io/shared-dataset created juicefsruntime.data.fluid.io/shared-dataset created
輸出結(jié)果表明Dataset資源和JuiceFSRuntime資源已被成功創(chuàng)建。
等待一段時(shí)間,執(zhí)行以下命令,檢查Dataset和JuiceFSRuntime資源的部署情況。
kubectl get dataset,juicefsruntime -nshare
預(yù)期輸出:
NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE dataset.data.fluid.io/shared-dataset 2.32GiB 0.00B 4.00GiB 0.0% Bound 3d16h NAME WORKER PHASE FUSE PHASE AGE juicefsruntime.data.fluid.io/shared-dataset 3m50s
步驟三:創(chuàng)建引用的Dataset和Pod
創(chuàng)建一個(gè)名為
ref
的命名空間,以創(chuàng)建引用的數(shù)據(jù)集ref-dataset
。kubectl create ns ref
創(chuàng)建并拷貝以下內(nèi)容到ref-dataset.yaml文件中,實(shí)現(xiàn)在
ref
命名空間下的ref-dataset
里,就可以訪問到存儲(chǔ)在其他命名空間中(本示例為share
命名空間)的特定數(shù)據(jù)集。重要Fluid限制了數(shù)據(jù)集只能被掛載到唯一的一個(gè)指定路徑下,且mountPoint格式必須為
dataset://
。如果mountPoint
為其它格式時(shí),會(huì)導(dǎo)致Dataset創(chuàng)建失敗,以及spec
中的字段無效。apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata: name: ref-dataset namespace: ref spec: mounts: - mountPoint: dataset://share/shared-dataset
mountPoint
參數(shù)說明如下:dataset://
:是協(xié)議前綴,表明這是一個(gè)數(shù)據(jù)集的引用。share
:被引用數(shù)據(jù)集所在的命名空間名稱,說明了數(shù)據(jù)集的來源位置為share
命名空間。shared-dataset
:是被引用的實(shí)際數(shù)據(jù)集的名稱。
執(zhí)行以下命令,將
ref-dataset.yaml
文件中的定義應(yīng)用到集群中。kubectl apply -f ref-dataset.yaml
創(chuàng)建并拷貝以下內(nèi)容到app.yaml文件中,以在
ref
命名空間下,創(chuàng)建Pod引用ref-dataset
。apiVersion: v1 kind: Pod metadata: name: nginx namespace: ref spec: containers: - name: nginx image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6 command: - "bash" - "-c" - "sleep inf" volumeMounts: - mountPath: /data name: ref-data volumes: - name: ref-data persistentVolumeClaim: claimName: ref-dataset
執(zhí)行以下命令,將
app.yaml
應(yīng)用到集群中。kubectl apply -f app.yaml
執(zhí)行以下命令,查看
ref
命名空間下Pod的狀態(tài)。kubectl get pods -n ref -o wide
如果Pod已處于Running狀態(tài),說明Pod已正常運(yùn)行。
步驟三:驗(yàn)證數(shù)據(jù)的共享和緩存效果
執(zhí)行以下命令,查看
share
和ref
命名空間下的Pod信息。kubectl get pods -n share kubectl get pods -n ref
預(yù)期輸出:
# share命名快哦空間下的Pod。 NAME READY STATUS RESTARTS AGE shared-dataset-jindofs-fuse-ftkb5 1/1 Running 0 44s shared-dataset-jindofs-master-0 1/1 Running 0 9m13s shared-dataset-jindofs-worker-0 1/1 Running 0 9m13s # ref命名空間下的Pod。 NAME READY STATUS RESTARTS AGE nginx 1/1 Running 0 118s
輸出結(jié)果表明,在
share
命名空間中,有三個(gè)與數(shù)據(jù)集相關(guān)的Pod正在運(yùn)行。而在ref
命名空間下,只有一個(gè)名為nginx
的Pod在運(yùn)行,并不存在與數(shù)據(jù)集相關(guān)的Pod。驗(yàn)證共享緩存效果。
執(zhí)行以下命令,進(jìn)入到名為
nginx
的Pod中。kubectl exec nginx -n ref -it -- sh
共享緩存驗(yàn)證。
執(zhí)行以下命令,列出
/data
目錄下的內(nèi)容。其中,/data
是ref
命名空間下的Dataset的路徑。du -sh /data/wwm_uncased_L-24_H-1024_A-16.zip
預(yù)期輸出:
1.3G /data/wwm_uncased_L-24_H-1024_A-16.zip
輸出結(jié)果表明盡管
config.json
文件實(shí)際存儲(chǔ)在share
命名空間的數(shù)據(jù)集中,但通過Fluid的機(jī)制,ref
命名空間下的Pod(例如nginx
)能夠無障礙地訪問到這些數(shù)據(jù)。測(cè)試緩存效果。
說明以下內(nèi)容為本次的測(cè)試結(jié)果,具體讀取文件時(shí)長(zhǎng),請(qǐng)以具體情況為準(zhǔn)。
# 首次讀取文件。 sh-4.4# time cat /data/wwm_uncased_L-24_H-1024_A-16.zip > /dev/null real 0m1.166s user 0m0.007s sys 0m1.154s # 再次讀取文件,共享緩存生效 sh-4.4# time cat /data/wwm_uncased_L-24_H-1024_A-16.zip > /dev/null real 0m0.289s user 0m0.011s sys 0m0.274s
測(cè)試的輸出結(jié)果顯示,首次讀取文件用了1.166s,再次讀取文件用了0.289s,讀取文件時(shí)長(zhǎng)縮短了0.877s,表明共享緩存已生效。