日本免费一区二区三区最新,无码无遮挡在线看免费,欧州YA无码AA

Fluid利用Kubernetes的命名空間（Namespace）資源隔離特性，確保了數(shù)據(jù)集在計(jì)算任務(wù)與數(shù)據(jù)訪問層面的安全控制，有效滿足了跨團(tuán)隊(duì)數(shù)據(jù)隔離的需求。更進(jìn)一步，F(xiàn)luid實(shí)現(xiàn)了跨命名空間的數(shù)據(jù)訪問及緩存資源共享，這意味著公開數(shù)據(jù)集能夠在多個(gè)團(tuán)隊(duì)間復(fù)用，實(shí)現(xiàn)了單次緩存、多團(tuán)隊(duì)共享的高效模式，增強(qiáng)了數(shù)據(jù)的利用效率與管理的靈活性，為研發(fā)團(tuán)隊(duì)間的協(xié)同作業(yè)提供了便利。本文介紹如何配置跨命名空間共享數(shù)據(jù)集。

實(shí)現(xiàn)原理

ThinRuntime作為Fluid提供的一種可擴(kuò)展的通用存儲(chǔ)系統(tǒng)實(shí)現(xiàn)，允許您以低代碼方式接入各類存儲(chǔ)系統(tǒng)，復(fù)用Fluid提供的數(shù)據(jù)編排管理、運(yùn)行時(shí)平臺(tái)訪問接入核心能力。Fluid利用ThinRuntime，將源命名空間下的Dataset作為接入的存儲(chǔ)系統(tǒng)，與目標(biāo)命名空間的Dataset關(guān)聯(lián)，使得同一份緩存運(yùn)行時(shí)可以共享給不同命名空間的應(yīng)用來使用。

前提條件

已創(chuàng)建一個(gè)非ContainerOS操作系統(tǒng)的ACK Pro版集群，且集群版本為1.18及以上。具體操作，請(qǐng)參見創(chuàng)建ACK Pro版集群。
重要
ack-fluid組件暫不支持在ContainerOS操作系統(tǒng)上使用。
已安裝云原生AI套件并部署ack-fluid組件。
重要
若您已安裝開源Fluid，請(qǐng)卸載后再部署ack-fluid組件。
- 未安裝云原生AI套件：安裝時(shí)開啟Fluid數(shù)據(jù)加速。具體操作，請(qǐng)參見安裝云原生AI套件。
- 已安裝云原生AI套件：在容器服務(wù)管理控制臺(tái)的云原生AI套件頁面部署ack-fluid。
已通過kubectl連接Kubernetes集群。具體操作，請(qǐng)參見通過kubectl工具連接集群。

步驟一：上傳測(cè)試數(shù)據(jù)到OSS Bucket

創(chuàng)建一個(gè)2 GB的測(cè)試文件，本文以test為例。
將測(cè)試文件上傳到阿里云OSS對(duì)應(yīng)的Bucket。
您可以通過OSS提供的客戶端工具ossutil上傳數(shù)據(jù)。具體操作，請(qǐng)參見安裝ossutil。

步驟二：創(chuàng)建共享的Dataset和緩存Runtime

使用JindoRuntime作為緩存運(yùn)行時(shí)

創(chuàng)建share命名空間，用以創(chuàng)建共享的數(shù)據(jù)集和緩存Runtime。
```
kubectl create ns share
```

執(zhí)行以下命令，創(chuàng)建用于存儲(chǔ)OSS的訪問憑證的Secret。

kubectl apply -f-<<EOF                                            
apiVersion: v1
kind: Secret
metadata:
  name: dataset-secret
  namespace: share
stringData:
  fs.oss.accessKeyId: <YourAccessKey ID>
  fs.oss.accessKeySecret: <YourAccessKey Secret>
EOF

其中，fs.oss.accessKeyId和fs.oss.accessKeySecret是用來訪問OSS的AccessKey ID（AK）和AccessKey Secret（SK）。關(guān)于如何獲取AK和SK，請(qǐng)參見獲取AccessKey。

創(chuàng)建并拷貝以下內(nèi)容到shared-dataset.yaml文件中，用于創(chuàng)建一個(gè)Dataset和一個(gè)JindoRuntime來提供緩存服務(wù)。關(guān)于Dataset及JindoRuntime的詳細(xì)配置信息，請(qǐng)參見JindoFS加速OSS文件訪問。

# 創(chuàng)建一個(gè)Dataset，描述遠(yuǎn)端存儲(chǔ)數(shù)據(jù)集和UFS的信息。
apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: shared-dataset
  namespace: share
spec:
  mounts:
  - mountPoint: oss://<oss_bucket>/<bucket_dir> # 請(qǐng)?zhí)鎿Q為實(shí)際的OSS文件存儲(chǔ)地址。
    options:
      fs.oss.endpoint: <oss_endpoint> # 請(qǐng)?zhí)鎿Q為實(shí)際的OSS endpoint地址。
    name: hadoop
    path: "/"
    encryptOptions:
      - name: fs.oss.accessKeyId
        valueFrom:
          secretKeyRef:
            name: dataset-secret
            key: fs.oss.accessKeyId
      - name: fs.oss.accessKeySecret
        valueFrom:
          secretKeyRef:
            name: dataset-secret
            key: fs.oss.accessKeySecret

---
# 創(chuàng)建一個(gè)JindoRuntime，啟動(dòng)一個(gè)JindoFS的集群來提供緩存服務(wù)。
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: shared-dataset
  namespace: share
spec:
  replicas: 1
  tieredstore:
    levels:
      - mediumtype: MEM
        path: /dev/shm
        quota: 4Gi
        high: "0.95"
        low: "0.7"

執(zhí)行以下命令，創(chuàng)建JindoRuntime和Dataset。
```
kubectl apply -f shared-dataset.yaml
```
預(yù)期輸出：
```
dataset.data.fluid.io/shared-dataset created
jindoruntime.data.fluid.io/shared-dataset created
```
輸出結(jié)果表明Dataset資源和JindoRuntime資源已被成功創(chuàng)建。

等待一段時(shí)間，執(zhí)行以下命令，檢查Dataset和JindoRuntime資源的部署情況。

kubectl get dataset,jindoruntime -nshare

預(yù)期輸出：

NAME                                   UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
dataset.data.fluid.io/shared-dataset   1.16GiB          0.00B    4.00GiB          0.0%                Bound   4m1s

NAME                                        MASTER PHASE   WORKER PHASE   FUSE PHASE   AGE
jindoruntime.data.fluid.io/shared-dataset   Ready          Ready          Ready        15m

輸出結(jié)果表明，Dataset已經(jīng)與JindoRuntime綁定。

使用JuiceFSRuntime作為緩存運(yùn)行時(shí)

創(chuàng)建share命名空間，用以創(chuàng)建共享的數(shù)據(jù)集和緩存Runtime。
```
kubectl create ns share
```

執(zhí)行以下命令，創(chuàng)建用于存儲(chǔ)OSS的訪問憑證的Secret。

kubectl apply -f-<<EOF                                            
apiVersion: v1
kind: Secret
metadata:
  name: dataset-secret
  namespace: share
type: Opaque
stringData:
  token: <JUICEFS_VOLUME_TOKEN>
  access-key: <OSS_ACCESS_KEY>
  secret-key: <OSS_SECRET_KEY>
EOF

其中，access-key和secret-key是用來訪問OSS的AccessKey ID（AK）和AccessKey Secret（SK）。關(guān)于如何獲取AK和SK，請(qǐng)參見獲取AccessKey。

創(chuàng)建并拷貝以下內(nèi)容到shared-dataset.yaml文件中，用于創(chuàng)建一個(gè)Dataset和一個(gè)JuiceFSRuntime來提供緩存服務(wù)。

# 創(chuàng)建一個(gè)Dataset，描述遠(yuǎn)端存儲(chǔ)數(shù)據(jù)集和UFS的信息。
apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: shared-dataset
  namespace: share
spec:
  accessModes: ["ReadOnlyMany"]
  sharedEncryptOptions:
  - name: access-key
    valueFrom:
      secretKeyRef:
        name: dataset-secret
        key: access-key
  - name: secret-key
    valueFrom:
      secretKeyRef:
        name: dataset-secret
        key: secret-key
  - name: token
    valueFrom:
      secretKeyRef:
        name: dataset-secret
        key: token
  mounts:
  - name: <JUICEFS_VOLUME_NAME>
    mountPoint: juicefs:/// #  文件系統(tǒng)的掛載點(diǎn)為juicefs:///。
    options:
      bucket: https://<OSS_BUCKET_NAME>.oss-<REGION_ID>.aliyuncs.com # 請(qǐng)?zhí)鎿Q為Bucket實(shí)際的URL地址，例如https://mybucket.oss-cn-beijing-internal.aliyuncs.com
---
# 創(chuàng)建一個(gè)JuiceFSRuntime，啟動(dòng)一個(gè)JuiceFS的集群來提供緩存服務(wù)。
apiVersion: data.fluid.io/v1alpha1
kind: JuiceFSRuntime
metadata:
  name: shared-dataset
  namespace: share
spec:
  replicas: 1
  tieredstore:
    levels:
    - mediumtype: MEM
      path: /dev/shm
      quota: 1Gi
      high: "0.95"
      low: "0.7"

執(zhí)行以下命令，創(chuàng)建JuiceFSRuntime和Dataset。
```
kubectl apply -f shared-dataset.yaml
```
預(yù)期輸出：
```
dataset.data.fluid.io/shared-dataset created
juicefsruntime.data.fluid.io/shared-dataset created
```
輸出結(jié)果表明Dataset資源和JuiceFSRuntime資源已被成功創(chuàng)建。

等待一段時(shí)間，執(zhí)行以下命令，檢查Dataset和JuiceFSRuntime資源的部署情況。

kubectl get dataset,juicefsruntime -nshare

預(yù)期輸出：

NAME                                   UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
dataset.data.fluid.io/shared-dataset   2.32GiB          0.00B    4.00GiB          0.0%                Bound   3d16h

NAME                                          WORKER PHASE   FUSE PHASE   AGE
juicefsruntime.data.fluid.io/shared-dataset                               3m50s

步驟三：創(chuàng)建引用的Dataset和Pod

創(chuàng)建一個(gè)名為ref的命名空間，以創(chuàng)建引用的數(shù)據(jù)集ref-dataset。
```
kubectl create ns ref
```
創(chuàng)建并拷貝以下內(nèi)容到ref-dataset.yaml文件中，實(shí)現(xiàn)在ref命名空間下的ref-dataset里，就可以訪問到存儲(chǔ)在其他命名空間中（本示例為share命名空間）的特定數(shù)據(jù)集。
重要
Fluid限制了數(shù)據(jù)集只能被掛載到唯一的一個(gè)指定路徑下，且mountPoint格式必須為dataset://。如果mountPoint為其它格式時(shí)，會(huì)導(dǎo)致Dataset創(chuàng)建失敗，以及spec中的字段無效。
```
apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: ref-dataset
  namespace: ref
spec:
  mounts:
  - mountPoint: dataset://share/shared-dataset
```
mountPoint參數(shù)說明如下：
- dataset://：是協(xié)議前綴，表明這是一個(gè)數(shù)據(jù)集的引用。
- share：被引用數(shù)據(jù)集所在的命名空間名稱，說明了數(shù)據(jù)集的來源位置為share命名空間。
- shared-dataset：是被引用的實(shí)際數(shù)據(jù)集的名稱。
執(zhí)行以下命令，將ref-dataset.yaml文件中的定義應(yīng)用到集群中。
```
kubectl apply -f ref-dataset.yaml        
```

創(chuàng)建并拷貝以下內(nèi)容到app.yaml文件中，以在ref命名空間下，創(chuàng)建Pod引用ref-dataset。

apiVersion: v1
kind: Pod
metadata:
  name: nginx
  namespace: ref
spec:
  containers:
  - name: nginx
    image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
    command:
    - "bash"
    - "-c"
    - "sleep inf"
    volumeMounts:
    - mountPath: /data
      name: ref-data
  volumes:
  - name: ref-data
    persistentVolumeClaim:
      claimName: ref-dataset

執(zhí)行以下命令，將app.yaml應(yīng)用到集群中。
```
kubectl apply -f app.yaml
```
執(zhí)行以下命令，查看ref命名空間下Pod的狀態(tài)。
```
kubectl get pods -n ref -o wide
```
如果Pod已處于Running狀態(tài)，說明Pod已正常運(yùn)行。

步驟三：驗(yàn)證數(shù)據(jù)的共享和緩存效果

執(zhí)行以下命令，查看share和ref命名空間下的Pod信息。

kubectl get pods -n share
kubectl get pods -n ref

預(yù)期輸出：

# share命名快哦空間下的Pod。
NAME                                READY   STATUS    RESTARTS   AGE
shared-dataset-jindofs-fuse-ftkb5   1/1     Running   0          44s
shared-dataset-jindofs-master-0     1/1     Running   0          9m13s
shared-dataset-jindofs-worker-0     1/1     Running   0          9m13s
# ref命名空間下的Pod。
NAME    READY   STATUS    RESTARTS   AGE
nginx   1/1     Running   0          118s

輸出結(jié)果表明，在share命名空間中，有三個(gè)與數(shù)據(jù)集相關(guān)的Pod正在運(yùn)行。而在ref命名空間下，只有一個(gè)名為nginx的Pod在運(yùn)行，并不存在與數(shù)據(jù)集相關(guān)的Pod。

驗(yàn)證共享緩存效果。
1. 執(zhí)行以下命令，進(jìn)入到名為nginx的Pod中。
```
kubectl exec nginx -n ref -it -- sh
```
2. 共享緩存驗(yàn)證。
  執(zhí)行以下命令，列出/data目錄下的內(nèi)容。其中，/data是ref命名空間下的Dataset的路徑。
```
du -sh /data/wwm_uncased_L-24_H-1024_A-16.zip
```
  預(yù)期輸出：
```
1.3G	/data/wwm_uncased_L-24_H-1024_A-16.zip
```
  輸出結(jié)果表明盡管config.json文件實(shí)際存儲(chǔ)在share命名空間的數(shù)據(jù)集中，但通過Fluid的機(jī)制，ref命名空間下的Pod（例如nginx）能夠無障礙地訪問到這些數(shù)據(jù)。
3. 測(cè)試緩存效果。
  說明
  以下內(nèi)容為本次的測(cè)試結(jié)果，具體讀取文件時(shí)長(zhǎng)，請(qǐng)以具體情況為準(zhǔn)。
```
# 首次讀取文件。
sh-4.4# time cat /data/wwm_uncased_L-24_H-1024_A-16.zip > /dev/null
real	0m1.166s
user	0m0.007s
sys	0m1.154s

# 再次讀取文件，共享緩存生效
sh-4.4# time cat /data/wwm_uncased_L-24_H-1024_A-16.zip > /dev/null
real	0m0.289s
user	0m0.011s
sys	0m0.274s
```
  測(cè)試的輸出結(jié)果顯示，首次讀取文件用了1.166s，再次讀取文件用了0.289s，讀取文件時(shí)長(zhǎng)縮短了0.877s，表明共享緩存已生效。

日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

實(shí)現(xiàn)原理

前提條件

步驟一：上傳測(cè)試數(shù)據(jù)到OSS Bucket

步驟二：創(chuàng)建共享的Dataset和緩存Runtime

使用JindoRuntime作為緩存運(yùn)行時(shí)

使用JuiceFSRuntime作為緩存運(yùn)行時(shí)

步驟三：創(chuàng)建引用的Dataset和Pod

步驟三：驗(yàn)證數(shù)據(jù)的共享和緩存效果