Jindo CLI支持操作JindoFSx數(shù)據(jù)緩存、元數(shù)據(jù)緩存和統(tǒng)一命名空間等命令。
前提條件
- 已在E-MapReduce上創(chuàng)建EMR-3.42.0及后續(xù)版本、EMR-5.6.0及后續(xù)版本的集群,具體操作請參見創(chuàng)建集群。
- 當數(shù)據(jù)源為OSS、OSS-HDFS、Apache HDFS、NAS時,請先完成如下配置:
說明 本文以EMR-3.42.0版本為例介紹。
背景信息
本文為您介紹以下內(nèi)容:
數(shù)據(jù)緩存命令
數(shù)據(jù)緩存命令可以備份對應路徑的數(shù)據(jù)至本集群的磁盤,以便于后續(xù)可以讀取本地數(shù)據(jù),無需讀取OSS等后端上的數(shù)據(jù)。
jindo fs -load -data <options> <path>
參數(shù) | 描述 |
---|---|
options | 各種可選參數(shù):
|
path | 數(shù)據(jù)緩存路徑。 |
建議使用以下組合命令。
jindo fs -load -data -s -R <path>
元數(shù)據(jù)緩存命令
元數(shù)據(jù)緩存命令可以備份遠端文件的元數(shù)據(jù)信息,從而后續(xù)無需從OSS等后端讀取文件元數(shù)據(jù)信息。
jindo fs -load -meta <options> <path>
參數(shù) | 描述 |
---|---|
options | 各種可選參數(shù):
|
path | 元數(shù)據(jù)緩存路徑。 |
建議使用以下組合命令。
jindo fs -load -meta -s -R <path>
數(shù)據(jù)緩存和元數(shù)據(jù)緩存可以組合使用,當需要同時進行二者緩存時,可以搭配可選參數(shù)使用。建議使用以下組合命令。
jindo fs -load -meta -data -s -R <path>
清理緩存命令
清理緩存命令可以刪除本地集群中的本地備份,只存儲數(shù)據(jù)在OSS標準存儲上,以便于后續(xù)讀取OSS上的數(shù)據(jù)。
jindo fs -uncache <path>
統(tǒng)一命名空間命令
- 獲取所有掛載點。
jindo fs -mount
- 添加一個掛載點。
jindo fs -mount <path> <realpath>
- 移除掛載點。
jindo fs -unmount <path>
其他命令
執(zhí)行以下命令,輸出當前緩存系統(tǒng)的信息,例如緩存大小,緩存容量等。
jindo fs -report
輸出信息如下:
Namespace Address: 127.0.0.1:8101
Rpc Port: 8101
Started: Mon Jan 10 15:23:51 2022
Version: 4.1.0
Live Nodes: 2
Decommission Nodes: 0
Total Disk Capacity: 438.17GB
Used Disk Capacity: 5120.00MB
Total MEM Capacity: 4096.00MB
Used MEM Capacity: 0B