Jindo CLI支持操作JindoFSx數(shù)據(jù)緩存、元數(shù)據(jù)緩存和統(tǒng)一命名空間等命令。

前提條件

說明 本文以EMR-3.42.0版本為例介紹。

背景信息

數(shù)據(jù)緩存命令

數(shù)據(jù)緩存命令可以備份對應路徑的數(shù)據(jù)至本集群的磁盤，以便于后續(xù)可以讀取本地數(shù)據(jù)，無需讀取OSS等后端上的數(shù)據(jù)。
jindo fs -load -data <options> <path>
參數(shù)描述
options各種可選參數(shù)：
  • -s：表示緩存過程同步執(zhí)行。即緩存完成前命令不退出，日志直接打印在控制臺上，建議開啟。
  • -replica：緩存副本數(shù)量，默認緩存1個副本。
  • -R：遞歸緩存文件，當path是文件夾時需開啟。
  • -m：加載數(shù)據(jù)到內(nèi)存。
path數(shù)據(jù)緩存路徑。
建議使用以下組合命令。
jindo fs -load -data -s -R <path>

元數(shù)據(jù)緩存命令

元數(shù)據(jù)緩存命令可以備份遠端文件的元數(shù)據(jù)信息，從而后續(xù)無需從OSS等后端讀取文件元數(shù)據(jù)信息。
jindo fs -load -meta <options> <path>
參數(shù)描述
options各種可選參數(shù)：
  • -s：表示緩存過程同步執(zhí)行。即緩存完成前命令不退出，日志直接打印在控制臺上，建議開啟。
  • -R：遞歸緩存文件，當path是文件夾時需開啟。
path元數(shù)據(jù)緩存路徑。
建議使用以下組合命令。
jindo fs -load -meta -s -R <path>
數(shù)據(jù)緩存和元數(shù)據(jù)緩存可以組合使用，當需要同時進行二者緩存時，可以搭配可選參數(shù)使用。建議使用以下組合命令。
jindo fs -load -meta -data -s -R <path>

清理緩存命令

清理緩存命令可以刪除本地集群中的本地備份，只存儲數(shù)據(jù)在OSS標準存儲上，以便于后續(xù)讀取OSS上的數(shù)據(jù)。
jindo fs -uncache <path>

統(tǒng)一命名空間命令

  • 獲取所有掛載點。
    jindo fs -mount
  • 添加一個掛載點。
    jindo fs -mount <path> <realpath>
  • 移除掛載點。
    jindo fs -unmount <path>

其他命令

執(zhí)行以下命令，輸出當前緩存系統(tǒng)的信息，例如緩存大小，緩存容量等。
jindo fs -report
輸出信息如下：
Namespace Address: 127.0.0.1:8101
Rpc Port: 8101
Started: Mon Jan 10 15:23:51 2022
Version: 4.1.0
Live Nodes: 2
Decommission Nodes: 0
Total Disk Capacity: 438.17GB
Used Disk Capacity: 5120.00MB
Total MEM Capacity: 4096.00MB
Used MEM Capacity: 0B