SmartData 3.1.x版本支持改寫Jindo HDFS客戶端級別的路徑,以減少集群遷移時修改路徑的工作量。例如,通過將HDFS地址重寫至OSS地址,方便您遷移HDFS中的數據至OSS后,無需改動業務邏輯中的數據地址,即可訪問數據。
使用限制
僅支持Hadoop 2.x版本,不支持Hadoop 3.x版本。
開啟路徑改寫功能
改寫配置路徑
示例
HA集群,在smartdata-site頁簽,添加如下參數后,您訪問hdfs://emr-cluster/osspath時實際訪問的是oss://jindo-bucket/<testpath>的數據。
參數 | 參數值 |
---|---|
fs.jindo.shim.path-rewrite.testrule.source | hdfs://emr-cluster/osspath |
fs.jindo.shim.path-rewrite.testrule.target | oss://jindo-bucket/<testpath> |
您可以通過SSH登錄集群的主節點,執行如下命令,查看改寫情況。
hadoop fs -ls /
通過如下信息,看到osspath已經掛載在根目錄下。