SmartData組件是EMR Jindo引擎的存儲部分,為EMR各個計算引擎提供統一的存儲、緩存、計算優化以及功能擴展。SmartData組件主要包括JindoFS、JindoTable和相關工具集。本文為您介紹SmartData(3.7.x)版本的新增內容。

JindoFS

此版本中JindoFS的新特性如下表所示。

特性描述
JindoFS支持展示統計信息SmartData 3.7.2及后續版本支持該特性。

JindoFS服務收集匯總了一些重要的指標信息,例如OSS讀寫吞吐、緩存讀寫吞吐、緩存使用率等,可用于對接Prometheus,進行可視化監控。

JindoFS分層存儲支持冷歸檔SmartData 3.7.3及后續版本支持該特性。

分層存儲命令支持了OSS冷歸檔存儲類型,可以對冷數據進一步節省成本,詳情請參見分層存儲命令使用說明

JindoSDK

此版本中JindoSDK的新特性如下表所示。

特性描述
支持訪問Amazon S3文件系統JindoFS客戶端支持了Amazon S3文件系統,可以用來訪問Amazon S3上的數據。
支持OSS PrefixLink特性JindoFS客戶端支持了OSS PrefixLink特性,通過提升Rename性能,能夠有效加速Hive作業,特別對于Hive ETL場景有明顯優化效果。
支持OSS原子RenameSmartData 3.7.2及后續版本支持該特性。

JindoFS客戶端利用OSS新特性實現了原子Rename,適用于Delta場景。

JindoTable

此版本中JindoTable的新特性如下表所示。

特性描述
歸檔、解凍功能支持冷歸檔SmartData 3.7.2及后續版本支持該特性。

JindoTable SDK模式歸檔和解凍命令支持了OSS冷歸檔存儲類型,詳情請參見JindoTable SDK模式歸檔和解凍命令介紹