SmartData組件是EMR Jindo引擎的存儲部分,為EMR各個計算引擎提供統一的存儲、緩存、計算優化以及功能擴展。SmartData組件主要包括JindoFS、JindoTable和相關工具集。本文為您介紹SmartData(3.7.x)版本的新增內容。
JindoFS
此版本中JindoFS的新特性如下表所示。
特性 | 描述 |
---|---|
JindoFS支持展示統計信息 | SmartData 3.7.2及后續版本支持該特性。 JindoFS服務收集匯總了一些重要的指標信息,例如OSS讀寫吞吐、緩存讀寫吞吐、緩存使用率等,可用于對接Prometheus,進行可視化監控。 |
JindoFS分層存儲支持冷歸檔 | SmartData 3.7.3及后續版本支持該特性。 分層存儲命令支持了OSS冷歸檔存儲類型,可以對冷數據進一步節省成本,詳情請參見分層存儲命令使用說明。 |
JindoSDK
此版本中JindoSDK的新特性如下表所示。
特性 | 描述 |
---|---|
支持訪問Amazon S3文件系統 | JindoFS客戶端支持了Amazon S3文件系統,可以用來訪問Amazon S3上的數據。 |
支持OSS PrefixLink特性 | JindoFS客戶端支持了OSS PrefixLink特性,通過提升Rename性能,能夠有效加速Hive作業,特別對于Hive ETL場景有明顯優化效果。 |
支持OSS原子Rename | SmartData 3.7.2及后續版本支持該特性。 JindoFS客戶端利用OSS新特性實現了原子Rename,適用于Delta場景。 |
JindoTable
此版本中JindoTable的新特性如下表所示。
特性 | 描述 |
---|---|
歸檔、解凍功能支持冷歸檔 | SmartData 3.7.2及后續版本支持該特性。 JindoTable SDK模式歸檔和解凍命令支持了OSS冷歸檔存儲類型,詳情請參見JindoTable SDK模式歸檔和解凍命令介紹。 |