JindoData是阿里云開源大數據團隊自研的數據湖存儲加速套件，面向大數據和AI生態，為阿里云和業界主要數據湖存儲系統提供全方位訪問加速解決方案。本文為您介紹JindoData各版本支持的功能。
背景信息
JindoData是原阿里云EMR SmartData組件的升級版本。具體介紹請參見JindoData概述。
JindoData 4.6.x版本
概要
JindoData 4.6.x版本推出平滑遷移功能，支持HDFS到OSS-HDFS平滑遷移。可以極大的簡化數據遷移流程。JindoFS存儲系統支持文件清單功能，您可以基于文件清單功能更好了解數據的分布以及歸屬。在性能優化方面，JindoFS存儲系統通過存量以及增量的方式優化Du和Count性能，顯著提升Du和Count操作性能。對于JindoSDK而言，JindoSDK 4.6.x版本支持文件以及數據塊級別的校驗，提高JindoSDK寫入鏈路的穩定性。此外，JindoSDK還支持多路徑訪問協議，支持不同協議模式訪問同一后端路徑。
JindoData 4.6.11版本
JindoData 4.6.11版本修復了以下問題：
JindoSDK修復了使用JindoCommitter在Aliyun EMR Hadoop 2.8.5環境下使用老的mapred接口寫數據的問題。
優化了JindoTable，針對OSS上的表或分區進行解凍的功能，支持設置解凍天數，詳情請參見使用JindoTable實現對OSS上表或分區的歸檔和解凍。
JindoData 4.6.10版本
JindoData4.6.10版本修復了以下問題：
優化了JindoFS 的pread預讀邏輯。
JindoSDK支持并發commit task，優化了作業commit性能。
優化了JindoSDK路徑改寫的邏輯。
修復了JindoFuse在對象append時遇到的問題。
JindoData 4.6.8版本
JindoData4.6.8版本修復了以下問題：
JindoFS支持客戶端設置回收站保留時間。
JindoSDK支持通過MALLOC_CONF優化內存使用。
JindoFuse支持在掛載OSS-HDFS時進行優雅的退出。
JindoFSx支持通過通配符篩選緩存預熱的文件列表。
JindoFSx修復清理緩存不生效的問題。
JindoData 4.6.7版本
JindoData4.6.7版本修復了以下問題：
JindoFuse支持優雅退出機制。
JindoFuse優化了日志輸出。
修復了JindoFuse在掛載OSS時，不支持O_APPEND或O_TRUNC的問題。
JindoData 4.6.6版本
優化了distjob或distcp任務的并行度，同時保證并行度最大不超過任務數量。
JindoData 4.6.5版本
JindoData4.6.5版本是在4.6.4版本基礎上進行了大量修復和優化，包括以下內容：
添加了OSS scheme的ServiceLoader，指向JindoOssFileSystem。
優化了isDirectory()方法的異常邏輯，對于帶有
Path *的目錄，isDirectory()接口返回false，而不是拋出IllegalPath異常。優化了Hadoop SDK，解決了在部分場景下可能出現的Hadoop配置并發修改異常ConcurrentModificationException的問題。
優化了臨時目錄異常或者出現壞盤時，JindoMagicCommitter客戶端寫OSS的重試邏輯，以最大程度保證作業寫入成功并避免InvalidPart異常
One or more of the specified parts could not be found or the specified entity tag might not have matched the part's entity tag.。
JindoData 4.6.4版本
JindoData 4.6.4版本新增多平臺支持。
支持平臺請參見JindoData下載。
對于Java平臺，可以通過部署多個jindo-core實現多平臺支持。默認情況下，jindo-core支持主流的Linux系統，如果需要在其他平臺上使用，則需要額外引入對應平臺的擴展包。
JindoData的Maven倉庫已經同步上傳了多平臺支持的依賴包。以訪問OSS為例，使用Maven構建項目時，您可以參考依賴配置jindosdk_ide_hadoop.md。
例如，如果要在主流Linux上部署Hadoop集群 ，則需要將jindo-core-4.6.4.jar和jindo-sdk-4.6.4.jar添加到指定的classpath中。如果要在macOS上運行和調試，則需要jindo-core-4.6.4.jar和jindo-sdk-4.6.4.jar，并且還需要引入jindo-core-macos-10_14-x86_64-4.6.4.jar拓展包。
請前往JindoData下載頁面下載jindosdk-4.6.10-macos-10_14-x86_64.tar.gz，其中包含了本示例所需的jindo-core-4.6.4.jar、jindo-sdk-4.6.4.jar和jindo-core-macos-10_14-x86_64-4.6.4.jar拓展包。
JindoData 4.6.2版本
JindoData4.6.2版本是在4.6.1版本基礎上做了大量的修復。JindoFS存儲系統修復如下：
JindoFS存儲系統
修復分層存儲STD轉STD時導致服務卡住問題。
修復分層存儲產生空manifest導致服務卡住問題。
加速分層存儲任務執行速度。
修復RootPolicy功能邏輯。
修復setAcl偶發服務crash問題。
修復低概率發生DB manifest文件占滿磁盤的問題。
修復遷移服務的批量元數據導入功能。
JindoData 4.6.1版本
JindoFS存儲系統
JindoFS減少一些冗余日志打印。
修復元數據清單導出沒有close的文件時大小錯誤問題。
JindoFSx存儲加速系統
JindoFSx支持緩存臨時目錄實現自清理。
JindoSDK和工具支持
優化JindoSDK輸出體積過大問題。
Du、Count默認開啟通過服務端優化路徑。
降低STS更新頻率，避免頻繁發送請求導致限流。
免密URL的RAM改為小寫，避免ECS免密服務內部刷新token失敗。
JindoData 4.6.0版本
JindoFS存儲系統
JindoFS支持OSS-HDFS文件清單導出功能，您可以基于文件清單功能更好的了解數據分布以及二次開發。
JindoFS通過服務端存量和增量的優化，顯著提高Du和Count操作的性能。
JindoFS支持HDFS到OSS-HDFS平滑遷移功能，極大的簡化HDFS到OSS-HDFS數據遷移流程。
JindoFS支持多路徑協議訪問，您可以使用不同訪問協議訪問同一后端路徑。
JindoFSx存儲加速系統
修復JindoFSx客戶端寫緩存時導致客戶端異常退出問題。
修復JindoFSx客戶端Metrics上報導致客戶端異常退出問題。
修復JindoFSx Ranger使用過程中內存泄漏問題。
JindoSDK和工具支持
JindoSDK支持CRC和MD5 Checksum校驗，支持文件級別以及數據塊級別的寫入校驗。
支持Jindo Sync數據同步工具，您可以不依賴Hadoop環境進行數據同步。
JindoSDK支持OSS-HDFS TensorFlow Connector。
JindoData 4.5.X版本
JindoData 4.5.1版本
版本概要
4.5.1版本是對4.5.0版本的小幅升級，進行了重要的修復和改進。JindoFS改進了服務穩定性以及一些異常情況處理。JindoFS和JindoFSx進一步改進自適應預讀算法，提高預讀效率。JindoDistCp做了大量修復和優化，增強了數據拷貝過程的穩定性。JindoFuse采用了新的底層設計，進一步提高了性能。
主要功能
JindoFS存儲系統
JindoFS改進了內存使用問題。
JindoFS添加
ASSUME_ROLE錯誤的異常處理和日志告警。JindoFS支持重試時更新動態AccessKey。
JindoFS進一步改進自適應預讀算法，提升預讀效率。
JindoFS文件隨機寫場景的讀寫路徑修復。
JindoFS支持CheckAccess接口。
JindoFSx存儲加速系統
JindoFSx進一步改進自適應預讀算法，提升預讀效率。
JindoFSx支持路徑帶空格。
JindoFSx改進多副本讀可能存在熱點的問題。
JindoSDK和工具支持
Jindo命令提供完整的Hadoop命令覆蓋。
Jindo命令增加對HDFS的純Native支持，大幅提升性能和您使用體驗。
JindoDistCp支持對接阿里云監控（CloudMonitor）。
JindoDistCp支持OSS數據遷移到HDFS路徑的CheckSum檢查。
JindoDistCp支持Job切分參數。
JindoDistCp修復拷貝過程中源文件刪除錯誤處理邏輯。
JindoSDK優化隨機讀的內存占用。
JindoFuse POSIX支持
JindoFuse使用Low-level API重新設計，大幅提高
readdir等操作的性能。JindoFuse修復掛載JindoFSx后出現異常程序List根目錄問題。
JindoData 4.5.0版本
版本概要
JindoFS存儲系統上著重優化元數據的操作性能，使得相關元數據性能得到顯著的提升。完善JindoFS分層存儲功能，支持低頻以及冷歸檔存儲類型。支持批量寫入功能，優化大規模ETL作業性能。在SDK與生態組件方面，提供了去Hadoop依賴的Java SDK。
主要功能
JindoFS存儲系統
JindoFS元數據操作性能優化，相關元數據操作性能顯著提升。
JindoFS完善分層存儲功能，支持低頻以及冷歸檔存儲類型。
JindoFS支持批量寫入功能，優化大規模ETL作業性能。
JindoFS修復服務端授權錯誤時，訪問OSS會導致服務異常的問題。
JindoFSx存儲加速系統
JindoFSx修復Storage服務文件句柄泄漏問題。
JindoFSx修復客戶端metrics上報線程安全問題。
JindoFSx優化遞歸創建父目錄性能。
JindoFSx優化路徑改寫功能性能。
JindoSDK和工具支持
JindoSDK支持自適應預讀算法，提升預讀效率。
JindoSDK支持基于表格存儲原子Rename功能。
JindoDistCp優化Diff功能，支持輸出Diff文件。
JindoSDK統一處理重試錯誤，解決服務端IP變化導致的客戶端重現失敗問題。
JindoSDK提供了去Hadoop依賴的Java SDK，與HadoopSDK、ObjectSDK平級。
JindoFuse POSIX支持
JindoFuse修復JindoFSx開啟緩存List操作導致的內存泄漏問題。
JindoData 4.4.x版本
版本概要
JindoFS存儲系統上實現分層存儲和歸檔功能，利用阿里云OSS的分層存儲能力兼容HDFS分層存儲策略。該功能可以讓您選擇較低成本的存儲策略來存儲訪問頻率較低的數據，從而降低總的存儲成本。此外，JindoFS新支持了HDFS AuditLog功能，大幅提升了對Apache HDFS的接口兼容、功能對齊和數據遷移能力。完善了OSS數據快速導入和半托管JindoFS遷移。JindoFS功能目前通過阿里云OSS-HDFS服務對外提供，詳細信息請參見OSS-HDFS服務概述。
在JindoFSx存儲加速系統上，JindoData 4.4.x版本支持了客戶端本地緩存（LocalCache），提供了純客戶端的緩存加速的能力，大幅改進和優化了在元數據緩存上的能力，完善了對阿里云NAS的緩存加速上的支持。
在SDK與生態組件方面，大幅提升了多個操作上的性能和吞吐，支持了Object SDK，在兼容OSS對象存儲API的同時大幅提升了各項操作的性能，同時無縫對接JindoFSx加速能力。推出了JindoDistJob工具，支持半托管JindoFS全量和增量遷移文件元數據，支持您在不遷移數據塊的同時平穩切換到JindoFS服務化的方案上。大幅增強了JindoDistCp遷移工具，實現Apache HDFS到JindoFS服務的無損遷移，保證了文件元數據的拷貝。
主要功能
JindoFS存儲系統
JindoFS支持分層存儲和歸檔，兼容HDFS存儲策略。
JindoFS支持BatchImport，提供了文件數據批量導入的能力。
JindoFS支持HDFS AuditLog審計日志。
JindoFS支持Concat和SymLink接口。
JindoFS優化了文件數據的后臺清理能力。
JindoFS優化了Lease和Lock相關操作的性能。
JindoFSx存儲加速系統
JindoFSx支持緩存插件，并提供了客戶端緩存模式。
JindoFSx支持鑒權插件化，默認情況下無須安裝KRB5和SASL庫依賴。
JindoFSx大幅優化了元數據緩存性能，完善了對阿里云NAS的緩存加速的支持。
JindoSDK和工具支持
JindoSDK完善了對HTTPS的支持，改進了對弱網環境的容錯能力。
JindoSDK改進了部署，默認情況下去除了對KRB5和SASL庫的依賴。
JindoSDK增加支持OSS對象存儲API，大幅提升操作性能并無縫對接JindoFSx緩存加速能力。
新增JindoDistJob工具，支持半托管JindoFS Block模式數據快速遷移到JindoFS服務。
JindoDistCp大幅完善對Apache HDFS到JindoFS服務的數據遷移能力，文件元數據一起無損遷移。
JindoFuse POSIX支持
JindoFuse優化了大文件順序讀的性能。
JindoData 4.3.x版本
版本概要
JindoData 4.3.0版本完全支持多云架構，有能力同時具備多云、多存儲、多種加速擴展、多協議和多種開發語言支持的數據湖存儲解決方案。JindoFS存儲系統在POSIX支持上做了大幅改進，JindoFSx系統首次支持Kerberos+Ranger安全擴展，JindoSDK和生態工具在測試覆蓋上也做了大幅提升。
主要功能
JindoSDK和工具支持
JindoSDK支持多云存儲，包括Amazon S3、COS和OBS。
JindoSDK提供JindoTable工具。
JindoSDK優化了Flink Connector插件。
JindoSDK完善了JindoDistCp。
JindoFSx存儲加速系統
JindoFSx支持多云存儲，包括Amazon S3、COS和OBS。
JindoFSx優化了數據緩存及元數據緩存。
JindoFSx支持Kerberos+Ranger的鑒權方案。
JindoFSx大幅完善了可觀測性指標。
JindoFSx完成與Fluid的對接。
JindoFS存儲系統
JindoFS支持POSIX Lock和Fallocate能力。
JindoFS支持老版本JindoFS Block模式集群升級。
JindoFuse POSIX支持
JindoFuse新增XAttr相關接口支持，包括Setxattr、Getxattr、Listxattr和Removexattr。
JindoFuse支持POSIX Lock和Fallocate能力。
JindoFuse支持OSS可追加寫對象，包括Append、Flush和邊寫邊讀功能。
JindoData 4.2.x版本
版本概要
JindoData 4.2.0版本大幅完善JindoFSx存儲加速系統，添加對Apache HDFS和阿里云NAS存儲產品的緩存加速，增強和提供JindoFuse、JindoDistCp和JindoTable等工具。
主要功能
JindoFSx存儲加速系統
支持對阿里云Apache HDFS透明緩存加速（保持
hdfs://不變）和統一掛載加速（fsx://）。支持對阿里云NAS存儲產品提供統一掛載加速（
fsx://）。全面對接和支持阿里云OSS-HDFS服務（JindoFS服務），完善寫入路徑支持。
JindoSDK和工具支持
首次支持C/C++版本的JindoSDK，提供類似POSIX的接口方法。
支持JindoFuse POSIX，改進和完善JindoFuse工具，基于JindoSDK C/C++版本構建。
支持JindoDistCp數據遷移，重構和改進JindoDistCp工具，簡化和去除3.x版本中的不常用功能，增強易用性和健壯性。
支持JindoTable工具，重構和改進JindoTable工具，簡化和去除3.x版本中的不常用功能，增強易用性和健壯性。
JindoData 4.1.x版本
版本概要
JindoData 4.1.0版本在阿里云OSS-HDFS服務（JindoFS服務）上支持隨機寫等重要特性，并添加JindoFSx存儲加速系統，支持對原生阿里云OSS和OSS-HDFS服務（JindoFS服務）提供分布式緩存。
主要功能
JindoFS存儲系統
JindoFS服務能力
支持文件隨機寫，文件可修改寫入。
支持HDFS回收站，系統后臺按過期時間清理回收站文件。
完善HDFS快照功能，快照支持隨機修改文件。
改進目錄刪除機制，大幅提升操作性能。
實現NsWorker框架，支持元數據服務將一些繁重處理卸載到Follower、Learner節點上去執行。
JindoShell CLI支持
支持您使用命令設定HDFS回收站過期時間。
支持快照功能
snapshotDiff命令，查看兩個快照之間的差異。改進
dumpFile命令，輸出隨機寫文件相關信息。
JindoFuse POSIX支持
支持文件隨機修改（Seek and Write）。
JindoFSx存儲加速系統
JindoFSx核心能力
支持對阿里云OSS透明緩存加速（保持
oss://不變）。支持對阿里云OSS-HDFS服務（JindoFS服務）透明緩存加速（保持
oss://不變）。統一命名空間功能，支持將OSS或OSS-HDFS掛載到同一個命名空間，使用
fsx://前綴進行統一操作。支持大規模文件元數據緩存加速。
支持小文件訓練加速。
支持P2P加速，對大量訓練節點同時預熱加載模型文件場景，大幅提升緩存讀取性能。
JindoSDK Hadoop支持
提供
JindoOssFileSystem支持OSS與OSS-HDFS的透明緩存加速使用。提供
JindoFsxFileSystem支持統一名字空間方式使用。
JindoShell CLI支持
支持JindoFSx數據緩存命令。
支持JindoFSx元數據緩存命令。
支持JindoFSx統一命名空間管理命令。
JindoFuse POSIX支持
支持
oss://路徑Fuse掛載，讀寫JindoFSx緩存。支持
fsx://路徑Fuse掛載，讀寫JindoFSx緩存。
JindoData 4.0.x版本
版本概要
JindoData 4.0.0是原阿里云EMR SmartData自研組件（大版本到3.8.0）架構升級之后的首次版本發布，重點對接和支持了阿里云OSS存儲產品和阿里云OSS-HDFS服務（JindoFS服務）。
說明JindoData 4.0.0版本暫未發布JindoFSx存儲加速系統。
主要功能
阿里云OSS服務
JindoSDK Hadoop支持
為阿里云OSS提供了Java Hadoop SDK，完全兼容Hadoop OSS Connector，大幅提升了性能。
支持多種Credential Provider設置方式，包括配置、ECS Role和EMR免密機制。
支持寫入時歸檔，包括歸檔和深冷歸檔。
JindoShell CLI支持
對Hadoop或HDFS Shell提供額外的命令擴展，為阿里云OSS提供面向Hadoop使用的操作方式。
支持
ls2擴展命令，在標準ls命令的基礎上可以額外顯示文件或對象在OSS上的存儲狀態。例如，標準、低頻還是歸檔。支持
archive命令，允許指定目錄進行轉歸檔操作。支持
restore命令，允許指定目錄進行解凍操作。
JindoFuse POSIX支持
為阿里云OSS提供優化后的Fuse客戶端，受益于完全Native代碼的開發實現，大幅提升了性能。
JindoDistCp數據遷移
支持將自建HDFS集群數據遷移到阿里云OSS，針對大文件和大量小文件場景優化。
阿里云OSS-HDFS服務（JindoFS服務）
JindoFS服務
為阿里云OSS產品增加一種新的Bucket存儲選項，提供元數據加速功能，二進制兼容且功能全面對齊Apache HDFS，支持HDFS您平遷上云。
原生支持文件系統目錄語義，大幅優化目錄操作，超大目錄Rename支持原子性和毫秒級能力。
原生支持文件系統文件語義，支持HDFS寫租約、一寫多讀和邊寫邊讀。
支持文件
append寫入、flush、sync和truncate操作。支持HDFS快照，支持近乎無限次快照數量，方便數據備份、容災和恢復。
支持文件權限。用戶組信息支持您通過
JindoShell命令導入設定（UserGroupsMapping）。支持Hadoop Proxy User訪問控制機制。
JindoSDK Hadoop支持
JindoSDK內置支持訪問阿里云OSS-HDFS服務（JindoFS服務），提供全面的HDFS接口訪問和使用體驗。
JindoShell CLI支持
提供Hadoop、HDFS Shell額外的命令擴展，為阿里云OSS-HDFS服務（JindoFS服務）提供面向Hadoop使用的操作方式。
支持您通過HDFS命令和JindoShell擴展命令使用HDFS快照功能，詳情請參見Snapshot（試用）。
支持您使用命令導入（UserGroupsMapping），設定用戶組信息。
支持您使用命令設定Hadoop Proxy User規則。
JindoFuse POSIX支持
為阿里云OSS-HDFS服務（JindoFS服務）提供優化的Fuse客戶端，受益于完全Native代碼的開發實現，大幅提升了性能。
已知問題
JindoSDK暫不支持OSS上超大文件寫入（大于80 GB）。
JindoSDK暫不支持OSS Append方式寫入。
JindoSDK暫不支持OSS客戶端加密。
JindoSDK暫不支持老版本JindoFS Block模式和Cache模式。
阿里云OSS-HDFS服務（JindoFS服務）暫不支持老版本JindoFS Block模式系統升級。需要您通過JindoDistCp遷移工具把數據從老系統遷移到新服務。