SmartData是E-MapReduce（簡稱EMR）產(chǎn)品的核心自研組件，為EMR各個計算引擎提供統(tǒng)一的存儲優(yōu)化、緩存優(yōu)化、計算加速優(yōu)化和多個存儲功能擴展，涵蓋數(shù)據(jù)訪問、數(shù)據(jù)治理和數(shù)據(jù)安全。

SmartData組件在EMR產(chǎn)品中的位置如下所示。SmartData
SmartData組件包括：
  • JindoFS核心子系統(tǒng)：為各種遠端存儲系統(tǒng)提供緩存和緩存加速，詳情請參見JindoFS介紹和使用。
  • JindoTable核心子系統(tǒng)：為表格數(shù)據(jù)源（例如Hive數(shù)倉）提供表和分區(qū)級別的優(yōu)化和治理，詳情請參見JindoTable使用說明。
  • JindoManager：提供JindoFS&JindoTable相關(guān)服務(wù)和功能的管理頁面，例如，查看文件和表在緩存上的各種統(tǒng)計指標(biāo)。
  • JindoSDK：為EMR各種開源計算引擎提供統(tǒng)一的SDK，支持Java、C、C++和Python語言，提供多種訪問和API接口，包括HCFS文件系統(tǒng)接口、POSIX接口和Table表格接口。
  • 工具集： 提供相關(guān)的工具集，例如Jindo tool和遷移工具Jindo DistCp。
  • 各種Connectors：包括Hadoop connector、Flink connector和TensorFlow connector，支持Kite SDK、Apache Beams、Flume、Sqoop和Kafka。

SmartData目前通過JindoFS和JindoTable支持的數(shù)據(jù)源，包括阿里云OSS、Apache Hadoop HDFS、Hive數(shù)倉和阿里云MaxCompute。

SmartData作為EMR產(chǎn)品核心自研組件，獨立開發(fā)與版本發(fā)布，詳細(xì)版本請參見版本概述。