服務(wù)

變更點

SmartData

升級SmartData至3.6.1版本。版本詳情，請參見SmartData 3.6.x版本簡介。

Hive

• 修復(fù)使用DLF元數(shù)據(jù)執(zhí)行show create table命令，結(jié)果顯示不正確的問題。

• 優(yōu)化Hive默認(rèn)參數(shù)，以提升作業(yè)性能。

• 修改E-MapReduce控制臺上，Hive服務(wù)配置頁面的hive-env頁簽的配置項名稱為大寫，便于用戶使用。

• 修復(fù)UDF（User Define Function）導(dǎo)致HiveServer2內(nèi)存泄露的問題。

• 優(yōu)化文件系統(tǒng)與MetaStore不一致時寫Hive表的報錯信息。

HDFS

支持ZSTD（Zstandard）壓縮格式。

Delta Lake

• 升級Delta Lake至0.8.0版本。

• 支持Spark 3。

Flink

升級Flink至1.12-vvr-3.0.2版本。

Hudi

• 升級Hudi至0.8.0版本。

• 支持和Spark SQL集成。

Spark

• 支持?jǐn)?shù)據(jù)湖格式Delta Lake和Hudi。

• 支持Remote Shuffle Service。

• 支持Livy 。

• 優(yōu)化E-MapReduce控制臺上，Spark服務(wù)配置頁面的spark-defaults頁簽的配置項名稱。

• 優(yōu)化CBO（Cost-Based Optimization）、DPP（DynamicPartitionPruning）以及Z-Order等功能，性能比開源Spark 3版本提升50%。

• 支持阿里云Log Service、DataHub和消息隊列RocketMQ版（簡稱ONS）等數(shù)據(jù)源。

Tez

優(yōu)化Tez默認(rèn)參數(shù)，以提升作業(yè)性能。

Ranger

• 修復(fù)Ranger啟用Spark日志中的Warning報錯。

• 修復(fù)對接LDAP后，自動同步用戶失敗的問題。

Knox

• 適配Kudu組件。

• 適配Hbase組件。

Kafka

• 支持Cruise Control組件，提供Kafka集群Balance功能。

• Kafka上線熱換盤功能，在不啟停Broker前提下，可以更換壞盤。

• 修改部分參數(shù)的默認(rèn)值。

Hue

修復(fù)HUE查詢歷史記錄時，中文亂碼的問題。

Phoenix

修復(fù)Hive和Spark SQL訪問Phoenix表時，報未找到JDBC Driver的問題。

ESS（EMR Remote Shuffle Service）

支持Spark 3。