版本

日期

EMR-5.4.3

2021年12月

EMR-5.4.2

2021年12月

EMR-5.4.1

2021年11月

EMR-5.4.0

2021年10月

服務(wù)

變更點(diǎn)

SmartData

• 升級(jí)SmartData至3.8.0版本，詳情請(qǐng)參見SmartData 3.8.x版本簡(jiǎn)介。
• 支持OSS基于Kerberos和Ranger的認(rèn)證和授權(quán)管理。

服務(wù)

變更點(diǎn)

SmartData

升級(jí)SmartData至3.7.3版本，詳情請(qǐng)參見SmartData 3.7.x版本簡(jiǎn)介。

Oozie

修復(fù)了HA情況下Oozie的Jetty Server依賴JAR包沖突，導(dǎo)致Jetty Server無(wú)法啟動(dòng)的問(wèn)題。

Impala

修復(fù)了查詢DLF元數(shù)據(jù)表時(shí)提示no such method error的問(wèn)題。

DLF-Auth

升級(jí)DLF-Auth至1.0.1版本。

服務(wù)

變更點(diǎn)

SmartData

升級(jí)SmartData至3.7.2版本，詳情請(qǐng)參見SmartData 3.7.x版本簡(jiǎn)介。

Spark

• 升級(jí)Spark至3.1.2版本。

• Spark 3.x系列，SparkSQL優(yōu)化了Distinct計(jì)算性能，即當(dāng)聚合算子中包含多個(gè)count(distinct case ... when ...)時(shí)會(huì)觸發(fā)優(yōu)化功能。
• 修復(fù)了AQE在Stats缺失情況下數(shù)組越界的問(wèn)題。
• 修復(fù)了AQE和Cache在特定場(chǎng)景下報(bào)錯(cuò)的問(wèn)題。

Hive

Hive on JindoFS（Block）支持批量元數(shù)據(jù)優(yōu)化功能，默認(rèn)未開啟。

Presto

Delta表支持StorageHandler查詢。

DeltaLake

• 升級(jí)DeltaLake至1.0.0版本。

• 統(tǒng)一Hive 2和Hive 3的delta-connectors。

• 修復(fù)了delta-connectors查詢多級(jí)分區(qū)表時(shí)的報(bào)錯(cuò)問(wèn)題。

• 支持多個(gè)功能的SQL語(yǔ)法。例如，DataSkipping、Optimize和Zorder。

• 支持同步Meta到MetaStore。

Hudi

• 升級(jí)Hudi至0.9.0版本。
• 修復(fù)了DeltaLake和Hudi的sql.extension的兼容性問(wèn)題。

HDFS

NameNode預(yù)留空間默認(rèn)參數(shù)自適應(yīng)增加，保證磁盤空間不足時(shí)， NameNode及時(shí)進(jìn)入SafeMode。

Storm

組件下線。

Zeppelin

升級(jí)Zeppelin至社區(qū)0.10.0版本。

Hue

• 修復(fù)YARN Job Browser在部分情況下無(wú)法正常展示和終止作業(yè)的問(wèn)題。

• 默認(rèn)配置中放開YARN Job Browser。

• 默認(rèn)配置中支持Presto協(xié)議。

Druid

ClickHouse

• 更新了默認(rèn)配置。

• 支持集群擴(kuò)容。

• 支持MetaChecker功能。

• 支持OSS表引擎和OSS表函數(shù)讀數(shù)據(jù)。

Iceberg

• 升級(jí)Iceberg至0.12.0-1.0.1版本。

• 修改了Hive Runtime依賴報(bào)錯(cuò)問(wèn)題。

Knox

DLF-Auth