服務

變更點

SmartData

組件下線。

BIGBOOT

JindoSDK

• 升級架構為JindoData。

• EMR首次集成JindoSDK 4.0，支持OSS和OSS-HDFS服務等，詳情請參見JindoData 4.0.x版本簡介。

Spark

• 升級至2.4.8版本。

• 修復了Adaptive Execution部分場景無法生效的問題。

• 修復了統計聚合函數行為和Hive不一致的問題。

• 修復了讀取Hive ORC表char類型數據正確性問題。

• 優化了Thriftserver的默認配置。

• 優化E-MapReduce控制臺上，Spark服務配置頁面的spark-defaults頁簽的配置項名稱。

• 優化了Hive on Spark。

• 修復了AQE在Stats缺失情況下數組越界的問題。

• 修復了AQE和Cache在特定場景下報錯的問題。

• 移除了無效配置Log4j MetricsAppender。

• 修復了SparkContext啟動過程中空指針異常的問題。

• 支持ZSTD（Zstandard）壓縮格式。

Hive

• 修復了UDF導致HiveServer2內存泄露的問題。

• 修復了使用DLF（DataLakeFormation）元數據執行show create table命令時，結果顯示不正確的問題。

• 優化Hive默認參數，以提升作業性能。

• 修改了E-MapReduce控制臺上，Hive服務配置頁面的hive-env頁簽的配置項名稱為大寫，便于用戶使用。

• 優化文件系統與MetaStore不一致時寫Hive表的報錯信息。

• Hive on JindoFS（Block）支持批量元數據優化功能，默認未開啟。

Ranger

• 修復了Ranger啟用Spark日志中的Warning報錯。

• 修復了對接LDAP后，自動同步用戶失敗的問題。

HDFS

• 支持ZSTD（Zstandard）壓縮格式。

• NameNode預留空間默認參數自適應增加，保證磁盤空間不足時， NameNode及時進入SafeMode。

YARN

• 節點Containers REST API增加了appId，CPU和Memory資源使用信息。

• 修復了彈性伸縮釋放節點上AM日志無法查看的問題。

• 修復了State Store歷史數據造成集群不可用的問題。

• 支持彈性伸縮Decommission后清理釋放的節點。

• 完善了彈性伸縮Graceful Decommission的操作邏輯，待NM（NodeMananger）進程結束后再標記下線完成。

Knox

• 適配Kudu組件。

• 適配HBase組件。

• 修復了Spark Task第一次訪問時失敗的問題。

Tez

優化了Tez默認參數，以提升作業性能。

Sqoop

修復了Sqoop導入HCatalog表時，Decimal類型精度丟失的問題。

Delta Lake

• 元數據管理
  • 使用Spark內置Catalog替代Hive CLI API同步元數據及分區信息。
  • 自動上報表的統計信息（dataProfiling）到MetaStore。
• SQL
  • 支持Time Travel語法。
  • 支持DropPartition SQL語法。
  • 支持指定位置（FIRST和AFTER）的ADD COLUMN操作。
• 表管理能力增強
  • 支持并默認開啟可以根據表大小動態調整filesize。
  • 支持并默認開啟自動Vacuum，支持并發Vacuum。
  • 優化了自動Compaction的邏輯，默認關閉。
  • 新增Zorder語法，并加速了Zorder的處理過程。

Hudi

• 升級至0.10.0版本。

• 修復了DeltaLake和Hudi的sql.extension的兼容性問題。

Iceberg

新增組件。

版本為0.13.0，文檔詳情請參見Iceberg概述。

Hue

• 修復了Hue查詢歷史記錄時，中文亂碼的問題。

• 修復了Hue與Oozie集成使用時界面顯示的問題。

• 修復YARN Job Browser在部分情況下無法正常展示和終止作業的問題。

• 默認配置中放開YARN Job Browser。

• 默認配置中支持Presto協議。

DLF-Auth

新增組件。

版本為1.0.4，文檔詳情請參見DLF-Auth。

HBase

• 修復了高安全集群重啟HBase耗時過長的問題。

• 修復了Spark 3.1.1版本與HBase集成使用時失敗的問題。

• 優化了Graceful Stop流程。

Zookeeper

升級至社區3.6.3版本。

Presto

• 升級Presto至社區358版本。

• 支持UDF動態加載功能，詳情請參見動態加載UDF。

• 支持數據湖分析。

Impala

• 修復了直接刪除OSS分區目錄出現list目錄循環的問題。

• 修復了查詢DLF元數據表時，提示no such method error的問題。

Zeppelin

升級Zeppelin至社區0.10.0版本。

Oozie

修復了HA情況下Oozie的Jetty Server依賴JAR包沖突，導致Jetty Server無法啟動的問題。

服務

版本

HDFS

3.2.1

YARN

3.2.1

Hive

3.1.2

Spark

2.4.8

Knox

1.1.0

Tez

0.9.2

Ganglia

3.7.2

Sqoop

1.4.7

DLF-Auth

1.0.4

Iceberg

0.13.0

Hudi

0.10.0

DeltaLake

0.6.1

OpenLDAP

2.4.44

Hue

4.9.0

JindoSDK

4.0.0

HBase

2.3.4

Zookeeper

3.6.3

Presto

358

Impala

3.4.0

Zeppelin

0.10.2

Flume

1.9.0

Livy

0.7.1

Superset

0.36.0

Ranger

2.1.0

RSS

1.0.0

Alluxio

2.5.0

Kudu

1.14.0

Oozie

5.2.1