版本

日期

EMR-5.5.1

2022年3月25日

EMR-5.5.0

2022年2月15日

服務

變更點

Clickhouse

修改了部分參數的默認值。

StarRocks

升級至2.1.1版本。

服務

變更點

SmartData

組件下線。

BIGBOOT

RSS

• 升級ESS服務為RSS。

• 增強了服務的功能和穩定性。

JindoSDK

• 升級架構為JindoData。

• EMR首次集成JindoSDK 4.0，支持OSS和OSS-HDFS服務等。

Spark

• COUNT DISTINCT函數支持IF語句以及優化Case when的用法。

  設置參數spark.sql.optimizer.rewriteConditionalDistinctAggregates為true。

• Shuffle Hash Join支持fallback到Sort Merge Join。

  設置參數spark.sql.join.preferSortMergeJoin為false，設置參數spark.sql.join.enableShuffledHashJoinFallback為true。

• 支持非動態分區自動合并小文件。

  設置spark.sql.adaptive.merge.output.small.files.enabled參數為true。

• GroupingSet以及Distinct等場景會自動調整并發度。

  設置參數spark.sql.execution.optimizeExpand為true。

• 優化了Hive on Spark。

• 支持Time Travel語法。

• 適配JindoSDK。

Tez

適配JindoSDK。

Hive

• 優化了Hive Jindo批量刪除的問題。

• 優化了HiveServer2 OOM問題。

• 優化了Hive on Spark。

• 適配JindoSDK。

Presto

• 升級Presto至社區358版本。

• 默認增加MySQL、Iceberg、Hudi、Phoenix、Kudu和Delta連接器，并更新默認配置。

• 支持數據湖分析。

• 支持UDF動態加載功能。

• 適配JindoSDK。

Delta Lake

• 版本升級

  • 升級至1.1.0版本，兼容Spark 3.2.0。

  • 所有商業版功能遷移至1.1.0版本。

• 元數據管理

  • 優化元數據修改同步到metastore的部分。

  • 自動上報表的統計信息（dataProfiling）到metastore。

• SQL

  • 支持Time Travel語法。

  • 支持DropPartition SQL語法。

  • 支持SQL動態分區覆蓋寫。

  • 支持指定位置（FIRST和AFTER）的ADD COLUMN操作。

• 表管理能力增強

  • 支持并默認開啟可以根據表大小動態調整文件大小。

  • 支持并默認開啟自動Vacuum，支持并發Vacuum。

  • 優化了自動Compaction的邏輯，默認關閉。

  • 新增Zorder語法，并加速了Zorder的處理過程。

Hudi

• 升級至0.10.0版本。

• 支持Spark 3.2.0版本。

• 支持JindoFS Block模式。

HDFS

適配JindoSDK。

YARN

• 適配RSS內存配置。

• 適配JindoSDK。

Flume

適配JindoSDK。

Impala

適配JindoSDK。

Ranger

• 支持Spark 3.2.0版本。

• 支持Presto 358版本。

HBase

• 修復了默認參數存在的問題。

• 修復了GC日志日期格式問題。

Clickhouse

• 新增HDFS和OSS磁盤類型， 支持數據冷熱分離，詳情請參見使用HDFS進行數據冷熱分離和使用OSS進行數據冷熱分離。

• 在Replicated*MergeTree情況下，支持的磁盤類型為OSS、HDFS和S3的Zero Copy。

• 優化了ClickHouse組件Stop時的處理邏輯。

Iceberg

• 升級至0.13.0版本。

• 支持Presto 358版本。

DLF-Auth

• 支持Spark 3.2.0版本。

• 支持Presto 358版本。