版本

日期

EMR-3.38.3

2021年12月

EMR-3.38.2

2021年12月

EMR-3.38.1

2021年11月

EMR-3.38.0

2021年10月

服務

變更點

Presto

• 修復了高可用集群Presto查詢Hudi表報錯的問題。

• 修復了Elasticsearch連接器的Log4j漏洞。

DLF Metastore

• 將Metastore log默認開啟改為關閉。

• 修復了Metastore gettablestats URI超長出錯的問題。

Delta Lake

修復了變更Schema同步到Metastore的問題。

Flink

• 升級VVR到4.0.11版本，該版本支持了如下功能：

  • 發布Flink CDC商業功能：

    • 支持Schema Evolution。

    • 支持整庫同步的Flink SQL語義。

  • 支持Gemini Statebackend將State存儲到OSS上。

• 提供了企業版Hudi Connector，內置DLF作為元數據管理。

Sqoop

修復了Sqoop導入HCatalog表時，Decimal類型精度丟失的問題。

服務

變更點

SmartData

• 升級SmartData至3.8.0版本，詳情請參見SmartData 3.8.x版本簡介。

• 支持OSS基于Kerberos和Ranger的認證和授權管理。

服務

變更點

SmartData

升級SmartData至3.7.3版本，詳情請參見SmartData 3.7.x版本簡介。

Spark

• 移除了無效配置Log4j MetricsAppender。

• 修復了SparkContext啟動過程中空指針異常的問題。

Presto

• 修復了Hadoop高可用集群，Presto需要配置host才能查詢Hive表的問題。

• 修復了內存較小時，默認配置下Presto無法啟動的問題。

• 修復了修改worker-jvm配置無法生效的問題。

• 支持Ranger。

Impala

修復了查詢DLF元數據表時，提示no such method error的問題。

Ranger

• 支持Presto。

• 修復了Ranger Spark insert ORC和PARQUET表的權限問題。

• 修復了Ranger Hive role權限在開啟Kerberos后無法生效的問題。

DLF-Auth

• 升級DLF-Auth至1.0.1版本。

• 支持DLF權限，可以控制Presto權限。

• 修復了RAM用戶緩存的問題。

服務

變更點

SmartData

升級SmartData至3.7.2版本，詳情請參見SmartData 3.7.x版本簡介。

Spark

• 升級Spark至2.4.8版本。

• 同時支持Spark 2.4.8和Spark 3.1.2。

  說明

  Spark3暫不支持Delta和Remote Shuffle Service。

• Spark 3.x系列，SparkSQL優化了Distinct計算性能，即當聚合算子中包含多個count(distinct case ... when ...)時會觸發優化功能。

• 修復了AQE在Stats缺失情況下數組越界的問題。

• 修復了AQE和Cache在特定場景下報錯的問題。

Hive

升級Hive至2.3.9版本。

Presto

• 發布成獨立的Presto集群。

• 升級Presto至社區358版本。

  重要

  此版本暫不支持Ranger。

• 默認支持Hudi和MySQL等連接器，并更新了默認配置。

• Presto集群支持彈性伸縮。

• 支持數據湖分析。

DeltaLake

• 統一Hive 2和Hive 3的delta-connectors。

• 修復了delta-connectors查詢多級分區表時的報錯問題。

Hudi

• 升級Hudi至0.9.0版本。

• 修復了DeltaLake和Hudi的sql.extension的兼容性問題。

HDFS

NameNode預留空間默認參數自適應增加，保證磁盤空間不足時， NameNode及時進入SafeMode。

Flink

• 升級Flink至1.13-vvr-4.0.10版本，對應社區Flink 1.13.1。

• 添加了商業化的Flink Connector。例如，Hologres。

• 添加了相應的Metric Reporter，對接了APM大盤的監控。

• 針對Kafka Connector，添加了基于SchemaRegistry的Kafka Catalog，支持直接讀寫已存在的Kafka Topic，無需DDL。

Storm

組件下線。

Zeppelin

升級Zeppelin至社區0.10.0版本。

Ranger

當Presto為社區358版本時，該版本Ranger暫不支持Presto權限控制。

Hue

• 修復YARN Job Browser在部分情況下無法正常展示和終止作業的問題。

• 默認配置中放開YARN Job Browser。

• 默認配置中支持Presto協議。

Druid

修復了服務器掉電時Pid文件殘留，導致節點重啟失敗的問題。

ClickHouse

• 更新了默認配置。

• 支持集群擴容。

• 支持MetaChecker功能。

• 支持OSS表引擎和OSS表函數讀數據。

• 支持表級別自定義ZooKeeper地址。

Iceberg

新增組件。版本為0.12.0-1.0.1。

Knox

修復了Spark Task第一次訪問時失敗的問題。

DLF-Auth

新增組件。

支持DLF權限，可以控制Hive和Spark權限。版本為1.0.0。

ESS

升級ESS至1.2.0版本。