本文介紹EMR-3.34.x版本的發布日期和更新內容信息。

發布日期

EMR-3.34.0 2021年3月15日

更新內容

服務變更點
SmartData升級至3.4.0版本。

版本詳情,請參見SmartData 3.4.x版本簡介

Spark
  • 優化了部分默認配置。
  • 性能優化:支持Window TopK下推。
  • 增強Hive讀寫CSV或JSON表的兼容性。
  • ANALYZE語句支持省略全表列名。
  • 支持一鍵開啟或關閉LDAP功能。
  • 改進Spark Beeline工具的易用性。
Hive
  • 優化了部分默認配置。
  • 性能優化:增強CBO。
  • 支持一鍵開啟或關閉LDAP功能。
  • 升級Calcite版本至1.12.0。
  • 增加參數hive.security.authorization.sqlstd.confwhitelist.append
Presto支持一鍵開啟或關閉LDAP功能。
YARN修復了Hadoop未授權訪問Web UI時的高危風險問題。即通過SSH Tunnel方式訪問YARN WebUI時,需要在URL里顯式指定user.name=name的問題。
Zookeeper升級至3.6.2版本。
Flink初始化時更新config.sh文件,修復HADOOP_CLASSPATH的問題。
Impala
  • 升級Impala至3.4.0版本。
  • 升級Shiro至1.7.0版本。
  • 支持DLF元數據。
  • 支持查詢Delta格式的數據。
  • 支持一鍵開啟或關閉LDAP功能。
Tez優化了默認配置。
HAS修復在HAS的install流程中產生錯誤后admin.keytab無法重新init問題。
Ranger
  • 修復Spark中Filter函數的下推問題。
  • 修復Ranger Disable Presto后,Presto無法啟動的問題。
  • 支持一鍵開啟或關閉LDAP功能。
Knox修復Druid 0.20.0版本Knox鏈接的問題。
Hue支持一鍵開啟或關閉LDAP功能。
Hudi
  • 支持SQL on Hudi功能。
  • 修復了查詢部分數據時準確性的問題。
  • 在Spark查詢Hudi的Copy On Write表時,支持分區裁剪。
  • 支持分桶索引機制,提高寫入性能。
Delta Lake
  • 修復基于已存在Delta表無法同步元數據至Hive Metastore的問題。
  • 修復Merge命令無法解析*的問題。
  • 修復基于Parquet格式的數據轉換成Delta表,且創建表元數據時報錯的問題。
  • 修復當沒有待compact的文件時,執行Optimize命令異常的問題。
  • 支持Merge語法使用子查詢作為source命令。
  • 使用Presto查詢Delta表時,引入緩存機制,以提升查詢效率。
  • 支持Impala查詢Delta表。
Superset
  • 修復admin用戶無法登錄Web UI的問題。
  • 數據集兼容Druid集群模式。
  • 不再支持SparkSQL數據集。
Sqoop支持導入Parquet格式的文件至OSS。
Alluxio升級至2.4.1版本。
PhoenixHive on Phoenix支持字段設置。
Pig已移除。