本文介紹EMR-3.30.x發(fā)行版本的發(fā)布日期和更新內(nèi)容等信息。

發(fā)布日期

EMR-3.30.0 2020年10月26日

更新內(nèi)容

服務(wù) 變更點
SmartData 升級至3.0.0。
Spark
  • 支持阿里云DLF（Data Lake Formation）元數(shù)據(jù)。
  • 升級HAS依賴至2.0.1。
  • 修復(fù)Streaming SQL反引號問題。
  • 移除Delta的JAR包，修改為Delta單獨部署。
  • 修改日志路徑統(tǒng)一寫至HDFS下。
Hive
  • 支持阿里云DLF（Data Lake Formation）元數(shù)據(jù)。
  • 解決了讀Delta表空目錄時寫DUMMY文件問題。
  • 升級HAS依賴至2.0.1。
Presto
  • 支持阿里云DLF（Data Lake Formation）元數(shù)據(jù)。
  • 解決讀Delta表的限制問題。
  • 修復(fù)高安全模式下JVM配置缺失問題。
  • 升級HAS依賴至2.0.1。
HDFS
  • 支持熱交換磁盤模式。
  • 升級HAS依賴至2.0.1。
YARN
  • 修復(fù)YARN RMZKStateStore的問題。
  • 支持SLS輸出的SNAPPY文件。
  • 修改MapReduce Local模式目錄配置，解決目錄權(quán)限檢查問題。
  • 支持熱交換磁盤模式。
  • 日志路徑統(tǒng)一寫到HDFS下。
  • 升級HAS依賴至2.0.1。
Zookeeper
  • 支持綁定內(nèi)網(wǎng)IP啟動服務(wù)端口。
  • 升級HAS依賴至2.0.1。
Flink-Vvp
  • 升級至1.11-2.2.2版本。
  • 支持SQL和Autopilot功能。
說明 僅Dataflow集群支持Flink-Vvp，Hadoop集群暫不支持Flink-Vvp。
Flink
  • 支持緩存模式寫入OSS，結(jié)合Flink的Checkpoint與可重發(fā)的Source實現(xiàn)EXACTLY_ONCE語義。
  • 同步了Flink社區(qū)1.11.1功能，SQL支持多路輸出（MULTI INSERT）。
  • 升級HAS依賴至2.0.1。
Impala
  • 支持自定義配置catalogd.flgs、impalad.flgs和statestored.flgs。
  • 升級Shiro至1.6.0版本。
  • 升級HAS依賴至2.0.1。
Tez
  • 優(yōu)化AM的默認(rèn)內(nèi)存參數(shù)。
  • 升級HAS依賴至2.0.1。
HAS 升級HAS依賴至2.0.1。
Storm
Zeppelin
Ranger
OpenLDAP
Oozie
Knox
Kafka
HUE
HBase
Druid