本文介紹EMR-3.24.x發行版本的發布日期和更新內容等信息。

發布日期

EMR-3.24.0 2019年11月18日

新功能

服務 變更點
Delta
  • 支持SQL語法,包括ALTER、CONVERT、CREATE、CTAS、DELETE、DESC、INSERT、MERGE、OPTIMIZE、UPDATE和VACUUM。
  • 內置并優化Optimize。
  • 支持Hive connector。
  • 支持其他開源已有特性。
Grafana 新增組件(Flink獨立集群),版本6.4.2。
Prometheus 新增組件(Flink獨立集群),版本2.13.0。
AlertManager 新增組件(Flink獨立集群),版本0.19.0。
TensorFlow on spark
  • 支持TensorFlow框架置于Spark之上,使得Spark與深度學習框架深度結合,包括了任務調度和數據交換優化方案等,為您提供從數據預處理到深度學習訓練任務的一整套流程。
  • 支持Streaming類型任務。

更新內容

服務 變更點
SmartData
  • 優化JindoFS使用模式:Block模式使用方式不變;Cache模式不僅支持原有用法,還兼容了原有OSS文件系統的使用方式,支持數據緩存和元數據緩存,并可以通過配置分別控制開關(默認均關閉)。
  • 優化Block模式和Cache模式讀寫性能。
  • 優化磁盤清理,對本地磁盤上緩存的熱數據實現更精確的統計和更及時的清理,并且能夠嚴格保證磁盤使用率不會超過配額。
  • 完善對Gateway集群的支持,能夠在Gateway上使用Block模式和Cache模式。
  • 支持一個存儲集群與多個計算集群分離的部署方式。
Spark
  • 增加Delta相關參數支持。
  • 增加對Ranger spark plugin配置的支持。
  • JindoCube升級到0.3.0版本。
Hive
  • 增加SQL兼容性檢查功能邏輯。
  • Hive2.3.5+Hadoop2.8.5組合發布。
  • 重啟組件時不同步hiveserver2-site.xml中的內容至spark-conf下的hive-site.xml
  • 支持使用MSCK命令添加增量目錄。
  • 修復Hive復用tez container時出現的bug。
  • 支持使用MSCK命令優化列目錄。
Bigboot 升級至2.2.1,修復Native代碼支持在部分機型上的問題。
Ranger
  • Spark plugin部署方式重構。
  • 修復HA集群header2沒有獲取keytab的bug。
Kudu 修復啟動邏輯。
Zookeeper 增加四字命令配置,默認開啟。
HDFS 適配JindoFS。
YARN
  • 修改默認配置yarn.scheduler.capacity.node-locality-delay為-1。
  • 適配JindoFS。
Has 對接OpenLDAP做后端。
OpenLDAP 適配Has。
Presto 升級版本到0.228。
Kafka 移除D1壞盤。
Druid 升級至0.16.0。
Flume 升級至1.9.0。
Flink
  • 升級至1.9.1。
  • 支持Flink獨立集群(白名單發布)。