本文介紹阿里云E-MapReduce每次發布涉及的功能變更及對應的文檔，幫助您了解E-MapReduce的發布動態。
2024年
2024年08月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
新版監控診斷功能發布 | EMR on ECS新版監控診斷是基于大模型構建的智能運維輔助功能，結合了阿里云EMR團隊在開源大數據領域的知識經驗、阿里云EMR可觀測能力和技術專家的診斷經驗。新版監控診斷整合并增強了EMR平臺的可觀測能力，提供集群實時健康診斷功能，對異常問題進行根因分析并提出處理建議，從而降低用戶的運維成本。此外，通過集群日報提供的全局優化洞察建議，輔助用戶提高集群的運行效率。 | 2024-08-20 | |
集群克隆能力優化 | 集群克隆支持恢復集群創建及使用過程中修改的服務配置、增加的節點組、彈性伸縮規則，支持客戶基于已有集群快速創建一個相同配置的新集群。 | 2024-08-20 | |
節點組附加安全組數量上限提升 | 每個節點組最多可支持4個附加安全組，更靈活地滿足客戶對集群內ECS實例網絡訪問控制的需求。 | 2024-08-20 |
2024年06月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
擴容時支持開啟自動續費功能 | 集群如果開啟自動續費，新增節點將默認開啟自動續費，減少客戶異步操作，后續客戶可在配置自動續費中，管理自動續費的開關和時長。 | 2024-06-19 | |
支持包月集群下的按量節點組轉為包月 | 在包年包月集群下，針對付費模式為按量付費的Core、Task、Gateway節點組，支持按節點組粒度轉包月，幫助客戶更靈活的管理資源的付費模式。 | 2024-06-19 | |
支持創建Master-Extend節點組，自定義部署 | 集群節點提供Master-Extend類型節點組，支持在該節點組上自定義部署Spark、Hive、Kyuubi服務的組件，并能將配置自動同步。解決當前Master節點組負載過高的問題。 | 2024-06-19 |
2024年03月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
支持通過EMR控制臺代理創建并管理OSS-HDFS Bucket | 在EMR控制臺創建集群時，支持代理創建OSS-HDFS Bucket，并可以在集群服務中查看對應Bucket的存儲概覽和文件列表，不再需要跳轉到OSS控制臺操作，簡化了使用流程，也避免了可能的誤操作導致HDFS服務不可用的情況。 | 2024-03-14 | |
支持創建Gateway類型節點組 | 集群節點提供Gateway類型節點，用于緩解主節點的負載和作為任務提交機。這種節點可以幫助用戶一鍵創建任務提交機，并能夠自動同步配置，解決了當前任務提交環境部署和配置難的問題。 | 2024-03-14 | |
支持管理健康檢查項 | E-MapReduce會自動根據健康檢查項對集群的節點和服務進行健康檢查，能夠及時發現異常或風險點。健康檢查項管理支持查看節點和服務組件檢查內容，并對檢查項進行編輯。 | 2024-03-14 | |
豐富服務組件健康檢查項 | 豐富YARN、HDFS、Hive、Kafka和Zookeeper的健康檢查項，以提升組件健康狀態的準確度。 | 2024-03-14 | |
集群節點供應支持盡力交付模式 | 在進行按量付費節點組的擴容時，如果ECS庫存不足或ECS服務部署失敗，系統將盡最大努力交付所有創建成功的節點。 | 2024-03-14 |
2023年
2023年10月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
EMR正式支持倚天云服務器 | 阿里云E-MapReduce（簡稱EMR）支持使用倚天云服務器構建開源大數據集群。與現有X86架構實例體驗完全相同的情況下，具有更高的性價比，幫助您降低成本并提高效率。 | 2023-10-24 | |
彈性伸縮規則推薦功能優化 | 彈性伸縮模塊新增集群資源概覽內容，能夠分析您的集群資源利用情況，并對符合條件的集群推薦彈性伸縮規則。您可以開啟彈性伸縮功能，提升集群資源彈性能力。 | 2023-10-24 | |
新增報警管理功能 | 集群管理新增了報警管理功能，該功能是基于云監控服務的。在EMR控制臺上，您可以創建和查看集群的報警規則。如果資源的監控指標達到了報警條件，云監控將自動發送報警通知，幫助您及時了解集群的異常情況，并迅速采取相應措施。 | 2023-10-24 | |
新增節點健康狀態 | 節點健康狀態展示了當前節點的運行狀態是否正常。您可以在節點管理頁面查看節點的健康狀態，及時發現異常節點。 | 2023-10-24 | |
支持設置云盤性能級別參數 | 在創建集群和新增節點組時，您可以為ESSD云盤設置不同的性能級別（PL級別），以滿足不同集群性能需求。 | 2023-10-24 |
2023年8月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
新增集群模板功能 | 集群模板是一項持久化EMR實例配置功能，可用于快速創建EMR集群。 | 2023-08-29 | |
新增集群資源概覽 | 彈性伸縮模塊新增集群資源概覽內容，該內容能夠分析用戶集群資源利用情況，并為符合條件的集群推薦彈性伸縮規則。用戶可以使用該功能開啟彈性伸縮，以提升集群資源的彈性能力。 | 2023-08-29 | |
新增查看配置項 | 如果某個配置項在節點組或節點級別進行了修改，則該配置項將在集群級別展示多層級的配置信息，包括節點組配置和名稱，或者獨立節點配置和名稱。 | 2023-08-29 |
2023年7月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
新增彈性伸縮管理模塊 | 為了更方便地管理集群彈性功能，EMR新增了專屬管理模塊，您可以在該模塊中便捷地管理伸縮規則、查看集群彈性資源用量和費用成本，以評估集群彈性成本節省效果，優化集群資源利用率。 | 2023-07-12 | |
優化集群自動補償功能 | 自動補償提供替換異常節點的能力。 本次優化增加了信息提示和事件通知能力，讓您可以快速了解自動補償行為發生的過程。 說明 從2023年7月10日18:00（UTC+8）開始，新建按量付費的Task節點組時默認開啟自動補償開關。 | 2023-07-12 | |
優化服務配置 | 新增待下發和待生效提示燈，可以更好的引導用戶進行配置修改后的操作，避免配置修改不生效的情況。 | 2023-07-12 | |
支持無狀態集群 | 提供默認的數據湖架構，無需依賴HDFS。此外，在不使用必須依賴Core節點的服務時，您可以去掉Core節點組，構建完全無狀態的集群，以進一步降低集群的運維成本。 | 2023-07-12 | |
支持YARN分區和隊列關聯 | 您可以直接在控制臺完成分區和隊列的關聯管理，以及容量分配等操作，無需手動進行繁瑣的配置。 | 2023-07-12 | |
按量部分支持秒級計費 | 通過更精細的計費粒度，可以實現更加精確的計費，有效地降低用戶的使用成本。 | 2023-07-12 |
2023年6月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
版本升級 |
| 2023-06-01 | |
新增Paimon組件 | Apache Paimon是一種流批統一的湖存儲格式，支持高吞吐的寫入和低延遲的查詢。 | 2023-06-01 | |
新增Presto組件 | Presto（即PrestoDB）是一款靈活、可擴展的分布式SQL查詢引擎。 | 2023-06-07 |
2023年5月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
EMR Workflow | EMR Workflow是一個全托管的工作流和任務調度服務，100%兼容開源Apache DolphinScheduler。它提供了易于使用的調度服務，您可以通過可視化的操作界面輕松地管理工作流和任務，高效構建數據倉庫，并為生產任務的穩定運行提供保障。 | 2023-05-19 |
2023年4月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
版本升級 |
| 2023-04-03 | |
湖倉一體新能力 | EMR支持Spark、Trino計算引擎直接訪問Hologres和MaxCompute表。 | 2023-04-03 | |
Spark支持對接Hologres | Spark如何讀取Hologres表數據。 | 2023-04-03 | |
升級節點的配置 | 通過配置升級功能可以提升ECS實例規格。 | 2023-04-03 | |
支持在控制臺管理YARN分區 | 支持在控制臺上通過可視化UI管理YARN分區，同時可以批量建立節點組與分區的映射，方便操作。 | 2023-04-13 | |
EMR Notebook | EMR Notebook提供了全托管的兼容開源Jupyter的Notebook服務，同時內置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等應用程序的開發和運行。 | 2023-04-24 |
2023年3月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
新增Flink Table Store組件 | Flink Table Store是一個流批統一的湖存儲格式，支持高吞吐的寫入和低延遲的查詢。 | 2023-03-03 | |
支持導出和導入服務配置 | 阿里云E-MapReduce（簡稱EMR）提供的導出服務配置功能，支持以XML或JSON格式導出服務配置，便于備份、遷l移和恢復EMR服務的配置。 | 2023-03-02 |
2023年2月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
版本升級 |
| 2023-02-28 |
2022年
2022年12月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
版本升級 |
| 2022-12-01 | |
YARN Node Labels特性 | YARN Node Labels特性支持將YARN NodeManager節點進行分區管理。 | 2022-12-14 |
2022年11月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
版本升級 |
| 2022-11-08 | |
管理日志 | 支持在EMR控制臺直接查詢開源組件的日志。 | 2022-11-29 |
2022年10月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
版本升級 |
| 2022-10-14 | |
使用HBase Shell | 可以使用HBase Shell連接HBase。 | 2022-10-21 | |
數據服務集群 | DataServing是阿里云E-MapReduce提供的基于Apache HBase的數據服務集群類型。 | 2022-10-28 |
2022年9月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
自動補償 | 開啟自動補償功能后，當E-MapReduce（簡稱EMR）監測到您集群的ECS實例無法維持EMR上的引擎服務正常工作時，EMR的自動補償功能會嘗試為您新購ECS實例替換掉異常的ECS實例。 | 2022-09-07 | |
克隆集群 | 可以基于已有集群快速創建一個新的集群。 | 2022-09-09 |
2022年8月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
版本升級 |
| 2022-08-05 | |
部署集 | 部署集是阿里云ECS（Elastic Compute Service）提供的能力，用于控制ECS實例分布的策略，從而提升ECS實例的容災能力和可用性。 | 2022-08-05 | |
使用EMR-CLI自定義部署Gateway環境 | E-MapReduce提供基于阿里云ECS部署Gateway環境的工具EMR-CLI，您可以靈活創建ECS實例并基于EMR-CLI快速部署Gateway環境。 | 2022-08-05 |
2022年7月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
EMR Doctor | E-MapReduce Doctor（簡稱EMR Doctor）是E-MapReduce產品自研的面向開源大數據集群的智能運維診斷系統。 | 2022-07-25 | |
使用ECI彈性調度Flink作業 | 使用阿里云彈性容器實例（Elastic Container Instance）調度Flink作業，可以不受限于ACK集群的節點計算容量，靈活動態地按需創建Pod（容器組），有效地降低計算成本。介紹EMR on ACK上的Flink集群如何使用ECI彈性調度作業。 | 2022-07-18 |
2022年6月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
數據湖集群 | E-MapReduce（簡稱EMR）新版控制臺提供了數據湖集群，一個更靈活、可靠，以及高效的大數據計算集群。 | 2022-06-01 | |
Spark集群關聯RSS | RSS（EMR Remote Shuffle Service）是E-MapReduce（簡稱EMR）為了提升Shuffle穩定性和性能推出的擴展組件，優化了Spark原生的Shuffle。EMR on ACK上的Spark集群支持關聯RSS。 | 2022-06-09 |
2022年5月
功能名稱 | 功能概述 | 發布時間 | 相關文檔 |
內存管理 | 介紹StarRocks BE（Backend）中內存使用分類、內存配置以及如何查看內存使用。 | 2022-05-10 |