功能分類

功能更新說明

任務開發

• 支持開發以下任務類型：

  • SparkSQL

  • Application（批任務）：JAR、PySpark、SQL、Spark Submit

  • Application（流任務）：JAR、PySpark

產品與生態對接

• 支持DataWorks與Serverless Spark的綁定。

• 調度系統：

  • 提供Apache Airflow Operators，以及兼容Apache Airflow livy_operator。

  • 提供DolphinScheduler Operators。

• 元數據管理：支持外部Hive Metastore作為元數據服務。

• 接口調用：

  • 提供Spark Thrift Server服務以支持JDBC接口調用。

  • 提供Livy服務以支持REST API調用。

• 提供spark_submit執行命令。

Notebook

• 支持PySpark、Python以及Markdown開發。

• 支持數據可視化功能。

Workflow

• 支持調度SparkSQL、Application JAR、PySpark任務。

• 支持與云監控對接以滿足工作流和節點狀態的告警。

• 支持拓撲和網格視角進行工作流管理。

任務歷史

支持對任務實例的內存和CPU使用情況進行統計。

資源管理

支持管理SQL Compute、Notebook Compute、Gateway、Spark Thrift Server和隊列。

訪問控制

控制RAM用戶（子賬號）的工作空間訪問權限。

資源觀測

• 支持工作空間和隊列維度的CU、CPU、Memory實時指標監控。

• 支持按照時間維度進行分析和篩選。

引擎版本

說明

esr-2.2 (Spark 3.3.1, Scala 2.12)

• Fusion加速

  • 支持26種常見的Spark算子，詳情請參見算子。

  • 支持240種常見的Spark表達式，詳情請參見表達式。

  • 支持12種基本數據類型，詳情請參見數據類型。

  • 支持Celeborn。

  • 支持讀取Parquet和Paimon格式。

  • 未支持的算子或表達式將回退到Java Runtime執行。

• Paimon：支持Append表的Update和Delete操作。

• Hudi：修復TIMELINE_SERVER_BASED標記作業無法退出的問題。

• Spark UI/日志優化：提升獲取日志的性能。

• JindoSDK：升級至NextArch 6.5.1，引入Committer優化（僅適用于非Fusion加速）。

• 基礎鏡像：新增支持matplotlib與pandas。

• 穩定性提升：增加RPC網絡連接重試機制，確保所有執行實例能夠啟動。