本文介紹云原生數據湖分析DLA的產品功能動態。
2021年6月
| 類別 | 功能點 | 描述 | 相關文檔 |
|---|---|---|---|
| 集群管理 | 監控報警 | Spark集群支持監控報警。 | 查看Spark監控 |
| 數據湖管理 | 從庫讀取 | Lakehouse支持RDS、PolarDB MySQL從庫讀取。 | 無 |
| 性能提升 | Lakehouse支持DB全量時表級并發拉取，性能提升2.5倍。 | 無 | |
| 解決時序問題 | Lakehouse解決DTS同秒多并發寫入的時序問題。 | 無 | |
| DLA Spark | 讀取DLA Meta跨賬號表 | 支持SparkSQL讀取DLA Meta跨賬號表。 | 無 |
| 默認開啟OSS優化 | OSS優化默認開啟，解決OSS深度拷貝的性能問題。 | 無 | |
| 配置Executor最大失敗次數 | 支持配置Spark Executor最大失敗次數，默認是Executor數量的2倍。 | 無 | |
| 作業重試 | Spark作業支持自動重試，修復因平臺框架抖動引起的穩定性問題。 | 作業配置指南 | |
| 監控報警 | Spark作業支持監控報警。 | 查看Spark監控 | |
| DLA Presto | 建表時不指定路徑 | 支持建表的時候不指定表路徑（不寫Location）。 | 無 |
| 分區投影表性能提升 | 分區投影表LIST OSS目錄性能提升。 | 無 | |
| 修復Meta問題 | 修復Meta中對于建表報錯不明確的問題。 | 無 | |
| 修復分區投影表問題 | 修復分區投影表insert overwrite之后查不到數據的問題。
|
無 | |
| 算子下推 | 支持Filter、Aggregation、Limit等算子下推到OTS。 | Tablestore計算下推 | |
| 參數控制 | 支持用戶對task_writer_count、task_concurrency參數進行控制。
|
無 | |
| 改進讀取方式 | 改進ADB3.0數據讀取方式為流式，之前非流式會導致內存占用過高。 | 無 |
1.0.0
| 類別 | 功能點 | 描述 |
|---|---|---|
| 數據分析 | OSS文件數據分析 | 支持針對單個OSS文件數據進行分析，或者多個OSS Bucket文件進行關聯分析。 |
| 分析結果寫入OSS | 支持將分析后的結果數據回流至OSS。 | |
| Table Store數據分析 | 支持Table Store數據分析。 | |
| RDS數據分析 | 支持RDS數據分析。 | |
| 跨數據源分析 | 支持OSS、Table Store、RDS跨數據源分析。 |
1.1.0
| 類別 | 功能點 | 描述 |
|---|---|---|
| 核心功能 | PolarDB數據源 | 支持阿里云PolarDB數據源。 |
| Redis Connector | 支持Redis Connector。 | |
| 讀取MongoDB的數據 | 支持讀取MongoDB的數據。 | |
| 邏輯View | 支持邏輯View。 | |
| MySQL8.0協議 | 支持MySQL8.0協議。 | |
| 建表向導支持OSS | DDL建表向導支持OSS。 | |
| Public Datasets | 支持Public Datasets。 | |
| 其他功能 | json_extract函數 | 支持針對MongoDB數據源的json_extract函數。 |
| IP地址解析函數 | 新函數，IP地址解析函數，能夠把IP地址翻譯為對應的國家、省市。 | |
| PreparedStatement | 支持PreparedStatement。 | |
| OSS API調用次數 | 減少對OSS API的調用次數。 | |
| Partition數量限制 | 一次性寫入的Partition的數量限制。 | |
| 表和字段格式 | 支持表和字段以數字開頭。 | |
| Alter Partition | 支持Alter Partition的功能。 | |
| Logstash | 支持Logstash。 |
1.2.0
| 類別 | 功能點 | 描述 |
|---|---|---|
| 易用性 | 控制臺重構優化 | 新版本云控制臺對產品概覽、賬號管理、服務訪問點管理進行了重構優化。 |
| 增加版本發布彈窗 | 增加release note彈窗，每次版本更新一覽無余。 | |
| 重構賬號管理流程 | 重構的賬號管理流程，允許更便捷地管理賬號密碼，子賬號備注等。 | |
| 新版SQL交互頁面 | 開發了新版SQL交互頁面，讓用戶快速進行數據湖探索，縮短交互路徑。 | |
| Schema向導功能 | 用戶Schema向導功能，以及建表向導的研發與優化，極大的提升了數據湖構建和數據探索發現的效率。 | |
| 界面化庫表操作 | 支持界面化的刪除表，刪除庫功能操作。 | |
| 補齊分區寫入功能 | 補齊了INSERT OVERWRITE SELECT的ETL、目標分區寫入功能，簡化了用戶ETL數據清洗處理的步驟。
|
|
| 深度集成的生態 | 接入融合分析和數據回流能力 | 目前支持如下數據源的接入融合分析和數據回流能力，包括對象存儲OSS上7種以上結構化、半結構化、以及多種壓縮格式的數據文件，表格存儲，AnalyticDB，云數據庫版或自建數據庫（MySQL、PostgreSQL、SQL Server），云數據庫版或自建Redis，云數據庫版或自建MongoDB，PolarDB等。 |
| 接入DataWorks任務調度 | 接入DataWorks任務調度，使得用戶能夠可視化輕松定制數據湖分析的數據處理流程，實現云上大數據WorkFlow。 | |
| 接入函數計算 | 接入函數計算，使得用戶能夠基于這兩款Serverless化云產品，構建云原生Serverless工作流。 | |
| 接入MNS和ONS消息系統 | 接入MNS和ONS消息系統，能夠極大提升數據湖數據處理扭轉和業務集成的便利性。 |