版本號

發布時間

說明

3.2.9-1.71

2024年09月14日

【新增功能】

• 支持Paimon表寫入。

• 支持DLF2.0 Paimon Catalog的讀寫。

【功能優化】

• 支持Paimon表的Explain Analyze功能。

• 移除Paimon表的裁剪和統計信息。

• 在Current Query中新增SQL字段。

• 優化了SELECT COUNT的性能。

• 增加遷移進度獲取接口。

• Iceberg DLF支持配置dlf.catalog.id。

【問題修復】

• 修復LIKE查詢重寫異常問題。

• 修復了show data數據顯示不準確的問題。

3.2.9-1.67

2024年08月16日

【功能優化】

• 優化Hive Sink的性能。

【問題修復】

• 修復了Hive Catalog與Ranger之間的權限適配問題。

• 修復了Count優化引發的Crash問題。

• 修復了因獲取Snapinfo導致MV刷新效率低的問題。

• 修復了存算分離表中Compaction Manager元數據膨脹的問題。

• 修復了一個導致CN節點Crash的問題。

• 修復了升級3.2.9后Prepare Statement無法使用的問題。

• 修復了開啟Spill后出現的數據不一致的問題。

3.2.9-1.66

2024年08月09日

【新增功能】

• 支持在父目錄不存在的情況下寫入OSS-HDFS文件。

• Broker Load支持Jindo。

• 實現OSS-HDFS對不同引擎的自動識別。

【功能優化】

• 優化Compaction日志，以便更高效地進行診斷與分析。

• CN啟動時創建star mgr目錄。

• 優化了FE Redirect的默認配置。

• 優化了不必要的日志記錄和配置項，提升性能。

• 存算分離增加了更多IO監控指標，以提高整體運維能力。

• 優化了存算分離自適應IO策略。

【問題修復】

• 支持外表訪問GCS和Azure數據。

• 修復了在Spill結果超過4 GB后出現的報錯。

• 修復了Spill preagg導致的錯誤結果。

• 修復了物化視圖非預期刷新的問題。

• 修復了PK索引內存統計問題。

• 修復統計信息不準確的問題。

• 修復insert任務無法取消的問題。

• 修復了因Schema變更導致的plan錯誤。

• 修復了外表無法獲取CN信息的問題。

3.2.9-1.65

2024年07月19日

【新增功能】

• 升級Jindo SDK 版本到6.5.0。

• Iceberg支持DLF Catalog。

• 存算分離集群支持Shard重平衡。

• 支持regexp_split方法。

【功能優化】

• get_txn_status_internal_sec默認等待時間從30秒縮短至10秒，來避免Stream Load在Publish階段被延遲。

• 支持動態修改pindex_shared_data_gc_evict_interval_seconds參數來調整存算分離集群主鍵表的本地持久化索引（Local Persistent Index）的GC間隔時間。

【問題修復】

• 修復了導出數據到OSS時偶發Jindo crc mismatch的問題。

• 修復了偶發性訪問OSS-HDFS時文件不存在的問題。

• 修復了SQL語法錯誤誤報為“Lost Connection”的問題。

3.2.8-1.62

2024年06月27日

【新增功能】

• Unified Catalog支持Kudu、Paimon，支持建立DLF類型的Unified Catalog。

• 支持生成血緣日志。

• 在使用describe和show create命令查詢時，支持查看外表的comment信息。

【問題修復】

• 修復了存算分離集群中外表無法寫入數據的問題。

• 修復了Paimon物化視圖刷新時，如果分區列包含NULL值，可能刷新失敗的問題。

• 修復了內存統計不準確的問題。

3.2.6-1.60

2024年06月06日

【新增功能】

• 支持將解析失敗的SQL歸類為“bad sql”。

• 支持Kudu Connector。

【功能優化】新增了enable_pipeline_engine配置。

【問題修復】

• 修復了集群遷移任務未能正確獲取源集群Schema，導致BE崩潰的問題。

• 修復了內存統計信息不準確的問題。

• 修復了Paimon在讀取只讀表時的性能問題。

3.2.6-1.59

2024年05月31日

【新增功能】在查詢詳情中新增顯示語法解析錯誤的“bad sql”信息。

【功能優化】支持Paimon進行delete vector查詢。

【問題修復】

• 修復了Paimon Catalog無法使用DLF自定義目錄的問題。

• 修復了創建Paimon Catalog時必須指定warehouse的問題。

3.2.6-1.57

2024年05月23日

【新增功能】支持存算分離內表通過OPTIMIZE命令優化桶存儲布局。

【功能優化】

• 新增FE配置fragment_profile_drop_threshold_ms，支持在控制臺進行默認配置。同時，將drop fragment profile的默認閾值設置為0，即默認關閉此特性。

• 針對存算分離內表刷新提供獨立的線程池配置lake_flush_thread_num_per_store，默認值為2 * CPU數量，旨在優化寫入IO吞吐性能。

• 優化IO合并策略，允許直接讀取整個小文件。

• 調整部分跨集群遷移配置的默認值。

【問題修復】

• 修復了由于report_exec_stat RPC連接失敗而未能重新建立連接的問題，該問題會導致INSERT INTO操作失敗和Profile采集失敗。

• 修復了由于MV Index引入的問題，該問題會導致FE執行元數據replay時頻繁崩潰。

• 修復了3.2.6版本之后引入的AST Cache問題，該問題會導致部分物化視圖無法創建。

3.2.6-1.52

2024年05月08日

【新增功能】支持創建DLF庫表元數據。

【問題修復】

• 修復了開啟lake_tablet_internal_parallel配置后，獲取Tablet元數據報錯的問題。

• 修復了INSERT INTO導入操作超時的問題，通過在BE節點增加thrift_rpc_timeout_ms配置來調整RPC超時時間。

• 修復了Schema Change長時間未響應的問題。

3.2.4-1.37

2024年03月08日

• 支持跨集群數據遷移。

• 主鍵（PK）表支持Size-Tiered Compaction。

版本號

發布時間

說明

3.1.9-1.58

2024年05月24日

【新增功能】支持存算分離內表通過OPTIMIZE命令優化桶存儲布局。

【功能優化】

• 新增FE配置fragment_profile_drop_threshold_ms，支持在控制臺進行默認配置。同時，將drop fragment profile的默認閾值設置為0，即默認關閉此特性。

• 優化了集群遷移功能。

【問題修復】

• 修復了報告狀態功能中的卡頓故障。

• 修復了Paimon Catalog無法使用DLF自定義目錄的問題。

• 修復了創建Paimon Catalog時必須指定warehouse的問題。

• 修復了集群遷移任務未能正確獲取源集群Schema，導致BE崩潰的問題。

• 修復了JDBC連接字符串解析異常問題。

3.1.9-1.36

2024年03月27日

• 支持跨集群遷移。

• 針對Delta外部表的查詢和處理時長問題進行了優化。

• 主鍵表支持Size-Tiered Compaction策略。

• 修復了FE服務重啟后的物化視圖刷新延遲的問題。

• 修復了Stream Load操作占用FE內存的問題。

• 修復了存算分離架構中，主鍵表本地持久化索引的垃圾回收（Garbage Collection）和淘汰機制對計算節點（CN）未生效的問題，避免無用數據的堆積。

• 修復了主鍵索引導致的BE崩潰問題。

• 修復了使用Paimon外表和Hive Catalog進行查詢時出現的錯誤。

3.1.7-1.34

2024年03月08日

• 支持讀取MaxCompute內表數據進行分析。

• 支持數據湖分析版本（配合EMR Serverless StarRocks控制臺優化）。

• 優化Jindo內存使用效率。

• 優化Compaction的診斷分析信息。

• 優化FE日志內容。

• 修復了UDF場景中的Crash問題。

• 支持Delta Lake表元數據緩存（Cache）功能。

• 修復StarRocks訪問ADB（AnalyticDB）時的異常問題。

• 修復limit導致的重復過濾問題。

• 修復update操作執行失敗的問題。

3.1.5-1.9

2024年01月11日

【新增功能】

• 對Paimon查詢引擎進行了深度優化。

• 存算分離模式增加了Cache Manager能力，支持文件緩存統計信息的采集。

• 存算分離模式默認情況下關閉Safe Mode。

• 支持對查詢熱點Tablet的性能指標（metrics）進行監控。

• 新增了max_tablet_rowset_num指標。

• 新增了關于主鍵模型表persistence index占用空間分布的監控指標。

【功能優化】

• 提升了在Kubernetes環境中DNS解析的性能。

• 新增了Frontend（FE）鎖超時檢測機制。

• 默認情況下開啟Profile。

【問題修復】

• 修復了存算分離模式下主鍵表和明細表schema change操作后可能出現的short key排序異常問題。

• 解決了Kafka中存在的CVE-2023-25194安全漏洞。

• 修復了在Kubernetes環境中Follower節點進行Stream Load操作失敗的問題。

• 解決了存算分離模式下compaction scheduler可能遇到的死鎖問題。

小版本

發布時間

說明

2.5.18-1.35

2024年03月08日

• 優化Jindo內存的使用

• 優化Compaction的診斷分析信息

• 修復UDF場景Crash問題

• 優化FE日志內容

2.5.13-1.28

2024年01月11日

【新增功能】

• 對Paimon查詢引擎進行了深度優化。

• 新增了運行中的大查詢列表，用于實時展示當前系統中正在執行的大型或復雜查詢任務列表。

• 支持對查詢熱點Tablet的性能指標（metrics）進行監控。

• 新增了max_tablet_rowset_num指標。

• 新增了convert_tz函數。

• create tablet慢相關診斷信息。

【功能優化】

• 默認情況下開啟Profile。

• 對JNI框架進行了優化，增強了對富文本內容的處理能力。

• 新增了Frontend（FE）鎖超時檢測機制。

• 對Delta Lake查詢規劃進行了性能優化。

【問題修復】

• 修復了Stop BE操作時可能導致的服務卡頓問題。

• 修復了Delta Lake表查詢過程中出現的異常問題。

• 修復了ORC格式文件中的時間戳字段解析異常的問題。

• 解決了由于Materialized View（MV）rewrite操作引起的Frontend（FE）死鎖問題。

• 修復了由于動態分區屬性調整錯誤導致的Frontend（FE）啟動異常的問題。