Flink版本

阿里云實時計算VVR版本

Hologres版本

更新信息

相關文檔

1.17

8.0.7

2.1.x

維表：修復維表字段較多時，頻繁獲取元數據導致作業上線超時的問題。

通用：修復不同的表使用了多個不同的用戶，共享連接池時拋出權限不足異常的問題。

實時計算Flink版實時消費Hologres

1.17

8.0.6

2.1.x

源表：

• Hologres V2.1版本起下線Holohub模式，不再支持Flink通過Holohub模式消費Hologres Binlog。Flink VVR 8.0.6版本對應的Hologres Connector，支持在Hologres實例版本升級至V2.1后，自動將Holohub模式切換為JDBC模式，詳情請參見Flink/Blink實時消費Hologres Binlog。

Hologres Catalog：

• 創建Catalog時，支持在dbname參數中以dbname@warehouse_name的方式指定計算組。若指定的計算組為從計算組（follower），Catalog提供的表僅支持作為Flink SQL作業中的源表和維表，不支持作為結果表。

通用：

• 支持通過type-mapping.timestamp-converting.legacy參數啟用正確讀寫Flink TIMESTAMP_LTZ類型，詳情請參見Flink與Hologres時區說明。

• 實時數倉Hologres連接器

• Hologres計算組實例快速入門

• 連接計算組

• 計算組Table Group授權管理

1.17

8.0.5

2.0.x

2.1.x

源表：

• Hologres實例為2.1及以上版本時，使用JDBC消費Binlog不再需要創建slot，詳情請參見詳見通過JDBC消費Hologres Binlog。因此，從該版本開始，當判斷Hologres實例的版本大于2.1時，也將不再自動創建publication和slot。

結果表：

• 新增deduplication.enabled參數，默認為true。當設置為false時，表示結果表在寫入聚合過程中可以選擇不進行去重。該功能適用于對上游CDC流的完全回放等場景。

• 無主鍵表支持bulkload寫入，相比原有的jdbc_copy，寫入時使用更少的Hologres資源。

通用：

• 支持通過connection.ssl.mode以及connection.ssl.root-cert.location參數啟用傳輸加密。

• 為內部JDBC連接增加超時參數，以防止在服務端異常重啟等情況下，客戶端連接出現死等的問題。

• 實時數倉Hologres連接器

• 實時計算Flink版實時消費Hologres

1.17

8.0.4

2.0.x

2.1.x

源表：

• 在使用JDBC消費Binlog時會自動創建publication。然而，當對表進行重建時，之前創建的publication并不會被自動刪除，從而導致無法消費重建表的Binlog。在此版本中，針對這類情況進行了處理，系統將會自動刪除殘留的publication。

通用：

• 為了增加連接池參數的默認值，現在同一任務中的Hologres維表和結果表將共享連接池。

• 實時數倉Hologres連接器

• 實時計算Flink版實時消費Hologres

1.17

8.0.3

2.0.x

2.1.x

通用：

• 無論Hologres實例版本，維表和結果表都已不再支持RPC模式。若選擇RPC模式，將自動切換為jdbc_fixed模式，如果實例版本較低，建議升級版本。

實時數倉Hologres連接器

1.15

6.0.7

• 1.3.x

• 2.0.x

• 源表：

  適配Hologres V2.0版本，檢測到用戶連接到的是2.0及以上版本的Hologres實例，則自動切換Holohub Binlog模式為jdbc binlog模式。

• 維表：

  適配Hologres V2.0版本，檢測到用戶連接到的是2.0及以上版本的Hologres實例，則自動切換RPC模式為jdbc_fixed模式。

• 結果表：

  • 適配Hologres V2.0版本，檢測到用戶連接到的是2.0及以上版本的Hologres實例，則自動切換RPC模式為jdbc_fixed模式。

  • 新增部分列更新能力，僅支持插入Flink INSERT語句中聲明的字段，使用此能力可以更加簡潔地表達寬表Merge場景。

• 通用：

  Connector中發生record convert異常時，會打印出來源數據以及目前convert的結果，方便排查臟數據問題。

• 問題修復：

  • 修復用戶作業中不同實例或者數據庫使用相同connectionPoolName不拋出異常的問題。

  • 修復6.0.6版本中維表字符串類型有null值時拋出空指針的問題。

實時數倉Hologres連接器

1.15

6.0.6

1.3.x

源表：

• JDBC模式消費Hologres Binlog不再強制設置Slotname參數，支持創建默認Slot，從Holohub模式切換更平滑。

• 新增enable_filter_push_down參數，批量源表不再默認下推filter條件，需要設置此參數值為true。

實時數倉Hologres連接器

1.15

6.0.5

1.3.x

• 通用：作業啟動時，會在TaskManager日志中打印所有參數信息，方便排查問題。

• CTAS/CDAS：支持字段類型寬容模式，使用此模式上游發生數據類型修改事件時，只要所修改類型與原類型的歸一化類型相同，都視作修改成功。

• Hologres Catalog：豐富ALTER TABLE語法，支持修改Hologres物理表屬性，支持修改表名、增加列、列重命名和修改列注釋。

• CREATE TABLE AS（CTAS）語句

• 使用Hologres Catalog

1.15

6.0.3~6.0.4

1.3.x

源表：

• 新增JDBC模式消費Hologres Binlog，此模式支持更多的數據類型，且支持自定義賬號。

• 批量源表以及全增量源表的全量階段，支持Filter下推。

結果表：

支持以Fixed Copy的模式寫入，Fixed Copy是Hologres1.3版本新增的能力，相比通過JDBC模式進行寫入，Fixed Copy方式可以實現更高的吞吐（因為是流模式）、更低的數據延時和更低的客戶端內存消耗（因為不攢批）。

Hologres Catalog：

• 支持創建Catalog時進行默認的表屬性設置。

sdkMode參數：Hologres不同類型的表都有多種模式可以選擇，此版本開始統一整理為sdkMode參數，詳情請參見Flink全托管概述。

• Flink全托管概述

• COPY場景

1.13

4.0.18

1.1及以上版本

修復Sink表上報Metrics影響寫入性能的問題。

1.13以及1.15

4.0.15以及6.0.2

1.1及以上版本

源表：

• 從該版本開始，批量源表默認大小寫敏感。

• 支持配置批量源表Scan操作所在事務的超時時間。

• 修復批量源表解析復雜字符串可能失敗的問題。

• 全增量源表新增Upsert模式。

維表：

Hologres維表支持異步請求的超時時間（asyncTimeoutMs）設置。

結果表：

• 支持PARTITION BY語法，CTAS創建Hologres結果表時可以通過PARTITION BY定義分區表。

• Metrcis支持currentSendTime指標。

• 開源Flink源表

• CREATE TABLE AS（CTAS）語句

1.13

4.0.13

1.1及以上版本

• 源表支持全增量一體源表消費。

• 支持Datastream API。

• Flink全托管概述

• Hologres DataStream Connector

1.1.3

4.0.12

1.1及以上版本

• 支持JSON格式動態寫入Hologres。

• 支持寫入RoaringBitmap類型。

Flink全托管概述

1.13

4.0.11

0.10及以上版本

支持CTAS、CDAS。

• CREATE TABLE AS（CTAS）語句

• CREATE DATABASE AS（CDAS）語句

1.13

4.0.8

0.10及以上版本

結果表、源表、維表支持Hologres Catalog。

管理Hologres Catalog

1.13

3.0.0

0.9及以上版本

支持實時消費Hologres。

Flink全托管概述

1.13

2.0.0

0.7及以上版本

支持Hologres Connector。

Flink全托管概述

等級

缺陷描述

影響版本

修復版本

解決方法

P1

維表字段數量較多時，作業上線超時。

8.0.6

8.0.7

建議升級版本。

P0

當在批量源表中開啟enable_filter_push_down參數后，Filter不生效，導致讀取的數據包含了一些應該被過濾掉的數據。

8.0.5及之前版本

8.0.6

建議升級版本。

P0

通過FixedFE（對應Connector中的jdbc_fixed模式）寫入JSON或JSONB類型數據到Hologres時，如果數據源有不合法的JSON或JSONB字段，會導致當前連接所在FE節點重啟，當前FE的連接中斷。

8.0.5及之前版本

暫無

如果無法保證上游JSON或JSONB字符串的合法性，建議使用JDBC模式寫入。

P1

JDBC維表一對多Join時，內部出現的連接失敗等異常無法拋出，表現為異步Join節點反壓且數據不再流動，發生概率較小。

6.0.7及之前版本

8.0.3

建議升級版本，也可以通過重啟作業暫時恢復。

P1

通過JDBC模式消費Binlog時，存在內存泄漏問題。可能的表現為作業啟動時消費速率較高，之后持續下降。

6.0.7及之前版本

6.0.7

建議升級版本，對于DataStream作業，需要使用6.0.7-1版本的依賴。

P0

JDBC模式寫入的定時Flush（由jdbcWriteFlushInterval參數控制）捕獲的異常在下條數據寫入時才會拋出，當用戶寫入流量較小時，異常被捕獲還未拋出期間有可能進行成功的checkpoint。下次失敗時會從這個不合理成功的checkpoint恢復，從而可能出現丟數據的情況。

6.0.6及之前版本

6.0.7

流量較小時容易出發此缺陷，建議升級版本，或者調整jdbcWriteFlushInterval時間大于checkpoint的間隔時間。

P2

JDBC模式消費Binlog不設置Slotname時，系統會自動創建一個Slotname。若當表名含有特殊字符或Schema名稱時，自動創建非法Slotname，無法使用，且作業將會拋出syntax error異常。

6.0.6

6.0.7

建議升級版本，對于DataStream作業，需要使用6.0.7-1版本的依賴。

P1

用戶作業中不同的Hologres實例或數據庫使用相同的connectionPoolName時，出現找不到表等異常。

6.0.6及之前版本

6.0.7

同一個作業使用的Hologres實例或者數據庫不同時，使用不同的connectionPoolName。

P1

維表字符串類型有null值時，會拋出NPE異常。

6.0.6

6.0.7

建議升級版本。

P0

Hologres源表默認開啟Filter下推，但如果作業也使用了Hologres維表，且寫入的DML中包含對維表非主鍵字段的過濾條件時，維表的Filter也會被錯誤地下推，可能導致維表Join出現錯誤結果。

6.0.3~6.0.5

6.0.6

建議升級版本。

P0

多個結果表的mutatetype不同，但使用同一個connectionPoolName參數以復用連接池時，可能出現mutatetype配置被覆蓋的情況，導致配置不生效。

6.0.2及之前版本

6.0.3

將全部結果表的mutatetype都設置為InsertOrUpdate，或者為mutatetype不同的表設置不同的connectionPoolName。

P1

Binlog源表DDL中聲明hg_binlog_timestamp_us字段時拋出NPE異常。

6.0.2

6.0.3

不使用所述字段，或者升級版本。

P1

匯報Metrics會影響結果表的寫入性能，排查表現為Sink節點的thread dump會卡在reportWriteLatency。

4.0.15~4.0.17

4.0.18

選擇沒有受影響的版本。

P2

批量源表讀取字符或字符數組類型，其中比較特殊字符時，解析字符串失敗。

4.0.14及之前版本

4.0.15

清理源表中的臟數據，或者升級版本。

P2

全增量一體化源表DDL中聲明hg_binlog等Binlog獨有字段時，消費不到全量數據。

4.0.13

4.0.14

不使用全增量功能，或者升級版本。