完成數據源、網絡、資源的準備配置后,您可創建實時同步節點,同步數據至AnalyticDB for MySQL。本文為您介紹如何創建數據實時同步任務,并在創建完成后查看任務運行情況。
前提條件
- 已完成數據源配置。您需要在數據集成同步任務配置前,配置好您需要同步的源端和目標端數據庫,以便在同步任務配置過程中,可通過選擇數據源名稱來控制同步任務的讀取和寫入數據庫。實時同步支持的數據源及其配置詳情請參見實時同步支持的數據源。說明 數據源相關能力介紹詳情請參見:數據源概述。
- 已購買合適規格的獨享數據集成資源組。詳情請參見:新增和使用獨享數據集成資源組。
- 獨享數據集成資源組與數據源網絡已打通。詳情請參見:配置資源組與網絡連通。
- 數據源環境已準備完成:您可以基于您需要進行的同步配置,在同步任務執行前,授予數據源配置的賬號在數據庫進行相應操作的權限。詳情請參見:數據庫環境準備概述。
使用限制
實時數據同步任務僅支持使用獨享數據集成資源組。
實時同步節點目前僅支持同步PolarDB、MySQL、OceanBase數據源至AnalyticDB for MySQL。
實時數據同步任務暫不支持同步沒有主鍵的表。
創建實時同步任務
設置同步來源和規則。
在數據來源區域,選擇要同步的數據源類型和數據源名稱等信息。
選擇要同步的表。
在選擇同步的源表區域,為您展示所選數據源下所有的表,您可以在源端庫表區域選中需要同步的整庫全表或部分表,并單擊圖標,將其移動至已選庫表。
重要如果選中的表沒有主鍵,將無法進行實時同步。
在設置表名的映射規則區域,單擊添加規則,選擇相應的規則進行添加。
同步時默認將源端數據表寫入目的端同名表中,同時,您可以通過添加映射規則定義最終寫入目的端的表名稱。支持通過正則表達式轉換寫入的表名,還支持指定內置變量拼接目標表名。您可以通過該功能實現將多張表數據寫入到同一個表中,或統一將源端某固定前綴的表名在寫入目標表時更新為其他前綴。配置邏輯請參見:設置來源和同步規則。
設置目標表。
在設置目標表頁面,選擇目標AnalyticDB for MySQL 3.0數據源。
確認寫入模式。
寫入模式目前僅支持重放,即源端INSERT一條記錄,目的端中也INSERT一條記錄;源端執行UPDATE或DELETE操作,目的端中也進行UPDATE或DELETE。
刷新源表與目標表映射。
單擊刷新源表和AnalyticDB for MySQL 3.0表映射將根據您在步驟3配置的目標表名映射規則來生成目標表,若步驟3未配置映射規則,將默認寫入與源表同名的目標表,若目標端不存在該同名表,將默認新建。同時,您可以修改表建立方式、為目標表在源有表字段基礎上增加附加字段。
說明目標表名將跟據您在設置表名的映射規則階段配置的表名轉換規則自動轉換。
功能
描述
為非主鍵表選擇主鍵
由于當前方案不支持無主鍵表同步,所以您需要單擊同步主鍵列的按鈕,為無主鍵表設置自選主鍵,即選擇表中一個或部分字段作為主鍵,寫入目標端時將會使用該主鍵進行去重。
選擇表建立方式
您可以在表建立方式列選擇在同步任務執行時自動根據映射關系在目標端創建表,或選擇將數據寫入已有表。
配置表分類
在表類型列,確認及修改目標表類型,關于分區表和維度表的相關介紹請參見:基本概念。
選擇分布字段列
在分布字段列,單擊按鈕為目標表選擇合適的分布鍵,默認使用源端表主鍵作為目標AnalyticDB for MySQL3.0表的分布鍵。
說明分布字段列即AnalyticDB的分布鍵,用于指定數據按分布字段列的哈希值在AnalyticDB數據存儲節點間分布。
為目標字段添加附加字段
單擊操作列的編輯附加字段,可以為目標表在源端字段的基礎上增加字段并為字段賦值。支持手動賦值常量與變量。
說明僅在表建立方式為自動建表時,可以使用此功能。
數據集成附加字段支持的變量字段如下:
EXECUTE_TIME:執行時間 UPDATE_TIME:更新時間 DB_NAME_SRC:原始數據庫名稱 DB_NAME_SRC_TRANSED:轉換后數據庫名稱 DATASOURCE_NAME_SRC:源端數據源名稱 DATASOURCE_NAME_DEST:目的端數據源名稱 DB_NAME_DEST:目的端數據庫名稱 TABLE_NAME_DEST:目的端表名稱 TABLE_NAME_SRC:源端表名稱
編輯目標表
默認根據源端生成目標表結構,可能存在字段類型轉換,即若目標端數據庫中沒有與源端一致的數據類型時,同步任務在自動創建目標表時,將自動為源端字段匹配目標端可寫入的字段類型。若您需要修改目標表字段類型映射,您可單擊AnalyticDB for MySQL 3.0表名列的目標表名進行修改。
單擊下一步
如果您前一步中目標數據源使用的表建立方式為自動建表,則需要在彈出的自動建表對話框,單擊開始建表,批量創建目標AnalyticDB for MySQL表。
DDL消息處理規則設置。
來源數據源會包含許多DDL操作,數據集成體提供默認處理策略,您也可以根據業務需求,對不同的DDL消息設置同步至目標端的處理策略。不同DDL消息處理策略請參見:DDL消息處理規則。
- 運行資源設置。
- 在運行資源設置頁面,配置各項參數。
參數 描述 來源端讀取支持最大連接數 讀取端的最大連接數,即來源端數據庫的JDBC連接數。請根據數據庫資源的實際情況合理配置。默認為15。 目標端寫入并發數 數據同步任務內,可以從來源表并行讀取或寫入數據至目標端的最大線程數。最大并發數為32。請根據您的資源組大小和目標端實際規模合理設置。 - 單擊完成配置。
- 在運行資源設置頁面,配置各項參數。
提交并發布實時同步任務
提交并發布節點任務。
單擊工具欄中的圖標,保存節點。
單擊工具欄中的圖標,提交節點任務。
在提交新版本對話框中,輸入變更描述。
單擊確定。
如果您使用的是標準模式的工作空間,任務提交成功后,需要將任務發布至生產環境進行發布。請單擊頂部菜單欄左側的任務發布。具體操作請參見發布任務。