功能

描述

多種數據源間的數據同步

實時同步支持多種數據源星型鏈路組合，您可以將多種輸入及輸出數據源搭配組成同步鏈路進行數據同步。詳情請參見實時同步支持的數據源。

復雜網絡環境下的數據同步

支持云數據庫、本地IDC、ECS自建數據庫或非阿里云數據庫等環境下的數據同步。您可以根據數據庫所在網絡環境，選擇合適的同步解決方案來實現數據源與資源組的網絡連通。在配置同步任務前，您需要確保數據集成資源組與您將同步的數據來源端與目標端網絡環境已經連通，對應數據庫環境與網絡連通配置詳情請參見：配置資源組與網絡連通。

數據同步場景

實時同步支持單表實時增量數據同步至目標端單表、分庫分表實時增量數據同步至目標端單表、整庫（多表）實時增量數據同步至目標多表。

• 單表增量數據實時同步：支持單表ETL實時同步。

• 整庫增量數據實時同步：

  • 支持將整個數據庫的變化日志同步到目標端中，一般用作純實時日志的收集。

  • 支持一次性配置一個實例下多個庫的多個表，一個任務中最多支持3000個目標表。

實時同步任務配置

實時同步任務配置時支持的能力如下，您無需編寫代碼，通過簡單的任務配置即可實現單表ETL實時同步，整庫實時數據的收集。詳情請參見：配置單表實時同步任務、配置整庫實時同步任務。

• 單表增量數據實時同步：

  • 支持圖形化開發。無需編寫代碼，直接通過拖拽的方式即可進行任務的開發，業務新手也能夠輕松上手。

  • 單表ETL實時同步。您可以對輸入的數據源進行數據過濾、字符串替換和數據脫敏處理，再將處理后的數據輸出至目標數據庫。

    • 數據過濾：可以對數據進行規則過濾，例如過濾字段的大小等，符合規則的數據才會被保留。

    • 字符串替換：可以通過字符串替換節點替換字符串類型的字段。

    • 數據脫敏：可以對實時同步的單表數據進行脫敏，將脫敏后的數據輸出至目標數據庫。

• 整庫增量數據實時同步：

  • 自定義目標schema名或表名

    實時同步默認將增量數據寫入到目標端的同名schema或同名表中，如果schema或表不存在，將默認新建，并支持您自定義目標schema或表名。

  • 為目標字段賦值

    實時同步默認同名映射，將源端字段寫入目標端同名字段中，未映射成功的字段將無法同步。同時，支持您為目標表新增字段并為字段賦值常量或變量。

    說明

    數據集成實時同步在同步MySQL、Oracle、Loghub和PolarDB類型的數據至DataHub或Kafka時，會在同步的目標端添加5個附加列，以便進行元數據管理、排序、去重等操作。詳情請參見實時同步字段格式。

  • 定義DDL/DML消息處理策略

    來源數據源會包含許多DDL操作，進行實時同步時，您可以根據業務需求，對不同的DDL消息設置同步至目標端的處理策略。

    說明

    關于實時同步各目標端支持的DML與DDL操作詳情請參見：支持的DML及DDL操作。

實時同步任務運維

• 支持對同步任務設置監控報警

  • 支持斷點續傳。

  • 支持對業務延遲、Failover、DDL策略、心跳檢查設置監控報警。詳情請參見：實時同步任務運維。

  • 并通過郵件、短信、電話和釘釘等方式將報警信息發送給報警接收人，方便您及時發現并處理任務異常。

  • 支持報警疲勞度控制。為了避免短時間內產生大量報警，DataWorks支持您設置當前規則在指定時間間隔內只發送一次報警信息。

• 支持定義臟數據及對任務的影響

  • 當不允許臟數據產生時，則同步任務執行過程中如果產生臟數據，任務將失敗退出。

  • 當允許臟數據并設置其閾值時，同步任務將忽略臟數據（即不會寫入目標端），并正常執行。

  說明

  臟數據相關介紹詳情請參見：基本概念。