日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

一鍵實時同步至DataHub

一鍵實時同步至DataHub方案支持全增量一體化同步,先進行全量數據遷移,然后再實時同步增量數據至目標端。本文為您介紹如何創建一鍵實時同步至DataHub任務。

前提條件

  1. 已完成數據源配置。您需要在數據集成同步任務配置前,配置好您需要同步的源端和目標端數據庫,以便在同步任務配置過程中,可通過選擇數據源名稱來控制同步任務的讀取和寫入數據庫。同步任務支持的數據源及其配置詳情請參見支持的數據源及同步方案

    說明

    數據源相關能力介紹詳情請參見:數據源概述

  2. 已完成數據源環境準備。您可以基于您需要進行的同步配置,在同步任務執行前,授予數據源配置的賬號在數據庫進行相應操作的權限。詳情請參見:數據庫環境準備概述

背景信息

方案屬性

說明

可同步的表個數

  • 支持將源端多表數據寫入至目標端多個Topic。

  • 支持通過目標Topic配置規則實現源端多表數據寫入至目標端單Topic。

任務組成

當前方案將分別創建用于全量數據初始化的離線同步子任務,和用于增量數據實時同步的數據集成實時同步子任務,方案產生的離線同步子任務個數與最終讀取的源端表個數有關。

數據寫入

運行同步任務后,生成的離線同步任務將全量數據寫入DataHub,待全量數據執行完成后,啟動實時同步任務,將源端增量數據實時同步至目標端。數據寫入格式如下:

  • 僅支持將數據寫入DataHub Tuple類型的Topic中。關于DataHub TUPLE數據類型說明,詳情請參見:數據類型介紹

  • 實時同步至DataHub會在源表字段基礎上,新增5個附加字段,并支持您在配任務配置時,自行添加額外的字段。最終發送給DataHub的消息格式,詳情請參見:附錄:DataHub消息格式

操作流程

  1. 步驟一:選擇同步方案

  2. 步驟二:配置網絡連通

  3. 步驟三:設置同步來源與規則

  4. 步驟四:設置目標Topic

  5. 步驟五:運行資源設置

  6. 步驟六:執行同步任務

步驟一:選擇同步方案

創建同步解決方案任務,根據需求選擇需要同步的源端數據源和目標端數據源,并選擇一鍵實時同步至DataHub方案。

步驟二:配置網絡連通

源端選擇已創建的源端數據源與目標端數據源,以及用于執行同步任務的資源組。并測試資源組與數據源的網絡連通。詳情請參見:配置同步網絡鏈接

步驟三:設置同步來源與規則

  1. 基本配置區域,配置同步解決方案的名稱、任務存放位置等信息。

  2. 數據來源區域,確認需要同步的源端數據源相關信息。

  3. 選擇同步的源表區域,選中需要同步的源表,單擊圖標圖標,將其移動至已選源表

    該區域會為您展示所選數據源下所有的表,您可以選擇整庫全表或部分表進行同步。

  4. 設置表名到Topic的映射規則區域,單擊添加規則,選擇相應的規則進行添加。

    同步時默認將源端數據表寫入DataHub同名Topic中,同時,您可以通過添加映射規則定義最終寫入目的端的Topic名稱,實現將多張表數據寫入到同一個Topic中,或統一將源端某固定前綴的表名在寫入目標Topic時更新為其他前綴。支持通過正則表達式轉換寫入的Topic名,還支持使用內置變量拼接目標Topic名。配置邏輯請參見:設置同步來源與規則

步驟四:設置目標Topic

  1. 設置寫入模式

    目前僅支持將源端增量數據實時寫入DataHub TUPLE類型的Topic中。

  2. 配置是否支持源表無主鍵同步

    您可在此定義當源端為無主鍵表時,是否允許同步至DataHub。

  3. 刷新源表與目標Topic映射。

    單擊刷新源表和DataHub Topic映射將根據您在步驟三配置的表名到Topic的映射規則來生成目標Topic,若步驟三未配置映射規則,將默認寫入與源表同名的目標Topic,若目標端不存在該同名Topic,將默認新建。同時,您可以修改Topic建立方式、為目標Topic在源字段基礎上增加附加字段。

    說明

    目標表名將根據您在設置表名到Topic的映射規則階段配置的表名轉換規則自動轉換。

    功能

    描述

    為非主鍵表選擇主鍵

    若您在上一步驟中未勾選支持源表無主鍵同步,但源端部分無主鍵表需要同步,您可以單擊同步主鍵列的編輯按鈕,為無主鍵表設置自選主鍵

    選擇Topic建立方式

    支持自動建Topic使用已有Topic

    • Topic建立方式選擇使用已有Topic時,您可以在DataHub Topic列對應的下拉列表中選擇需要使用的Topic名稱。

    • Topic建立方式選擇自動建Topic時,DataHub Topic列顯示自動創建的DataHub Topic名稱。

    編輯附加字段

    單擊操作列的編輯附加字段,可以為目標Topic在源端字段的基礎上增加字段并為字段賦值。支持手動賦值常量與變量。

    說明

    僅在Topic建立方式自動建Topic時,可以使用此功能。

    編輯目標Topic結構

    目前自動建表生成的DataHub Topic生命周期默認只有7天,并且可能存在字段類型轉換,即若目標端數據庫中沒有與源端一致的數據類型時,同步任務在自動創建目標Topic時,將自動為源端字段匹配目標端可寫入的字段類型。若您需要修改DataHub Topic生命周期或修改目標表字段類型映射,您可單擊DataHub Topic列的目標Topic名進行修改。

    說明

    僅在表建立方式自動建Topic時,可以使用此功能。

步驟五:運行資源設置

當前方案創建后將分別生成全量數據離線同步子任務和增量數據實時同步子任務。您需要在運行資源設置界面配置離線同步任務和實時同步任務的相關屬性。

包括實時增量同步及離線全量同步使用的獨享數據集成資源組、離線全量同步使用的調度資源組,同時,單擊高級配置可配置是否容忍臟數據、任務最大并發數、源庫允許支持的最大連接數等參數。

說明
  • DataWorks的離線同步任務通過調度資源組將其下發到數據集成任務執行資源組上執行,所以離線同步任務除了涉及數據集成任務執行資源組外,還會占用調度資源組資源。如果使用了獨享調度資源組,將會產生調度實例費用。您可通過任務下發機制對該機制進行了解。

  • 離線和實時同步任務推薦使用不同的資源組,以便任務分開執行。如果選擇同一個資源組,任務混跑會帶來資源搶占、運行態互相影響等問題。例如,CPU、內存、網絡等互相影響,可能會導致離線任務變慢或實時任務延遲等問題,甚至在資源不足的極端情況下,可能會出現任務被OOM KILLER殺掉等問題。

步驟六:執行同步任務

  1. 進入數據集成 > 同步任務界面,找到已創建的同步方案。

  2. 單擊操作列的啟動/提交執行按鈕,啟動同步的運行。

  3. 單擊操作列的執行詳情,查看任務的詳細執行過程。

后續步驟

完成任務配置后,您可以對已創建的任務進行管理、執行加減表操作,或對任務配置監控報警,并查看任務運行的關鍵指標等。詳情請參見:全增量同步任務運維