一鍵實時同步至Elasticsearch方案支持全增量一體化同步,先進行全量數據遷移,然后再實時同步增量數據至目標端。本文為您介紹如何創建一鍵實時同步至Elasticsearch任務。
前提條件
已完成數據源配置。您需要在數據集成同步任務配置前,配置好您需要同步的源端和目標端數據庫,以便在同步任務配置過程中,可通過選擇數據源名稱來控制同步任務的讀取和寫入數據庫。同步任務支持的數據源及其配置詳情請參見支持的數據源及同步方案。
說明數據源相關能力介紹詳情請參見:數據源概述。
已完成數據源環境準備。您可以基于您需要進行的同步配置,在同步任務執行前,授予數據源配置的賬號在數據庫進行相應操作的權限。詳情請參見:數據庫環境準備概述。
背景信息
本方案適用于需要實時監測業務庫數據的更新情況,便于上層應用對實時數據進行檢索分析或數據開發的場景。
方案屬性 | 說明 |
可同步的表個數 |
|
任務組成 | 當前方案將分別創建用于全量數據初始化的離線同步子任務,和用于增量數據實時同步的數據集成實時同步子任務,方案產生的離線同步子任務個數與最終讀取的源端表個數有關。 |
數據寫入 | 運行同步任務后,生成的離線同步任務將全量數據寫入Elasticsearch,待全量數據執行完成后,啟動實時同步任務,將源端增量數據實時同步至目標端。 |
操作流程
步驟一:選擇同步方案
創建同步解決方案任務,根據需求選擇需要同步的源端數據源和目標端數據源,并選擇一鍵實時同步至Elasticsearch方案。
步驟二:配置網絡連通
源端選擇已創建的源端數據源與目標端數據源,以及用于執行同步任務的資源組。并測試資源組與數據源的網絡連通。詳情請參見:配置同步網絡鏈接。
步驟三:設置同步來源與規則
在基本配置區域,配置同步解決方案的名稱、任務存放位置等信息。
在數據來源區域,確認需要同步的源端數據源相關信息。
在選擇同步的源表區域,選中需要同步的源表,單擊圖標,將其移動至已選源表。
該區域會為您展示所選數據源下所有的表,您可以選擇整庫全表或部分表進行同步。
在設置表名到索引名的映射規則區域,單擊添加規則,選擇相應的規則進行添加。
同步時默認將源端數據表寫入Elasticsearch同名索引中,同時,您可以通過添加映射規則定義最終寫入目的端的索引名稱,實現將多張表數據寫入到同一個索引中,或統一將源端某固定前綴的表名在寫入目標索引時更新為其他前綴。支持通過正則表達式轉換寫入的索引名,還支持使用內置變量拼接目標索引名。配置邏輯請參見:設置同步來源與規則。
步驟四:設置目標索引
單擊刷新源表和Elasticsearch 索引映射將根據您在步驟三配置的設置表名到索引名的映射規則來生成目標索引,若步驟三未配置映射規則,將默認寫入與源表同名的目標索引,若目標端不存在該同名索引,將默認新建。同時,您可以修改索引建立方式。
目標表名將根據您在設置表名到索引名的映射規則階段配置的表名轉換規則自動轉換。
功能 | 描述 |
選擇主鍵替代方案 |
|
選擇索引建立方式 | 支持自動建索引和使用已有索引:
|
編輯目標索引 | 同步解決方案默認根據源端生成目標索引結構,可能存在字段類型轉換,即若目標端數據庫中沒有與源端一致的數據類型時,同步任務在自動創建目標索引時,將自動為源端字段匹配目標端可寫入的字段類型。支持您單擊Elasticsearch索引名列的目標索引名根據需求修改目標索引的相關參數。 說明 僅在索引建立方式為自動建索引時,支持編輯目標索引。
說明 當創建了目標Elasticsearch索引后,如果不修改相關參數,則系統會按照默認值的相應規則進行數據同步。 |
步驟五:DDL消息處理規則
來源數據源會包含許多DDL操作,數據集成體提供默認處理策略,您也可以根據業務需求,對不同的DDL消息設置同步至目標端的處理策略。不同DDL消息處理策略請參見:DDL消息處理規則。
步驟六:運行資源設置
當前方案創建后將分別生成全量數據離線同步子任務和增量數據實時同步子任務。您需要在運行資源設置界面配置離線同步任務和實時同步任務的相關屬性。
包括實時增量同步及離線全量同步使用的獨享數據集成資源組、離線全量同步使用的調度資源組,同時,單擊高級配置可配置是否容忍臟數據、任務最大并發數、源庫允許支持的最大連接數等參數。
DataWorks的離線同步任務通過調度資源組將其下發到數據集成任務執行資源組上執行,所以離線同步任務除了涉及數據集成任務執行資源組外,還會占用調度資源組資源。如果使用了獨享調度資源組,將會產生調度實例費用。您可通過任務下發機制對該機制進行了解。
離線和實時同步任務推薦使用不同的資源組,以便任務分開執行。如果選擇同一個資源組,任務混跑會帶來資源搶占、運行態互相影響等問題。例如,CPU、內存、網絡等互相影響,可能會導致離線任務變慢或實時任務延遲等問題,甚至在資源不足的極端情況下,可能會出現任務被OOM KILLER殺掉等問題。
步驟七:執行同步任務
進入 界面,找到已創建的同步方案。
單擊操作列的啟動/提交執行按鈕,啟動同步的運行。
單擊操作列的執行詳情,查看任務的詳細執行過程。
后續步驟
完成任務配置后,您可以對已創建的任務進行管理、執行加減表操作,或對任務配置監控報警,并查看任務運行的關鍵指標等。詳情請參見:全增量同步任務運維。