日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

一鍵實時同步至Elasticsearch

一鍵實時同步至Elasticsearch方案支持全增量一體化同步,先進行全量數據遷移,然后再實時同步增量數據至目標端。本文為您介紹如何創建一鍵實時同步至Elasticsearch任務。

前提條件

  1. 已完成數據源配置。您需要在數據集成同步任務配置前,配置好您需要同步的源端和目標端數據庫,以便在同步任務配置過程中,可通過選擇數據源名稱來控制同步任務的讀取和寫入數據庫。同步任務支持的數據源及其配置詳情請參見支持的數據源及同步方案

    說明

    數據源相關能力介紹詳情請參見:數據源概述

  2. 已完成數據源環境準備。您可以基于您需要進行的同步配置,在同步任務執行前,授予數據源配置的賬號在數據庫進行相應操作的權限。詳情請參見:數據庫環境準備概述

背景信息

本方案適用于需要實時監測業務庫數據的更新情況,便于上層應用對實時數據進行檢索分析或數據開發的場景。

方案屬性

說明

可同步的表個數

  • 支持將源端多表數據寫入至目標端多個索引。

  • 支持通過目標索引配置規則實現源端多表數據寫入至目標端指定的某個索引。

任務組成

當前方案將分別創建用于全量數據初始化的離線同步子任務,和用于增量數據實時同步的數據集成實時同步子任務,方案產生的離線同步子任務個數與最終讀取的源端表個數有關。

數據寫入

運行同步任務后,生成的離線同步任務將全量數據寫入Elasticsearch,待全量數據執行完成后,啟動實時同步任務,將源端增量數據實時同步至目標端。

操作流程

  1. 步驟一:選擇同步方案

  2. 步驟二:配置網絡連通

  3. 步驟三:設置同步來源與規則

  4. 步驟四:設置目標索引

  5. 步驟五:DDL消息處理規則

  6. 步驟六:運行資源設置

  7. 步驟七:執行同步任務

步驟一:選擇同步方案

創建同步解決方案任務,根據需求選擇需要同步的源端數據源和目標端數據源,并選擇一鍵實時同步至Elasticsearch方案。

步驟二:配置網絡連通

源端選擇已創建的源端數據源與目標端數據源,以及用于執行同步任務的資源組。并測試資源組與數據源的網絡連通。詳情請參見:配置同步網絡鏈接

步驟三:設置同步來源與規則

  1. 基本配置區域,配置同步解決方案的名稱、任務存放位置等信息。

  2. 數據來源區域,確認需要同步的源端數據源相關信息。

  3. 選擇同步的源表區域,選中需要同步的源表,單擊圖標圖標,將其移動至已選源表

    該區域會為您展示所選數據源下所有的表,您可以選擇整庫全表或部分表進行同步。

  4. 設置表名到索引名的映射規則區域,單擊添加規則,選擇相應的規則進行添加。

    同步時默認將源端數據表寫入Elasticsearch同名索引中,同時,您可以通過添加映射規則定義最終寫入目的端的索引名稱,實現將多張表數據寫入到同一個索引中,或統一將源端某固定前綴的表名在寫入目標索引時更新為其他前綴。支持通過正則表達式轉換寫入的索引名,還支持使用內置變量拼接目標索引名。配置邏輯請參見:設置同步來源與規則

步驟四:設置目標索引

單擊刷新源表和Elasticsearch 索引映射將根據您在步驟三配置的設置表名到索引名的映射規則來生成目標索引,若步驟三未配置映射規則,將默認寫入與源表同名的目標索引,若目標端不存在該同名索引,將默認新建。同時,您可以修改索引建立方式。

說明

目標表名將根據您在設置表名到索引名的映射規則階段配置的表名轉換規則自動轉換。

功能

描述

選擇主鍵替代方案

  • 如果來源庫有主鍵,則同步數據時會直接使用該主鍵進行去重。

  • 如果來源庫沒有主鍵,則您需要單擊編輯圖標,自定義主鍵,即使用其他非主鍵的一個或幾個字段的聯合,代替主鍵進行同步數據時進行去重判斷。

選擇索引建立方式

支持自動建索引使用已有索引

  • 索引建立方式選擇自動建索引時,Elasticsearch索引名列顯示自動創建的Elasticsearch索引名。您可以單擊索引名稱,查看和修改索引相關屬性。

  • 索引建立方式選擇使用已有索引時,您可以在Elasticsearch索引名列對應的下拉列表中選擇需要使用的索引名稱。

編輯目標索引

同步解決方案默認根據源端生成目標索引結構,可能存在字段類型轉換,即若目標端數據庫中沒有與源端一致的數據類型時,同步任務在自動創建目標索引時,將自動為源端字段匹配目標端可寫入的字段類型。支持您單擊Elasticsearch索引名列的目標索引名根據需求修改目標索引的相關參數。

說明

僅在索引建立方式自動建索引時,支持編輯目標索引。

  • 動態映射狀態:用于在同步數據時,是否將數據源表的新增字段添加至目標索引中。取值如下:

    • true:當映射的目標索引檢測到同步的數據源表中存在新添加的字段時,會將該字段同步添加至目標索引中,后續該字段可以被搜索。該取值為默認值。

    • false:當映射的目標索引檢測到同步的數據源表中存在新添加的字段時,會將該字段同步添加至目標索引中,但后續該字段不可以被搜索。

    • strict:當映射的目標索引檢測到同步的數據源表中存在新添加的字段時,將拒絕同步該字段至目標索引并產生異常報錯,您可以在日志信息中查看報錯詳情。

    更多動態映射的內容,詳情請參見動態映射

  • shard數量replica數量:索引的主分片及副本分片,用于將一個完整的索引分成多個分片,分布至不同的Elasticsearch節點上,構成分布式搜索,提升Elasticsearch的查詢效率,詳情請參見基本概念

    說明

    shard數量replica數量參數,配置運行后不可更改,默認取值為1

  • 分區設置:您可以選擇同步的數據源表的某一列作為分區列,該參數需要和shard數量replica數量配合使用。默認不開啟分區功能。

    • 不開啟分區:不填寫該參數,默認使用文檔的_id作為routing起到將文檔均勻分布到多個分片上防止數據傾斜的作用。

    • 開啟分區:把指定列的value指定為routing的值,在寫入時,插入或更新指定shard中的doc。

  • 數據字段結構:用于設置映射的目標索引中字段的類型及擴展屬性,詳情請參見Elasticsearch的字段類型

配置目標索引參數

說明

當創建了目標Elasticsearch索引后,如果不修改相關參數,則系統會按照默認值的相應規則進行數據同步。

步驟五:DDL消息處理規則

來源數據源會包含許多DDL操作,數據集成體提供默認處理策略,您也可以根據業務需求,對不同的DDL消息設置同步至目標端的處理策略。不同DDL消息處理策略請參見:DDL消息處理規則

步驟六:運行資源設置

當前方案創建后將分別生成全量數據離線同步子任務和增量數據實時同步子任務。您需要在運行資源設置界面配置離線同步任務和實時同步任務的相關屬性。

包括實時增量同步及離線全量同步使用的獨享數據集成資源組、離線全量同步使用的調度資源組,同時,單擊高級配置可配置是否容忍臟數據、任務最大并發數、源庫允許支持的最大連接數等參數。

說明
  • DataWorks的離線同步任務通過調度資源組將其下發到數據集成任務執行資源組上執行,所以離線同步任務除了涉及數據集成任務執行資源組外,還會占用調度資源組資源。如果使用了獨享調度資源組,將會產生調度實例費用。您可通過任務下發機制對該機制進行了解。

  • 離線和實時同步任務推薦使用不同的資源組,以便任務分開執行。如果選擇同一個資源組,任務混跑會帶來資源搶占、運行態互相影響等問題。例如,CPU、內存、網絡等互相影響,可能會導致離線任務變慢或實時任務延遲等問題,甚至在資源不足的極端情況下,可能會出現任務被OOM KILLER殺掉等問題。

步驟七:執行同步任務

  1. 進入數據集成 > 同步任務界面,找到已創建的同步方案。

  2. 單擊操作列的啟動/提交執行按鈕,啟動同步的運行。

  3. 單擊操作列的執行詳情,查看任務的詳細執行過程。

后續步驟

完成任務配置后,您可以對已創建的任務進行管理、執行加減表操作,或對任務配置監控報警,并查看任務運行的關鍵指標等。詳情請參見:全增量同步任務運維