功能簡(jiǎn)介
數(shù)據(jù)同步為用戶提供批量、實(shí)時(shí)多源異構(gòu)數(shù)據(jù)的便捷同步或接入能力，系統(tǒng)提供完善的數(shù)據(jù)接入配置、任務(wù)運(yùn)行監(jiān)控等功能，有效保障數(shù)據(jù)接入的穩(wěn)定性和可控性，滿足各類平臺(tái)、數(shù)據(jù)源及應(yīng)用系統(tǒng)間的數(shù)據(jù)匯聚需求。
通過數(shù)據(jù)同步的自定義同步任務(wù)配置能力，可實(shí)現(xiàn)快速創(chuàng)建周期數(shù)據(jù)同步任務(wù)和實(shí)時(shí)同步任務(wù)。用戶可選擇已經(jīng)注冊(cè)的數(shù)據(jù)源端數(shù)據(jù)，并選定目標(biāo)端創(chuàng)建同步任務(wù)。系統(tǒng)提供目標(biāo)端自動(dòng)建表、源端目標(biāo)端字段自動(dòng)映射、批量創(chuàng)建同步任務(wù)和引用數(shù)據(jù)模塊進(jìn)行同步任務(wù)配置等多種便捷同步任務(wù)創(chuàng)建能力，幫助用戶更便捷的完成數(shù)據(jù)同步配置。
在完成數(shù)據(jù)同步配置后，數(shù)據(jù)同步模塊可對(duì)數(shù)據(jù)同步任務(wù)的執(zhí)行和運(yùn)行情況進(jìn)行全面的監(jiān)控運(yùn)維。可對(duì)任務(wù)總數(shù)、線上任務(wù)、正運(yùn)行任務(wù)等核心指標(biāo)進(jìn)行統(tǒng)計(jì)，并可以實(shí)現(xiàn)異常任務(wù)執(zhí)行狀態(tài)的監(jiān)控，當(dāng)前實(shí)例狀態(tài)監(jiān)控。對(duì)任務(wù)的開始時(shí)間、結(jié)束時(shí)間、耗時(shí)、速率、狀態(tài)和執(zhí)行日志等信息進(jìn)行跟蹤和展示，并支持周期任務(wù)重跑。
數(shù)據(jù)源管理
支持對(duì)數(shù)據(jù)同步的數(shù)據(jù)源端和目標(biāo)端進(jìn)行統(tǒng)一的注冊(cè)和管理，支持對(duì)關(guān)系型數(shù)據(jù)庫、文件、消息隊(duì)列等多種類型數(shù)據(jù)源的配置，并可對(duì)所填寫數(shù)據(jù)源的連通性進(jìn)行有效性驗(yàn)證。
支持對(duì)已配置連通的數(shù)據(jù)源進(jìn)行元數(shù)據(jù)同步及數(shù)據(jù)對(duì)象查看，幫助用戶了解元數(shù)據(jù)資產(chǎn)內(nèi)容。
數(shù)據(jù)模板管理
針對(duì)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，支持創(chuàng)建數(shù)據(jù)模板，支持自定義數(shù)據(jù)字段及字段類型，并提供編輯、刪除等功能。
支持在離線數(shù)據(jù)同步、實(shí)時(shí)數(shù)據(jù)同步任務(wù)中引用已添加的數(shù)據(jù)模板，根據(jù)數(shù)據(jù)模板定義的數(shù)據(jù)結(jié)構(gòu)執(zhí)行數(shù)據(jù)同步任務(wù)。
離線數(shù)據(jù)同步
支持單表離線任務(wù)、批量離線任務(wù)的新建。
支持自定義選擇已經(jīng)注冊(cè)的數(shù)據(jù)源端數(shù)據(jù)和目標(biāo)端，支持多種常見離線同步鏈路。
提供全量任務(wù)自動(dòng)建表、同名字段自動(dòng)映射、任務(wù)調(diào)度配置功能。
支持對(duì)離線任務(wù)實(shí)例的運(yùn)行屬性和運(yùn)行日志進(jìn)行監(jiān)看。
支持對(duì)非增量離線同步實(shí)例進(jìn)行實(shí)例重跑。
實(shí)時(shí)數(shù)據(jù)同步
支持目標(biāo)端為DataHub的單表實(shí)時(shí)任務(wù)的新建。
支持Oracle CDC、MySQL binlog、SQL Server CDC、RabbitMQ、Kafka五種實(shí)時(shí)數(shù)據(jù)同步模式。
提供完善的實(shí)時(shí)數(shù)據(jù)接入配置等功能，有效保障實(shí)時(shí)任務(wù)接入的穩(wěn)定性和可控性。
配置化同步
支持通過自定義腳本配置離線、實(shí)時(shí)同步任務(wù)，支持引用數(shù)據(jù)源端Reader讀取規(guī)范和目標(biāo)端Writer寫入規(guī)范快速配置同步任務(wù)腳本。
支持配置腳本同步任務(wù)調(diào)度、上游節(jié)點(diǎn)依賴及運(yùn)行資源配置。
通過測(cè)試上線運(yùn)行的腳本任務(wù)，支持在運(yùn)維監(jiān)控中查看運(yùn)行屬性指標(biāo)和運(yùn)行日志。