概述
數(shù)據(jù)傳輸是 OceanBase 數(shù)據(jù)庫提供的一種支持同構(gòu)或異構(gòu)數(shù)據(jù)源與 OceanBase 數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)交互的服務(wù)，具備在線遷移存量數(shù)據(jù)和實(shí)時(shí)同步增量數(shù)據(jù)的能力。
產(chǎn)品功能
數(shù)據(jù)傳輸提供可視化的集中管控平臺(tái)，您只需要進(jìn)行簡(jiǎn)單的配置即可實(shí)時(shí)遷移數(shù)據(jù)。數(shù)據(jù)傳輸旨在幫助您低風(fēng)險(xiǎn)、低成本、高效率地實(shí)現(xiàn)同構(gòu)或異構(gòu)數(shù)據(jù)庫向 OceanBase 數(shù)據(jù)庫進(jìn)行實(shí)時(shí)數(shù)據(jù)遷移和數(shù)據(jù)同步。
數(shù)據(jù)遷移：數(shù)據(jù)遷移屬于一次性任務(wù)，遷移完成后即可釋放項(xiàng)目資源。您可以通過數(shù)據(jù)遷移功能，實(shí)現(xiàn)同構(gòu)或異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)遷移，適用于數(shù)據(jù)庫升級(jí)、跨實(shí)例數(shù)據(jù)遷移、數(shù)據(jù)庫拆分、擴(kuò)容等業(yè)務(wù)場(chǎng)景。
數(shù)據(jù)遷移項(xiàng)目是數(shù)據(jù)遷移功能的基本單元。創(chuàng)建數(shù)據(jù)遷移項(xiàng)目時(shí)，您可以指定的最大遷移范圍是數(shù)據(jù)庫級(jí)別，最小遷移范圍是表級(jí)別。詳情請(qǐng)參見 數(shù)據(jù)遷移 模塊的內(nèi)容。
說明目前數(shù)據(jù)遷移項(xiàng)目僅支持后付費(fèi)模式，即按量付費(fèi)計(jì)費(fèi)模式。當(dāng)前為限時(shí)免費(fèi)階段，具體收費(fèi)時(shí)間另行通知。詳情請(qǐng)參見 數(shù)據(jù)傳輸計(jì)費(fèi)說明。
數(shù)據(jù)同步：數(shù)據(jù)同步屬于持續(xù)性動(dòng)作，項(xiàng)目創(chuàng)建后會(huì)一直同步數(shù)據(jù)，保持源端和目標(biāo)端的數(shù)據(jù)一致性，實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)的數(shù)據(jù)實(shí)時(shí)流動(dòng)。您可以通過數(shù)據(jù)同步功能，實(shí)現(xiàn)數(shù)據(jù)源之間的數(shù)據(jù)實(shí)時(shí)同步，適用于數(shù)據(jù)異地多活、數(shù)據(jù)異地災(zāi)備、數(shù)據(jù)聚合和實(shí)時(shí)數(shù)據(jù)倉庫等多種業(yè)務(wù)場(chǎng)景。詳情請(qǐng)參見 數(shù)據(jù)同步 模塊的內(nèi)容。
說明目前數(shù)據(jù)同步項(xiàng)目僅支持預(yù)付費(fèi)模式，即包年包月計(jì)費(fèi)模式。詳情請(qǐng)參見 數(shù)據(jù)傳輸計(jì)費(fèi)說明。
支持的遷移類型
簡(jiǎn)稱說明
實(shí)例類型 | 簡(jiǎn)稱 |
RDS 實(shí)例 | RDS |
PolarDB MySQL 實(shí)例 | PolarDB |
VPC 內(nèi)自建數(shù)據(jù)庫 | VPC |
數(shù)據(jù)庫網(wǎng)關(guān)（Database Gateway） | DG |
公網(wǎng) IP 自建數(shù)據(jù)庫 | 公網(wǎng) |
OceanBase 數(shù)據(jù)庫 MySQL 租戶 | OB_MySQL |
OceanBase 數(shù)據(jù)庫 Oracle 租戶 | OB_Oracle |
數(shù)據(jù)遷移
暫不支持遷移 Oracle 數(shù)據(jù)庫的數(shù)據(jù)至 OceanBase 數(shù)據(jù)庫 MySQL 租戶，以及遷移 MySQL 數(shù)據(jù)庫的數(shù)據(jù)至 OceanBase 數(shù)據(jù)庫 Oracle 租戶。
增量 DDL 支持范圍請(qǐng)參見 同步 DDL 的支持范圍和使用限制 模塊的文檔。
數(shù)據(jù)遷移項(xiàng)目 | 結(jié)構(gòu)遷移 | 全量遷移 | 增量 DML | 增量 DDL | 全量校驗(yàn) | 反向增量 | 無主鍵表 |
MySQL（RDS/PolarDB/VPC/公網(wǎng)/DG）-> OB_MySQL（集群實(shí)例/Serverless 實(shí)例/租戶實(shí)例） | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
OB_MySQL（集群實(shí)例/Serverless 實(shí)例）-> MySQL（RDS/PolarDB/VPC/公網(wǎng)/DG） | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 不支持 |
OB_MySQL（集群實(shí)例/VPC/Serverless 實(shí)例）-> OB_MySQL（集群實(shí)例） | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
OB_MySQL（集群實(shí)例/Serverless 實(shí)例）-> OB_MySQL（VPC） | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
OB_MySQL（租戶實(shí)例）-> OB_MySQL（Serverless 實(shí)例） | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
Oracle（公網(wǎng)/VPC/DG）-> OB_Oracle（集群實(shí)例） | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
OB_Oracle（集群實(shí)例）-> Oracle（VPC） | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
OB_Oracle（集群實(shí)例/VPC）-> OB_Oracle（集群實(shí)例） | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
OB_Oracle（集群實(shí)例）-> OB_Oracle（VPC） | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
OB_Oracle（集群實(shí)例）-> MySQL（RDS/PolarDB/VPC/公網(wǎng)/DG） | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
TiDB -> OB_MySQL（集群實(shí)例/Serverless 實(shí)例） | 支持 | 支持 | 支持 | 不支持 | 支持 | 支持 | 不支持 |
PolarDB-X 1.0 -> OB_MySQL（集群實(shí)例/Serverless 實(shí)例） | 不支持 | 支持 | 支持 | 不支持 | 支持 | 不支持 | 支持 |
PolarDB-X 2.0 -> OB_MySQL（集群實(shí)例/Serverless 實(shí)例） | 支持 | 支持 | 支持 | 不支持 | 支持 | 支持 | 支持 |
PostgreSQL（RDS）-> OB_Oracle（集群實(shí)例） | 支持 | 支持 | 支持 | 不支持 | 支持 | 支持 | 支持 |
遷移類型介紹
遷移類型 | 描述 |
結(jié)構(gòu)遷移 | 負(fù)責(zé)遷移源庫中的數(shù)據(jù)對(duì)象定義（表、索引、約束、注釋和視圖等）至目標(biāo)庫中，會(huì)自動(dòng)過濾臨時(shí)表。當(dāng)源端數(shù)據(jù)庫非 OceanBase 數(shù)據(jù)庫時(shí)，會(huì)依據(jù)目標(biāo) OceanBase 租戶類型的語法定義標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)類型和 SQL 語法的自動(dòng)轉(zhuǎn)換和拼裝，然后復(fù)制至目標(biāo)庫中。 |
全量遷移 | 遷移源庫表的存量數(shù)據(jù)至目標(biāo)庫對(duì)應(yīng)的表中。您可以在 全量遷移 頁面，根據(jù)源庫和目標(biāo)庫進(jìn)行篩選，或勾選 查看有問題的對(duì)象，篩選阻礙整體遷移進(jìn)度的對(duì)象。您還可以查看 表對(duì)象、表索引 和 全量遷移性能。只有表對(duì)象和表索引均遷移完成，全量遷移的狀態(tài)才會(huì)顯示已完成。 |
增量同步 | 增量同步任務(wù)開始后，會(huì)同步源庫發(fā)生變化的數(shù)據(jù)（新增、修改或刪除）至目標(biāo)端數(shù)據(jù)庫對(duì)應(yīng)的表中。當(dāng)源庫不斷有業(yè)務(wù)寫入時(shí)，數(shù)據(jù)傳輸會(huì)在全量數(shù)據(jù)遷移啟動(dòng)前，啟動(dòng)增量拉取模塊，以拉取源實(shí)例中的增量更新數(shù)據(jù)，對(duì)其進(jìn)行解析、封裝，并存儲(chǔ)至數(shù)據(jù)傳輸中。 當(dāng)全量數(shù)據(jù)遷移完成后，數(shù)據(jù)傳輸會(huì)啟動(dòng)增量數(shù)據(jù)回放模塊，從增量數(shù)據(jù)拉取模塊中獲取增量數(shù)據(jù)。增量數(shù)據(jù)經(jīng)過過濾、映射和轉(zhuǎn)換后，再同步至目標(biāo)實(shí)例中。 |
全量校驗(yàn) | 在全量數(shù)據(jù)遷移完成，增量數(shù)據(jù)遷移至目標(biāo)端并與源端基本追平后，數(shù)據(jù)傳輸會(huì)自動(dòng)發(fā)起一輪針對(duì)源庫配置的數(shù)據(jù)表和目標(biāo)表的全量數(shù)據(jù)校驗(yàn)任務(wù)。增量數(shù)據(jù)同步過程中，您也可以發(fā)起自定義的數(shù)據(jù)校驗(yàn)。 您可以在 全量校驗(yàn) 頁面查看全量校驗(yàn)的整體狀態(tài)、啟動(dòng)時(shí)間、結(jié)束時(shí)間、總計(jì)耗時(shí)、預(yù)估總行數(shù)、已完成遷移行數(shù)、實(shí)時(shí)流量和 RPS 等信息。 |
正向切換 | 正向切換（傳統(tǒng)意義上的系統(tǒng)割接流程的抽象化、標(biāo)準(zhǔn)化）不會(huì)操作業(yè)務(wù)應(yīng)用連接的切換，是數(shù)據(jù)遷移項(xiàng)目配合應(yīng)用切換需要執(zhí)行的任務(wù)流。您需要保證在應(yīng)用連接切換至目標(biāo)端前完成正向切換的全部流程。 正向切換是數(shù)據(jù)遷移必不可少的一個(gè)流程，通過正向切換，數(shù)據(jù)傳輸可以確保完成了數(shù)據(jù)正向遷移的相關(guān)工作，并且您可以根據(jù)業(yè)務(wù)需求啟動(dòng)反向增量組件。正向切換主要涉及的工作如下：
|
反向增量 | 遷移完成后，針對(duì)業(yè)務(wù)割接場(chǎng)景，可以引導(dǎo)用戶在業(yè)務(wù)數(shù)據(jù)庫完成切換前在數(shù)據(jù)傳輸上啟動(dòng)目標(biāo)庫至源庫（即反向）的增量同步項(xiàng)目，實(shí)時(shí)回流業(yè)務(wù)切換后在目標(biāo)端數(shù)據(jù)庫產(chǎn)生的變更數(shù)據(jù)至源業(yè)務(wù)數(shù)據(jù)庫。 |
數(shù)據(jù)同步
增量 DDL 支持范圍請(qǐng)參見具體的創(chuàng)建數(shù)據(jù)同步項(xiàng)目文檔。
數(shù)據(jù)同步項(xiàng)目 | 結(jié)構(gòu)同步 | 全量同步 | 增量 DML | 增量 DDL | 無主鍵表 |
OB_MySQL（集群實(shí)例）-> OB_MySQL（集群實(shí)例/VPC/Serverless 實(shí)例） | 支持 | 支持 | 支持 | 支持 | 不支持 |
OB_MySQL（VPC）-> OB_MySQL（集群實(shí)例/Serverless 實(shí)例） | 支持 | 支持 | 支持 | 支持 | 不支持 |
OB_MySQL（集群實(shí)例/Serverless 實(shí)例）-> ADB（阿里云實(shí)例） | 支持 | 支持 | 支持 | 支持 | 不支持 |
PostgreSQL（RDS）-> OB_Oracle（集群實(shí)例） | 支持 | 支持 | 支持 | 不支持 | 支持 |
OB_MySQL （集群實(shí)例/Serverless 實(shí)例）-> DataHub（公網(wǎng)/VPC/阿里云實(shí)例） | 支持 | 支持 | 支持 | 支持 | 不支持 |
OB_Oracle （集群實(shí)例）-> DataHub（公網(wǎng)/VPC/阿里云實(shí)例） | 支持 | 支持 | 支持 | 支持 | 不支持 |
OB_MySQL （集群實(shí)例/Serverless 實(shí)例）-> Kafka（公網(wǎng)/VPC/阿里云實(shí)例） | 支持 | 支持 | 支持 | 支持 | 不支持 |
OB_Oracle （集群實(shí)例）-> Kafka（公網(wǎng)/VPC/阿里云實(shí)例） | 不支持 | 支持 | 支持 | 支持 | 不支持 |
OB_MySQL （集群實(shí)例/Serverless 實(shí)例）-> RocketMQ （公網(wǎng)/VPC/阿里云實(shí)例） | 不支持 | 支持 | 支持 | 支持 | 不支持 |
OB_Oracle （集群實(shí)例）-> RocketMQ （公網(wǎng)/VPC/阿里云實(shí)例） | 不支持 | 支持 | 支持 | 不支持 | 不支持 |
支持的數(shù)據(jù)庫版本
傳輸功能 | OceanBase 數(shù)據(jù)庫版本 | 其他數(shù)據(jù)終端版本 |
數(shù)據(jù)遷移 | V1.4.79、V2.2.30、V2.2.52、V2.2.76、V2.2.77、V3.1.x、V3.2.x、V4.0.0、V4.1.0、V4.2.0、V4.2.1、V4.2.2、V4.2.3、V4.3.0 |
|
數(shù)據(jù)同步 | V2.2.30、V2.2.52、V2.2.76、V2.2.77、V3.1.x、V3.2.x、V4.0.0、V4.1.0、V4.2.0、V4.2.1、V4.2.2、V4.2.3、V4.3.0 |
|