實(shí)時(shí)同步MySQL的數(shù)據(jù)至Hologres時(shí),來源數(shù)據(jù)源為MySQL,去向數(shù)據(jù)源為Hologres,執(zhí)行同步任務(wù)前,您需要參考本文在數(shù)據(jù)源中配置好網(wǎng)絡(luò)、白名單等配置,為后續(xù)的數(shù)據(jù)同步做好網(wǎng)絡(luò)環(huán)境和賬號(hào)權(quán)限的準(zhǔn)備。

前提條件

配置數(shù)據(jù)源之前,請(qǐng)確保已完成以下規(guī)劃與準(zhǔn)備工作。
  • 準(zhǔn)備數(shù)據(jù)源:已購(gòu)買來源數(shù)據(jù)源MySQL、去向數(shù)據(jù)源Hologres。
  • 資源規(guī)劃與準(zhǔn)備:已購(gòu)買獨(dú)享數(shù)據(jù)集成資源組,并完成資源配置。詳情可參見資源規(guī)劃與配置
  • 網(wǎng)絡(luò)環(huán)境評(píng)估與規(guī)劃:進(jìn)行數(shù)據(jù)集成前,您需根據(jù)業(yè)務(wù)情況,打通數(shù)據(jù)源、獨(dú)享數(shù)據(jù)集成資源組之間的網(wǎng)絡(luò),網(wǎng)絡(luò)聯(lián)通后參考本文進(jìn)行交換機(jī)、白名單等網(wǎng)絡(luò)環(huán)境下的訪問配置。
    • 如果數(shù)據(jù)源和獨(dú)享數(shù)據(jù)集成資源組均處于同地域的同一VPC網(wǎng)絡(luò)中,數(shù)據(jù)源與資源組間的網(wǎng)絡(luò)天然聯(lián)通。
    • 如果數(shù)據(jù)源和獨(dú)享數(shù)據(jù)集成資源組均處于不同的網(wǎng)絡(luò)環(huán)境中,您需要通過VPN網(wǎng)關(guān)等方式,將數(shù)據(jù)源與資源組間的網(wǎng)絡(luò)打通。

背景信息

同步來源數(shù)據(jù)源的數(shù)據(jù)至去向數(shù)據(jù)源時(shí),您需要保障數(shù)據(jù)源與DataWorks的獨(dú)享數(shù)據(jù)集成資源組在網(wǎng)絡(luò)上是聯(lián)通的,且不存在賬號(hào)權(quán)限的訪問限制。
  • 網(wǎng)絡(luò)白名單
    以下以使用同一VPC網(wǎng)絡(luò)環(huán)境為例,您需要將數(shù)據(jù)集成資源組所在的VPC網(wǎng)段添加至白名單中,保障數(shù)據(jù)集成資源組可訪問數(shù)據(jù)源。網(wǎng)絡(luò)聯(lián)通vpc
  • 賬號(hào)權(quán)限

    您需要規(guī)劃一個(gè)可訪問數(shù)據(jù)源的賬號(hào),用于后續(xù)數(shù)據(jù)集成過程中訪問數(shù)據(jù)源并進(jìn)行數(shù)據(jù)提取、寫入的同步操作。

  • 其他訪問限制。

    來源數(shù)據(jù)源為MySQL時(shí),您需要開啟Binlog。Binlog是記錄所有數(shù)據(jù)庫(kù)表結(jié)構(gòu)變更(例如執(zhí)行CREATE、ALTER操作)以及表數(shù)據(jù)修改(例如執(zhí)行INSERT、UPDATE、DELETE等)的日志。方便您可以通過Binlog日志中的內(nèi)容,查看數(shù)據(jù)庫(kù)的變更歷史、進(jìn)行數(shù)據(jù)庫(kù)增量備份和恢復(fù)以及主從數(shù)據(jù)庫(kù)的復(fù)制。

    Binlog日志的格式如下:
    • Statement:基于SQL語(yǔ)句的復(fù)制。Binlog中會(huì)保存每條修改數(shù)據(jù)的SQL語(yǔ)句。
    • Row:基于行的復(fù)制。Binlog中不保存SQL語(yǔ)句上下文的相關(guān)信息,僅保存被修改的記錄。
    • Mixed:混合模式復(fù)制。Statement與Row的結(jié)合,一般的語(yǔ)句修改使用Statement格式(例如函數(shù)),Statement無法完成復(fù)制的操作,則采用Row格式保存Binlog。MySQL會(huì)根據(jù)執(zhí)行的每條SQL語(yǔ)句自主識(shí)別使用哪種格式。

使用限制

  • DataWorks的數(shù)據(jù)集成實(shí)時(shí)同步MySQL數(shù)據(jù)是基于實(shí)時(shí)訂閱MySQL實(shí)現(xiàn)的,實(shí)時(shí)同步MySQL數(shù)據(jù)目前僅支持配置MySQL數(shù)據(jù)源為RDS的5.x8.x版本的MySQL,請(qǐng)不要將DRDS的MySQL配置為MySQL數(shù)據(jù)源,您可以參考配置DRDS數(shù)據(jù)源文檔直接將其配置為DRDS數(shù)據(jù)源。
  • 不支持XA ROLLBACK,針對(duì)已經(jīng)XA PREPARE的事務(wù)數(shù)據(jù),實(shí)時(shí)同步會(huì)將其同步到目標(biāo)端,如果XA ROLLBACK,實(shí)時(shí)同步不會(huì)針對(duì)XA PREPARE的數(shù)據(jù)做回滾寫入的操作。若要處理XA ROLLBACK場(chǎng)景,需要手動(dòng)將XA ROLLBACK的表從實(shí)時(shí)同步任務(wù)中移除,再添加表后重新進(jìn)行全量數(shù)據(jù)初始化以及增量實(shí)時(shí)同步。
  • 在添加MySQL數(shù)據(jù)源時(shí),若添加了其他阿里云賬號(hào)下的MySQL實(shí)例,后續(xù)同步任務(wù)配置該數(shù)據(jù)源時(shí),僅支持使用獨(dú)享數(shù)據(jù)集成資源組運(yùn)行該同步任務(wù),公共資源組無法訪問該數(shù)據(jù)源中的數(shù)據(jù)。

操作步驟

  1. 配置白名單。
    將獨(dú)享數(shù)據(jù)資源組所在的VPC網(wǎng)段添加至MySQL的白名單中,操作如下:
    1. 查看并記錄獨(dú)享數(shù)據(jù)資源組所在的VPC網(wǎng)絡(luò)。
      1. 登錄DataWorks控制臺(tái)
      2. 在左側(cè)導(dǎo)航欄,單擊資源組列表
      3. 獨(dú)享資源組頁(yè)簽下,單擊目標(biāo)數(shù)據(jù)集成資源組后的查看信息
      4. 復(fù)制對(duì)話框中的EIP地址網(wǎng)段至數(shù)據(jù)庫(kù)白名單。查看EIP地址和網(wǎng)段
      5. 獨(dú)享資源組頁(yè)簽下,單擊目標(biāo)數(shù)據(jù)集成資源組后的網(wǎng)絡(luò)設(shè)置
      6. 專有網(wǎng)絡(luò)綁定頁(yè)簽,查看交換機(jī)網(wǎng)段并將其添加至數(shù)據(jù)庫(kù)的白名單中。查看交換機(jī)網(wǎng)段
    2. 將上述步驟中記錄的獨(dú)享數(shù)據(jù)集成資源組的EIP地址和網(wǎng)段添加至MySQL集群的白名單中。
  2. 創(chuàng)建賬號(hào)并配置賬號(hào)權(quán)限。
    您需要規(guī)劃一個(gè)數(shù)據(jù)庫(kù)的登錄賬號(hào)用于后續(xù)執(zhí)行操作,此賬號(hào)需要擁有數(shù)據(jù)庫(kù)的 SELECT, REPLICATION SLAVE, REPLICATION CLIENT權(quán)限。
    1. 創(chuàng)建賬號(hào)。
      操作詳情請(qǐng)參見創(chuàng)建MySQL賬號(hào)
    2. 配置權(quán)限。
      您可以參考以下命令為賬號(hào)添加此權(quán)限,或直接給賬號(hào)賦予SUPER權(quán)限。如下執(zhí)行語(yǔ)句在實(shí)際使用時(shí),請(qǐng)?zhí)鎿Q'同步賬號(hào)'為上述創(chuàng)建的賬號(hào)。
      -- CREATE USER '同步賬號(hào)'@'%' IDENTIFIED BY '密碼'; //創(chuàng)建同步賬號(hào)并設(shè)置密碼,使其可以通過任意主機(jī)登錄數(shù)據(jù)庫(kù)。%表示任意主機(jī)。
      GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO '同步賬號(hào)'@'%'; //授權(quán)同步賬號(hào)數(shù)據(jù)庫(kù)的 SELECT, REPLICATION SLAVE, REPLICATION CLIENT權(quán)限。
      *.*表示授權(quán)同步賬號(hào)對(duì)所有數(shù)據(jù)庫(kù)的所有表?yè)碛猩鲜鰴?quán)限。您也可以指定授權(quán)同步賬號(hào)對(duì)目標(biāo)數(shù)據(jù)庫(kù)的指定表?yè)碛猩鲜鰴?quán)限。例如,授權(quán)同步賬號(hào)對(duì)test數(shù)據(jù)庫(kù)的user表?yè)碛猩鲜鰴?quán)限,則可以使用GRANT SELECT, REPLICATION CLIENT ON test.user TO '同步賬號(hào)'@'%';語(yǔ)句。
      說明 REPLICATION SLAVE語(yǔ)句為全局權(quán)限,不能指定授權(quán)同步賬號(hào)對(duì)目標(biāo)數(shù)據(jù)庫(kù)的指定表?yè)碛邢嚓P(guān)權(quán)限。
  3. 開啟MySQL的Binlog。
    檢查Binlog是否開啟并查詢Binlog格式,操作如下:
    • 使用如下語(yǔ)句檢查Binlog是否開啟。
      show variables like "log_bin";

      返回結(jié)果為ON時(shí),表明已開啟Binlog。

    • 如果您使用備用庫(kù)同步數(shù)據(jù),則還可以通過如下語(yǔ)句檢查Binlog是否開啟。
      show variables like "log_slave_updates";

      返回結(jié)果為ON時(shí),表明備用庫(kù)已開啟Binlog。

    如果返回的結(jié)果與上述結(jié)果不符,請(qǐng)參考MySQL官方文檔開啟Binlog。
    使用如下語(yǔ)句查詢Binlog的使用格式。
    show variables like "binlog_format";
    返回結(jié)果說明:
    • 返回ROW,表明開啟的Binlog格式為ROW
    • 返回STATEMENT,表明開啟的Binlog格式為STATEMENT
    • 返回MIXED,表明開啟的Binlog格式為MIXED

后續(xù)步驟

配置完成數(shù)據(jù)源后,來源數(shù)據(jù)源、資源實(shí)例、去向數(shù)據(jù)源彼此間已可網(wǎng)絡(luò)聯(lián)通,且不存在訪問限制。您可將來源數(shù)據(jù)源和去向數(shù)據(jù)源添加至DataWorks的數(shù)據(jù)源列表中,便于后續(xù)創(chuàng)建數(shù)據(jù)同步方案時(shí)關(guān)聯(lián)來源和去向數(shù)據(jù)源。

添加數(shù)據(jù)源操作可參見添加數(shù)據(jù)源