注意事項(xiàng)

RDS全增量同步功能于2023年3月10日下線。2023年3月10日后購(gòu)買的LTS將無法使用RDS全增量同步功能，2023年3月10日前購(gòu)買的LTS仍可正常使用此功能。

使用場(chǎng)景

• RDS低成本歷史庫(kù)。

• RDS數(shù)據(jù)全量遷移至Lindorm。

前提條件

• LTS的購(gòu)買時(shí)間在2023年3月10日之前。

• 已登錄LTS頁面。具體操作，請(qǐng)參見登錄同步任務(wù)。

• LTS、云數(shù)據(jù)庫(kù)HBase遷移集群、RDS實(shí)例的網(wǎng)絡(luò)已連通（都在同一個(gè)VPC中可以跳過）。

功能列表

• RDS數(shù)據(jù)全增量一體同步到Lindorm寬表模型（兼容HBase訪問）。

• RDS數(shù)據(jù)變換，請(qǐng)參見配置說明。

• RDS多表同步。

使用限制

• RDS全量同步支持?jǐn)?shù)據(jù)源MySQL。

• RDS增量同步支持?jǐn)?shù)據(jù)源DTS。

• 支持目標(biāo)數(shù)據(jù)源LindormSQL，Lindorm寬表模型（兼容HBase訪問）。

操作步驟

1. 在LTS操作頁面中，單擊導(dǎo)入Lindorm/HBase > RDS全增量同步。

2. 單擊創(chuàng)建任務(wù)。

3. 選擇RDS數(shù)據(jù)源、DTS數(shù)據(jù)源以及目標(biāo)數(shù)據(jù)源。

   說明

   • 添加Lindorm寬表數(shù)據(jù)源。

   • 添加RDS數(shù)據(jù)源。

   • 添加DTS數(shù)據(jù)源。

   

4. 單擊編輯可以查看默認(rèn)配置說明，也可以修改配置說明，請(qǐng)參見配置說明。

5. 選擇要同步的表，單擊生成配置。

   說明

   • RDS全增量同步先進(jìn)行全量歷史數(shù)據(jù)遷移，遷移完成后在進(jìn)行增量數(shù)據(jù)遷移。

   • 導(dǎo)入CQL默認(rèn)生成配置同RDS表字段和類型對(duì)應(yīng)，需要更改可以手動(dòng)編輯修改字段名和對(duì)應(yīng)關(guān)系，詳見配置說明。

   • 導(dǎo)入HBase/Lindorm默認(rèn)生成列簇f，RDS中的字段和f列對(duì)應(yīng)，同時(shí)rowkey為RDS主鍵字符串拼接。

   • 默認(rèn)生成配置會(huì)跳過RDS刪除操作如果保留需要手動(dòng)修改配置，詳見配置說明。

6. 單擊創(chuàng)建。

配置說明

SQL表同步配置說明，具體語法請(qǐng)參見Jtwig語法說明。

{
    "reader": {
        "querySql": [
            "select * from dts.cluster where id < 1000",//全量同步查詢語句,一個(gè)語句對(duì)應(yīng)一個(gè)讀取線程
      "select * from dts.cluster where id >= 1000"http://建議進(jìn)行拆分提高速度和減小重試代價(jià)
        ]
    },
    "writer": {
        "columns": [
            {
                "name": "id", //目標(biāo)表中字段名稱
                "value": "id",//原表中字段名稱
                "isPk": true , //是否是主鍵
                "type": "BIGINT" //可以不填寫，默認(rèn)同RDS表類型一致
            },
      {
                "name": "cluster_id",
                "value": "cluster_id",
                "isPk": false
            },
      {
                "name": "id_and_cluster",
                "value": "{{concat(id, cluster_id)}}",//支持Jtwig域名對(duì)數(shù)據(jù)進(jìn)行變換
                "isPk": true
            },
        ],
        "config": {
            "skipDelete": true //跳過刪除操作
        },
     "table": {
         "name": "dts.cluster", //Lindorm表名，中間使用半角句號(hào)（.）隔開
         "parameter": {
             "compression": "ZSTD"
        }
    },
    "sourceTable": "dts.cluster" 
    }
}

HBase API訪問同步配置說明。

{
    "reader": {
        "querySql": [
            "select * from dts.cluster where id < 1000",//全量同步查詢語句,一個(gè)語句對(duì)應(yīng)一個(gè)讀取線程
      "select * from dts.cluster where id >= 1000"http://建議進(jìn)行拆分提高速度和減小重試代價(jià)
        ]
    },
    "writer": {
        "columns": [
            {
                "name": "f:id",//目標(biāo)表中字段名稱
                "value": "id", //原表中字段名稱
        "isPk": false //不影響同步忽略
            },
            {
                "name": "f:cluster_id",
                "value": "cluster_id",
                "isPk": false
            },
      {
        "name": "f:id_and_cluster",
                "value": "{{concat(id, cluster_id)}}",//支持Jtwig域名對(duì)數(shù)據(jù)進(jìn)行變換
       }
        ],
        "rowkey": {
            "value": "id" //hbase模型中rowkey由RDS哪些字段組成,支持Jtwig語法
        },
        "config": {
            "skipDelete": true//跳過刪除操作
        },
        "table": {
            "name": "dts:cluster",// Lindorm/HBase中表名
            "parameter": {
                "compression": "ZSTD",//Lindorm/HBase中,新建表壓縮算法,推薦使用ZSTD
        "split":["1", "5", "9", "b"] //指定splitkey,對(duì)新建表進(jìn)行預(yù)分區(qū)
            }
        },
        "sourceTable": "dts.cluster"
    }
}