日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺(tái)
文檔
有獎(jiǎng)?wù){(diào)研
輸入文檔關(guān)鍵字查找
首頁 表格存儲(chǔ) 實(shí)踐教程 數(shù)據(jù)同步遷移 數(shù)據(jù)導(dǎo)入 將Oracle數(shù)據(jù)同步到表格存儲(chǔ)

將Oracle數(shù)據(jù)同步到表格存儲(chǔ)

更新時(shí)間：
產(chǎn)品詳情
相關(guān)技術(shù)圈
我的收藏

通過Tapdata Cloud的可視化界面，您可以將Oracle數(shù)據(jù)實(shí)時(shí)同步到表格存儲(chǔ)（Tablestore）中。

前提條件

使用Tapdata Cloud同步Oracle數(shù)據(jù)到表格存儲(chǔ)前，需要完成如下準(zhǔn)備工作。

  • 已注冊Tapdata Cloud賬號(hào)。

  • 已創(chuàng)建表格存儲(chǔ)實(shí)例和表。具體操作，請參見通過控制臺(tái)使用。

  • 創(chuàng)建RAM用戶并完成授權(quán)。

    • 已創(chuàng)建RAM用戶，并授予RAM用戶管理表格存儲(chǔ)服務(wù)的權(quán)限（AliyunOTSFullAccess）。具體操作，請參見配置RAM用戶權(quán)限。

      重要

      創(chuàng)建RAM用戶時(shí)，請選中OpenAPI調(diào)用訪問。

    • 已為RAM用戶創(chuàng)建AccessKey。具體操作，請參見創(chuàng)建AccessKey。

背景信息

Tapdata Cloud是由Tapdata提供的集數(shù)據(jù)復(fù)制、數(shù)據(jù)開發(fā)為一體的實(shí)時(shí)數(shù)據(jù)服務(wù)，能夠在跨云、跨地域、多類型數(shù)據(jù)源的場景下，提供毫秒級(jí)的實(shí)時(shí)數(shù)據(jù)同步服務(wù)和數(shù)據(jù)融合服務(wù)。更多信息，請參見什么是Tapdata。

注意事項(xiàng)

  • 當(dāng)前只支持Oracle 9i、10g、11g、12c、19c版本的數(shù)據(jù)同步。

  • 如果設(shè)置了Oracle數(shù)據(jù)庫的connect_time參數(shù)，則可能導(dǎo)致實(shí)時(shí)同步異常。

    您可以通過執(zhí)行如下命令查看connect_time參數(shù)的設(shè)置。其中username請?jiān)O(shè)置為數(shù)據(jù)庫賬號(hào)。

    、

    select resource_name, limit from dba_profiles where profile=( select profile from dba_users where username = 'username');

  • 請為歸檔日志預(yù)留足夠的存儲(chǔ)空間，避免由于存儲(chǔ)占滿影響Oracle數(shù)據(jù)庫的運(yùn)行。

使用流程

使用Tapdata Cloud將Oracle數(shù)據(jù)同步到表格存儲(chǔ)的使用流程如下：

  1. 配置Oracle數(shù)據(jù)庫和授權(quán)賬號(hào)。具體操作，請參見步驟一：配置Oracle數(shù)據(jù)庫和授權(quán)賬號(hào)。

  2. 在Oracle數(shù)據(jù)庫所屬機(jī)器或相同網(wǎng)絡(luò)的機(jī)器上部署Tapdata Agent。具體操作，請參見步驟二：部署Tapdata Agent。

    Tapdata Agent（簡稱Agent）是數(shù)據(jù)同步、數(shù)據(jù)異構(gòu)、數(shù)據(jù)開發(fā)場景中的關(guān)鍵程序，通過流式技術(shù)從源端獲取數(shù)據(jù)、處理轉(zhuǎn)換數(shù)據(jù)并發(fā)送到目標(biāo)端。

    重要

    Agent通過流式技術(shù)從源端獲取數(shù)據(jù)、處理轉(zhuǎn)換數(shù)據(jù)并發(fā)送到目標(biāo)端，數(shù)據(jù)不會(huì)流經(jīng) Tapdata Cloud，也不會(huì)上傳和留存您的數(shù)據(jù)。

  3. 使用Tapdata Cloud連接源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫。具體操作，請參見步驟三：連接源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫。

  4. 創(chuàng)建數(shù)據(jù)復(fù)制任務(wù)用于進(jìn)行源數(shù)據(jù)庫到目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)復(fù)制。具體操作，請參見步驟四：配置數(shù)據(jù)復(fù)制任務(wù)。

步驟一：配置Oracle數(shù)據(jù)庫和授權(quán)賬號(hào)

數(shù)據(jù)同步前，為Oracle數(shù)據(jù)庫開啟數(shù)據(jù)庫歸檔模式、開啟補(bǔ)充日志、開啟標(biāo)識(shí)鍵日志、開啟全補(bǔ)充日志以及創(chuàng)建用于數(shù)據(jù)同步任務(wù)的賬號(hào)。

  1. 以具有DBA權(quán)限的用戶身份登錄Oracle數(shù)據(jù)庫。

  2. 開啟數(shù)據(jù)庫歸檔模式（ARCHIVELOG）。

    您可以執(zhí)行如下命令檢查是否已開啟數(shù)據(jù)庫歸檔模式。

    select log_mode from v$database;

    當(dāng)返回結(jié)果為ARCHIVELOG時(shí)，表示已經(jīng)開啟，請?zhí)^此步驟。否則請執(zhí)行如下步驟開啟。

    1. 執(zhí)行如下命令關(guān)閉數(shù)據(jù)庫。

      重要

      請務(wù)必在業(yè)務(wù)低峰期再進(jìn)行此操作，避免影響業(yè)務(wù)正常運(yùn)行。

      shutdown immediate;

    2. 執(zhí)行如下命令啟動(dòng)并掛載數(shù)據(jù)庫。

      startup mount;

    3. 執(zhí)行如下命令開啟歸檔并打開數(shù)據(jù)。

      alter database archivelog;
alter database open;

  3. 開啟補(bǔ)充日志（Supplemental Logging），請根據(jù)數(shù)據(jù)庫版本執(zhí)行相應(yīng)命令。

    數(shù)據(jù)庫版本

    命令

    Oracle 9i

    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;

    Oracle 10g

    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
ALTER system switch logfile;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

    Oracle 11g

    Oracle 12c

    執(zhí)行如下命令，確認(rèn)是否開啟了補(bǔ)充日志。

    SELECT supplemental_log_data_min, supplemental_log_data_pk, supplemental_log_data_all FROM v$database;

    當(dāng)返回結(jié)果的前兩列為Yes或Implicit時(shí)，表示只開啟了標(biāo)識(shí)鍵日志（Identification Key Logging），您還需要開啟全補(bǔ)充日志（Full Supplemental Logging）。

  4. 開啟標(biāo)識(shí)鍵日志。

    請根據(jù)實(shí)際選擇為單個(gè)表開啟或者為所有表開啟

    • 為單個(gè)表開啟標(biāo)識(shí)鍵日志。

      ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
ALTER TABLE schema name.table name ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;

    • 為所有表開啟標(biāo)識(shí)鍵日志。

      ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;

  5. 開啟全補(bǔ)充日志。

    請根據(jù)實(shí)際選擇為單個(gè)表開啟或者為所有表開啟。

    • 為單個(gè)表開啟全補(bǔ)充日志

      ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
ALTER TABLE <schema name>.<table name> ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

    • 為所有表開啟全補(bǔ)充日志

      ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

  6. 執(zhí)行如下命令提交變更。

    ALTER SYSTEM SWITCH LOGFILE;

  7. 創(chuàng)建用于數(shù)據(jù)同步任務(wù)的賬號(hào)并授權(quán)，請根據(jù)數(shù)據(jù)庫版本執(zhí)行相應(yīng)命令。

    數(shù)據(jù)庫版本

    命令

    Oracle 10g

    CREATE USER username IDENTIFIED BY password;
GRANT create session, alter session, execute_catalog_role, select any dictionary, select any transaction, select any table, create any table, create any index, unlimited tablespace to user name;

    Oracle 11g

    Oracle 12c（標(biāo)準(zhǔn)模式）

    CREATE USER username IDENTIFIED BY password;
GRANT create session, alter session, select any dictionary, select any transaction, logmining, execute_catalog_role, create any table, create any index, unlimited tablespace TO username;

    請根據(jù)您對表的權(quán)限需求，重復(fù)執(zhí)行GRANT命令來賦予SELECT權(quán)限。

    Oracle 12c（多租戶模式）

    重要

    在Oracle 12c的多租戶模式下創(chuàng)建用戶時(shí)，必須在cdb中創(chuàng)建并且命名格式約定為 c##name。

    ALTER SESSION SET CONTAINER=cdb$root;
CREATE USER username IDENTIFIED BY password CONTAINER=all;
GRANT create session, alter session, set container, select any dictionary, select any transaction, logmining, execute_catalog_role, create any table, create any index, unlimited tablespace TO username CONTAINER=all;
ALTER SESSION SET CONTAINER=pdb;

    請根據(jù)您對表的權(quán)限需求，重復(fù)執(zhí)行GRANT命令來賦予SELECT權(quán)限。

    當(dāng)Oracle數(shù)據(jù)庫作為源庫時(shí)，請使用該用戶來進(jìn)行JDBC身份驗(yàn)證。

    重要

    使用該用戶進(jìn)行JDBC的身份驗(yàn)證時(shí)，必須使用整個(gè)用戶名（包含c##）作為JDBC連接的用戶名。

步驟二：部署Tapdata Agent

重要

待部署Agent的機(jī)器必須能夠訪問互聯(lián)網(wǎng)。

由于數(shù)據(jù)流轉(zhuǎn)通常對時(shí)效性有較高的要求，因此，推薦將Tapdata Agent部署在Oracle數(shù)據(jù)庫所屬機(jī)器或相同網(wǎng)絡(luò)的機(jī)器中，可極大降低網(wǎng)絡(luò)延遲帶來的影響。

說明

此處以Linux操作系統(tǒng)（64位）為例介紹Agent部署流程，如果需要部署到其他平臺(tái)（例如Windows、阿里云計(jì)算巢），請參見安裝Agent文檔。

  1. 登錄Tapdata Cloud平臺(tái)。

  2. 在左側(cè)導(dǎo)航欄，單擊Agent管理。

  3. 在Agent管理頁面，單擊創(chuàng)建Agent。

  4. 在Agent下載與安裝對話框，選擇Linux（64 bit），然后根據(jù)界面提示進(jìn)行Agent安裝。

    重要

    安裝前請確認(rèn)您的部署環(huán)境中已安裝JAVA 1.8版本并正確配置環(huán)境變量。

    1. 登錄到待部署Agent的機(jī)器。

    2. 執(zhí)行如下命令創(chuàng)建tapdata目錄用于安裝和部署Tapdata Agent。

      mkdir tapdata

    3. 單擊界面中的復(fù)制，復(fù)制步驟3的命令，并在tapdata目錄下執(zhí)行命令。

      說明

      執(zhí)行該命令后，Tapdata Agent會(huì)自動(dòng)下載、自動(dòng)部署以及啟動(dòng)。

    等待命令執(zhí)行完成，即可完成Tapdata Agent的安裝和啟動(dòng)。

    Tapdata Agent啟動(dòng)成功的示例如下圖所示。

    fig_tapdataagent

步驟三：連接源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫

通過Tapdata Cloud連接源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫。

  1. 登錄Tapdata Cloud平臺(tái)。

  2. 在左側(cè)導(dǎo)航欄，單擊連接管理。

  3. 連接作為源庫的Oracle數(shù)據(jù)庫。

    1. 在連接管理頁面，單擊創(chuàng)建連接。

    2. 在創(chuàng)建連接對話框的認(rèn)證數(shù)據(jù)源頁簽，單擊Oracle。

    3. 在創(chuàng)建連接頁面，根據(jù)下表說明配置數(shù)據(jù)源參數(shù)。

      參數(shù)

      描述

      連接名稱

      數(shù)據(jù)連接名稱，請根據(jù)實(shí)際設(shè)置。多個(gè)連接的名稱不能相同。

      連接類型

      支持將Oracle作為源頭或者目標(biāo)。此處取值為源頭和目標(biāo)或者源頭。

      連接方式

      連接Oracle數(shù)據(jù)庫的方式。取值范圍如下：

      • SID：數(shù)據(jù)庫實(shí)例名，是數(shù)據(jù)庫和操作系統(tǒng)交互時(shí)用到的名稱。

      • Service Name：服務(wù)名。當(dāng)數(shù)據(jù)庫有域名時(shí)，Service Name與Global DB Name相同；當(dāng)數(shù)據(jù)庫無域名時(shí)，Service Name與數(shù)據(jù)庫名稱相同。

      數(shù)據(jù)庫地址

      數(shù)據(jù)庫連接地址。

      端口

      數(shù)據(jù)庫的服務(wù)端口。

      SID

      數(shù)據(jù)庫實(shí)例名。當(dāng)連接方式選擇為SID時(shí)需要配置此參數(shù)。

      Service Name

      服務(wù)名。當(dāng)連接方式選擇為Service Name時(shí)需要配置此參數(shù)。

      Schema

      Schema名稱，即一個(gè)連接對應(yīng)一個(gè) Schema。

      說明

      如果需要連接多個(gè)Schema，請創(chuàng)建多個(gè)數(shù)據(jù)連接。

      其他連接串參數(shù)

      額外的連接參數(shù)，默認(rèn)為空。

      賬號(hào)

      數(shù)據(jù)庫的賬號(hào)。

      密碼

      數(shù)據(jù)庫的密碼。

      多租戶模式

      如果Oracle為多租戶模式，則打開多租戶模式開關(guān)并填寫PDB信息。

      日志插件

      保持默認(rèn)值logMiner即可。

      時(shí)間類型的時(shí)區(qū)

      默認(rèn)為數(shù)據(jù)庫所用的時(shí)區(qū)，您也可以根據(jù)業(yè)務(wù)需求指定。

      包含表

      要包含的表。取值范圍如下：

      • 全部（默認(rèn)）：包含數(shù)據(jù)庫中的所有表。

      • 自定義：自定義要包含的表。多個(gè)表或表達(dá)式之間用半角逗號(hào)（,）分隔。表達(dá)式支持使用星號(hào)（*）表示任意長度的字符。

      排除表

      從包含表規(guī)則匹配到的表中將指定的表排除。

      打開排除表開關(guān)并設(shè)置要排除的表。多個(gè)表或者表達(dá)式之間用半角逗號(hào)（,）分隔。表達(dá)式支持使用星號(hào)（*）表示任意長度的字符。

      agent設(shè)置

      使用的Agent信息。取值范圍如下：

      • 平臺(tái)自動(dòng)分配（默認(rèn)）：由平臺(tái)分配節(jié)點(diǎn)進(jìn)行連接訪問。

      • 用戶手動(dòng)指定：設(shè)置此參數(shù)為用戶手動(dòng)指定后，選擇要使用的Agent。

      模型加載頻率

      數(shù)據(jù)源中模型數(shù)量大于1萬時(shí)，Tapdata Cloud會(huì)按此參數(shù)設(shè)置定期進(jìn)行模型刷新。

    4. 單擊連接測試，測試通過后單擊保存。

      說明

      如果提示連接測試失敗，請根據(jù)頁面提示進(jìn)行修復(fù)。

  4. 連接作為目標(biāo)庫的表格存儲(chǔ)。

    1. 在連接管理頁面，單擊創(chuàng)建連接。

    2. 在創(chuàng)建連接對話框的Beta數(shù)據(jù)源頁簽，單擊Tablestore。

    3. 在創(chuàng)建連接頁面，根據(jù)下表說明配置數(shù)據(jù)源參數(shù)。

      參數(shù)

      描述

      連接名稱

      數(shù)據(jù)連接名稱，請根據(jù)實(shí)際設(shè)置。

      連接類型

      固定取值為目標(biāo)。此數(shù)據(jù)連接在Tapdata Cloud中只能作為目標(biāo)使用，不能作為源頭。

      服務(wù)地址

      表格存儲(chǔ)實(shí)例的服務(wù)地址。更多信息，請參見服務(wù)地址。

      實(shí)例名稱

      表格存儲(chǔ)實(shí)例的名稱。更多信息，請參見實(shí)例。

      AccessKey ID

      RAM用戶的AccessKey ID和AccessKey Secret。

      說明

      當(dāng)使用從STS獲取的臨時(shí)訪問憑證訪問表格存儲(chǔ)時(shí)，請?jiān)O(shè)置為臨時(shí)訪問憑證的AccessKey ID和AccessKey Secret。

      AccessKey Secret

      AccessKey Token

      臨時(shí)訪問令牌。當(dāng)使用從STS獲取的臨時(shí)訪問憑證訪問表格存儲(chǔ)時(shí)，需要設(shè)置此參數(shù)。

      agent設(shè)置

      使用的Agent信息。取值范圍如下：

      • 平臺(tái)自動(dòng)分配（默認(rèn)）：由平臺(tái)分配節(jié)點(diǎn)進(jìn)行連接訪問。

      • 用戶手動(dòng)指定：設(shè)置此參數(shù)為用戶手動(dòng)指定后，選擇要使用的Agent。

      模型加載頻率

      數(shù)據(jù)源中模型數(shù)量大于1萬時(shí)，Tapdata Cloud會(huì)按此參數(shù)設(shè)置定期進(jìn)行模型刷新。

    4. 單擊連接測試，測試通過后單擊保存。

      說明

      如果提示連接測試失敗，請根據(jù)頁面提示進(jìn)行修復(fù)。

步驟四：配置數(shù)據(jù)復(fù)制任務(wù)

通過配置數(shù)據(jù)復(fù)制任務(wù)，可以現(xiàn)同構(gòu)或者異構(gòu)數(shù)據(jù)源間的實(shí)時(shí)同步，適用于數(shù)據(jù)遷移、數(shù)據(jù)同步、數(shù)據(jù)災(zāi)備、讀性能擴(kuò)展等多種業(yè)務(wù)場景。

  1. 登錄Tapdata Cloud平臺(tái)。

  2. 在左側(cè)導(dǎo)航欄，單擊數(shù)據(jù)復(fù)制。

  3. 在數(shù)據(jù)復(fù)制頁面，單擊創(chuàng)建。

  4. 在頁面左側(cè)，將Oracle和表格存儲(chǔ)數(shù)據(jù)庫拖拽到右側(cè)畫布中，然后將其連接起來。

  5. 單擊Oracle數(shù)據(jù)庫，根據(jù)下表說明在右側(cè)面板配置參數(shù)。

    參數(shù)

    描述

    節(jié)點(diǎn)名稱

    默認(rèn)為連接名稱，請根據(jù)實(shí)際設(shè)置。

    DDL事件采集

    暫不支持對表格存儲(chǔ)執(zhí)行DDL語句同步，無需配置此參數(shù)。

    選擇表

    選擇要復(fù)制的表。取值范圍如下：

    • 按表名選擇：按照表名選擇待復(fù)制的表。

      在待復(fù)制表區(qū)域選中表，然后單擊fig_row圖標(biāo)完成設(shè)置。

      您也可以單擊批量選表，輸入多個(gè)表名來批量選擇要復(fù)制的表。多個(gè)表名之間用半角逗號(hào)（,）分隔。

    • 按正則表達(dá)式進(jìn)行匹配：使用正則表達(dá)式匹配滿足表達(dá)式的表作為要復(fù)制的表。

      使用此方式時(shí)，當(dāng)源庫中新增的表滿足表達(dá)式時(shí)，該表也會(huì)被自動(dòng)同步到目標(biāo)庫。

    批量讀取條數(shù)

    全量同步時(shí)，每批次讀取的記錄條數(shù)，默認(rèn)值為100。 一般保持默認(rèn)值即可。

    日志連續(xù)挖掘

    是否開啟日志連續(xù)挖掘。默認(rèn)已開啟。請根據(jù)使用的Oracle版本設(shè)置。

    • 當(dāng)Oracle版本低于19c時(shí)，建議開啟此開關(guān)，延遲更低。

    • 當(dāng)Oracle版本高于等于19c時(shí)，必須關(guān)閉此開關(guān)。

      重要

      當(dāng)Oracle版本高于等于19c時(shí)，請務(wù)必關(guān)閉此開關(guān)。

    日志積壓數(shù)量

    日志連續(xù)挖掘時(shí)的最大日志積壓數(shù)量。只有當(dāng)開啟日志連續(xù)挖掘開關(guān)時(shí)才能設(shè)置此參數(shù)。請根據(jù)源端更新頻率設(shè)置。

    • 當(dāng)源端更新頻率較低時(shí)，請?jiān)O(shè)置較低的值，延遲更低。

    • 當(dāng)源端更新頻率較高時(shí)，請?jiān)O(shè)置較高的值，吞吐更高。

    一般可以按照源端數(shù)據(jù)變化QPS/10計(jì)算，建議值為1~1000。

    挖掘線程數(shù)

    日志挖掘時(shí)，以占用數(shù)據(jù)庫CPU資源為代價(jià)來提高日志挖掘速度。只有當(dāng)關(guān)閉日志連續(xù)挖掘開關(guān)時(shí)才能設(shè)置此參數(shù)。

    建議當(dāng)源端更新頻率超過1萬時(shí)設(shè)置，最大不建議超過8。

    大事務(wù)事件界限

    將事務(wù)事件定義為大事務(wù)的臨界值，默認(rèn)值為10000。當(dāng)事務(wù)事件超過該數(shù)值時(shí)會(huì)進(jìn)入大事務(wù)邏輯。

    重要

    • 該值設(shè)置過大可能會(huì)影響內(nèi)存。

    • 按照大事務(wù)處理后會(huì)存在本地磁盤緩存。當(dāng)復(fù)制任務(wù)出現(xiàn)異常時(shí)，請注意磁盤清理。

    關(guān)聯(lián)鍵更新

    是否進(jìn)行關(guān)聯(lián)鍵更新。默認(rèn)已開啟，表示會(huì)進(jìn)行關(guān)聯(lián)鍵更新。

    關(guān)閉關(guān)聯(lián)鍵更新開關(guān)可以提升性能，但是關(guān)聯(lián)鍵的更新會(huì)被忽略。

    開啟同步LOB類型(BLOB,CLOB,NCLOB)

    是否開啟同步LOB類型。默認(rèn)已開啟，表示會(huì)同步LOB類型。

    關(guān)閉開啟同步LOB類型(BLOB,CLOB,NCLOB)開關(guān)可以提升性能，但是LOB類型解析會(huì)不可靠。

    未提交事務(wù)生命時(shí)長（分鐘）

    未提交事務(wù)的最長保留時(shí)間，默認(rèn)值為60。單位為分鐘。

    長時(shí)間未提交的事務(wù)會(huì)導(dǎo)致每次啟停任務(wù)將從該事務(wù)開始挖掘，會(huì)影響性能，因此超過該時(shí)長未提交的事務(wù)將被清理。

  6. 單擊Tablestore數(shù)據(jù)庫，預(yù)覽數(shù)據(jù)結(jié)構(gòu)并設(shè)置高級(jí)選項(xiàng)。

    參數(shù)

    描述

    節(jié)點(diǎn)名稱

    默認(rèn)為連接名稱，請根據(jù)實(shí)際設(shè)置。

    推演結(jié)果

    查看表的數(shù)據(jù)結(jié)構(gòu)（例如字段名稱、字段類型）以及根據(jù)需要設(shè)置字段類型。

    說明

    • 如需調(diào)整字段類型，單擊目標(biāo)字段類型中的fig_down圖標(biāo)，然后在彈出的對話框中完成設(shè)置。

    • 由于Tablestore單個(gè)表的列數(shù)量不可超過32個(gè)，如果Oracle中待同步表的列數(shù)量超過32，您可以在頁面左側(cè)拖拽一個(gè)字段編輯節(jié)點(diǎn)進(jìn)來，將其作為Oracle和Tablestore的中間節(jié)點(diǎn)連接起來，然后在字段編輯節(jié)點(diǎn)中屏蔽與業(yè)務(wù)無關(guān)的列以滿足需求。

    高級(jí)設(shè)置

    重復(fù)處理策略

    當(dāng)目標(biāo)表已存在時(shí)的處理策略，默認(rèn)為保持目標(biāo)端原有結(jié)構(gòu)及數(shù)據(jù)。如果目標(biāo)表沒有數(shù)據(jù)且結(jié)構(gòu)和源表不一致，可選擇為清除目標(biāo)表原有表結(jié)構(gòu)及數(shù)據(jù)。

    數(shù)據(jù)寫入模式

    數(shù)據(jù)寫入表格存儲(chǔ)的處理方式。取值范圍如下：

    • 按事件類型處理：根據(jù)插入事件、更新事件和刪除事件分別設(shè)置數(shù)據(jù)寫入策略。

    • 追加寫入：只處理插入事件，丟棄更新事件和刪除事件。

    數(shù)據(jù)寫入策略

    按照事件類型處理數(shù)據(jù)寫入時(shí)的策略。當(dāng)數(shù)據(jù)寫入模式選擇為按事件類型處理時(shí)才能設(shè)置此參數(shù)。

    處理插入事件的策略為目標(biāo)存在時(shí)更新，處理更新事件和刪除事件的策略為不存在時(shí)丟棄。

    全量多線程寫入

    全量數(shù)據(jù)寫入的并發(fā)線程數(shù)，默認(rèn)值為8，可基于目標(biāo)端寫性能適當(dāng)調(diào)整。

    增量寫入線程數(shù)

    增量數(shù)據(jù)寫入的并發(fā)線程數(shù)，默認(rèn)未啟用。打開增量寫入線程數(shù)開關(guān)后可基于目標(biāo)端寫性能適當(dāng)調(diào)整。

  7. 可選：單擊上方的fig_settingicon圖標(biāo)，請根據(jù)下表說明配置任務(wù)屬性。

    參數(shù)

    描述

    任務(wù)名稱

    同步任務(wù)的名稱，請根據(jù)實(shí)際設(shè)置。

    同步類型

    數(shù)據(jù)同步的類型。取值范圍如下：

    • 全量+增量：全量數(shù)據(jù)同步完成后，再同步增量數(shù)據(jù)。

    • 全量：將源端的存量數(shù)據(jù)復(fù)制到目標(biāo)端。

    • 增量：將源端實(shí)時(shí)產(chǎn)生的新數(shù)據(jù)或數(shù)據(jù)變更復(fù)制到目標(biāo)端。

    任務(wù)描述

    任務(wù)的描述信息。

    高級(jí)設(shè)置

    計(jì)劃開始時(shí)間

    任務(wù)的計(jì)劃開始時(shí)間。

    如果需要指定任務(wù)開始時(shí)間，打開計(jì)劃開始時(shí)間開關(guān)后，選擇開始的日期和時(shí)間。

    數(shù)據(jù)校驗(yàn)

    打開數(shù)據(jù)校驗(yàn)開關(guān)后，任務(wù)會(huì)自動(dòng)對同步結(jié)果的一致性進(jìn)行全量校驗(yàn)和增量校驗(yàn)，并會(huì)在運(yùn)行監(jiān)控頁面展示校驗(yàn)不一致的數(shù)據(jù)行數(shù)。

    重要

    當(dāng)任務(wù)符合以下任意一種情況時(shí)，即使打開數(shù)據(jù)校驗(yàn)開關(guān)，任務(wù)也不會(huì)進(jìn)行校驗(yàn)。

    • 添加了中間處理節(jié)點(diǎn)。

    • 源連接不支持校驗(yàn)。

    • 目標(biāo)連接不支持校驗(yàn)。

    增量同步并發(fā)寫入

    打開增量同步并發(fā)寫入開關(guān)后，增量同步時(shí)，源端數(shù)據(jù)會(huì)并發(fā)寫入目標(biāo)端。

    增量滯后判斷時(shí)間設(shè)置

    用于快速判斷復(fù)制任務(wù)是否存在滯后。

    打開增量滯后判斷時(shí)間設(shè)置開關(guān)并設(shè)置判斷時(shí)間。增量同步時(shí)，如果增量同步的滯后時(shí)間大于設(shè)置的判斷時(shí)間，則復(fù)制任務(wù)存在滯后。

    默認(rèn)值為1，單位為秒。

    處理器線程數(shù)

    處理器的線程數(shù)。

    增量數(shù)據(jù)處理模式

    增量同步時(shí)，增量數(shù)據(jù)的處理模式。取值范圍為批量、逐條。

    agent設(shè)置

    使用的Agent信息。取值范圍如下：

    • 平臺(tái)自動(dòng)分配（默認(rèn)）：由平臺(tái)分配節(jié)點(diǎn)進(jìn)行連接訪問。

    • 用戶手動(dòng)指定：設(shè)置此參數(shù)為用戶手動(dòng)指定后，選擇要使用的Agent。

  8. 確認(rèn)無誤后，單擊啟動(dòng)。

    操作完成后，您可以查看任務(wù)的執(zhí)行情況，例如QPS、延遲、任務(wù)時(shí)間統(tǒng)計(jì)等信息。