背景信息

數(shù)據(jù)集成離線同步，為您提供數(shù)據(jù)讀取（Reader）和寫入插件（Writer）實(shí)現(xiàn)數(shù)據(jù)的讀取與寫入，您可通過(guò)向?qū)Ｊ胶湍_本模式配置離線同步任務(wù)，實(shí)現(xiàn)源端單表同步至目標(biāo)端單表、源端分庫(kù)分表同步至目標(biāo)端單表兩類數(shù)據(jù)同步場(chǎng)景。詳情請(qǐng)參見離線同步能力說(shuō)明。

使用場(chǎng)景

以下場(chǎng)景可使用腳本模式配置同步任務(wù)：

• 數(shù)據(jù)源本身不支持使用向?qū)Ｊ脚渲萌蝿?wù)。

  說(shuō)明

  數(shù)據(jù)源是否支持向?qū)Ｊ?，以界面提示為?zhǔn)。

  

• 部分?jǐn)?shù)據(jù)源的配置參數(shù)僅支持使用腳本模式配置任務(wù)。

• 部分不支持在DataWorks創(chuàng)建的數(shù)據(jù)源可以通過(guò)腳本模式配置。

進(jìn)入數(shù)據(jù)開發(fā)界面

1. 進(jìn)入數(shù)據(jù)開發(fā)頁(yè)面。

   登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)建模與開發(fā) > 數(shù)據(jù)開發(fā)，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開發(fā)。

開發(fā)流程

1. 步驟一：新建離線同步節(jié)點(diǎn)

2. 步驟二：配置同步網(wǎng)絡(luò)鏈接

3. 步驟三：轉(zhuǎn)腳本模式并導(dǎo)入模板

4. 步驟四：編輯腳本，配置同步任務(wù)

5. 步驟五：配置調(diào)度屬性

6. 步驟六：提交并發(fā)布任務(wù)

步驟一：新建離線同步節(jié)點(diǎn)

1. 創(chuàng)建業(yè)務(wù)流程。詳情請(qǐng)參見：創(chuàng)建業(yè)務(wù)流程。

2. 創(chuàng)建離線同步節(jié)點(diǎn)。

   你可以通過(guò)以下兩種方式創(chuàng)建離線同步節(jié)點(diǎn)：

   • 方式一：展開業(yè)務(wù)流程，右鍵單擊數(shù)據(jù)集成 > 新建節(jié)點(diǎn) > 離線同步。

   • 方式二：雙擊業(yè)務(wù)流程名稱，將數(shù)據(jù)集成目錄下的離線同步節(jié)點(diǎn)直接拖拽至右側(cè)業(yè)務(wù)流程編輯面板。

3. 根據(jù)界面提示創(chuàng)建離線同步節(jié)點(diǎn)。

步驟二：配置同步網(wǎng)絡(luò)鏈接

步驟三：轉(zhuǎn)腳本模式并導(dǎo)入模板

單擊工具欄中的轉(zhuǎn)換腳本圖標(biāo)。

如果腳本還未配置，您可以通過(guò)單擊工具欄中的圖標(biāo)，根據(jù)界面提示快速導(dǎo)入腳本模板。

步驟四：編輯腳本，配置同步任務(wù)

腳本模式通用配置如下：

1. 配置讀端與寫端的基礎(chǔ)信息與字段映射關(guān)系。

   重要

   各插件配置存在一定差異，以下內(nèi)容僅以常見配置為例進(jìn)行說(shuō)明，各插件是否支持相關(guān)配置以及配置的具體實(shí)現(xiàn)，請(qǐng)以具體插件配置文檔為準(zhǔn)。詳情請(qǐng)參見支持的數(shù)據(jù)源與讀寫插件。

   通過(guò)配置參數(shù)您可以：

   • 讀取端（Reader）

     操作	說(shuō)明
     配置同步范圍	部分插件可利用過(guò)濾參數(shù)實(shí)現(xiàn)增量同步，例如，通過(guò)MySQL Reader插件同步MySQL數(shù)據(jù)時(shí)，使用MySQL Reader插件的where參數(shù)結(jié)合DataWorks調(diào)度參數(shù)實(shí)現(xiàn)增量同步。關(guān)于增量數(shù)據(jù)同步配置詳情請(qǐng)參見：場(chǎng)景：配置增量數(shù)據(jù)離線同步任務(wù)。 說(shuō)明 具體插件是否支持增量同步，及對(duì)應(yīng)增量同步的具體實(shí)現(xiàn)，各個(gè)插件存在差異，請(qǐng)以實(shí)際插件文檔為準(zhǔn)。 支持增量同步相關(guān)參數(shù)的插件在配置同步任務(wù)時(shí)，若不配置數(shù)據(jù)過(guò)濾條件，則默認(rèn)同步全量數(shù)據(jù)。 在數(shù)據(jù)過(guò)濾和目標(biāo)表相關(guān)配置中定義的變量，當(dāng)單擊下一步，配置調(diào)度屬性時(shí)，您可以為此處定義的變量賦值。實(shí)現(xiàn)增量或全量數(shù)據(jù)寫入目標(biāo)表對(duì)應(yīng)時(shí)間分區(qū)等功能，關(guān)于調(diào)度參數(shù)的使用詳情請(qǐng)參見：調(diào)度參數(shù)支持的格式。 增量同步過(guò)濾條件的語(yǔ)法與數(shù)據(jù)庫(kù)語(yǔ)法基本一致，同步時(shí)，離線同步將拼接為完整SQL向?qū)?yīng)數(shù)據(jù)源抽取數(shù)據(jù)。
     關(guān)系型數(shù)據(jù)庫(kù)配置切分鍵	定義將源端待同步數(shù)據(jù)基于源端哪一個(gè)字段進(jìn)行切分，同步任務(wù)執(zhí)行時(shí)將根據(jù)該字段切分為多個(gè)task，以便并發(fā)、分批讀取數(shù)據(jù)。 說(shuō)明 推薦splitPk用戶使用表主鍵，因?yàn)楸碇麈I通常情況下比較均勻，因此切分出來(lái)的分片也不容易出現(xiàn)數(shù)據(jù)熱點(diǎn)。 目前splitPk僅支持整型數(shù)據(jù)切分，不支持字符串、浮點(diǎn)和日期等其他類型 。如果您指定其他非支持類型，將會(huì)忽略splitPk功能，使用單通道進(jìn)行同步。 如果不填寫splitPk，包括不提供splitPk或者splitPk值為空，數(shù)據(jù)同步視作使用單通道同步該表數(shù)據(jù) 。 并非所有插件均支持指定切分鍵配置任務(wù)切分邏輯，以上僅為示例，請(qǐng)以具體插件說(shuō)明為準(zhǔn)。詳情請(qǐng)參見支持的數(shù)據(jù)源與讀寫插件。
     為目標(biāo)字段賦值	支持在源表待同步字段（column）上，為目標(biāo)表增加常量與變量。例如，‘123’、'${變量名}'。在此處定義的變量，當(dāng)單擊下一步，配置調(diào)度時(shí)，可以為變量賦值。關(guān)于調(diào)度參數(shù)的使用詳情請(qǐng)參見：調(diào)度參數(shù)支持的格式。
     編輯源端表字段	您可使用源端數(shù)據(jù)庫(kù)支持的函數(shù)，對(duì)字段進(jìn)行函數(shù)處理，例如，通過(guò)Max(id)控制僅同步最大值。 說(shuō)明 MaxCompute Reader暫不支持使用函數(shù)。

   • 寫入端（Writer）

     操作	說(shuō)明
     配置同步前后執(zhí)行語(yǔ)句	部分?jǐn)?shù)據(jù)源支持在同步前（數(shù)據(jù)寫入目標(biāo)端數(shù)據(jù)源前）與同步完成后（數(shù)據(jù)寫入目標(biāo)端后），在目標(biāo)端執(zhí)行相關(guān)數(shù)據(jù)庫(kù)SQL。 示例：MySQL Writer支持配置preSql與postSql，即在數(shù)據(jù)寫入MySQL前或后，可以執(zhí)行一些MySQL命令。例如在MySQL Writer端導(dǎo)入前準(zhǔn)備語(yǔ)句（preSql）配置項(xiàng)中配置MySQL清空表命令truncate table tablename，實(shí)現(xiàn)同步前（寫入MYSQL數(shù)據(jù)前）先清空表中的舊數(shù)據(jù)的操作。
     定義沖突時(shí)的寫入模式	定義路徑或主鍵等場(chǎng)景沖突時(shí)以何種方式寫入目標(biāo)端。該配置根據(jù)數(shù)據(jù)源本身特性及writer插件支持情況，此處配置不同。您需要參考具體writer插件進(jìn)行配置。

2. 通道控制。

   您可以在setting域中進(jìn)行效率配置，主要包括并發(fā)數(shù)設(shè)置、同步速率設(shè)置、同步臟數(shù)據(jù)設(shè)置等信息。

   參數(shù)	描述
   executeMode（分布式處理能力）	用于控制是否開啟分布式模式來(lái)執(zhí)行當(dāng)前任務(wù)。 distribute：開啟分布式處理能力。分布式執(zhí)行模式可以將您的任務(wù)切片分散到多臺(tái)執(zhí)行節(jié)點(diǎn)上并發(fā)執(zhí)行，進(jìn)而做到同步速度隨執(zhí)行集群規(guī)模做水平擴(kuò)展，突破單機(jī)執(zhí)行瓶頸。 null：不開啟分布式處理能力。配置的并發(fā)數(shù)據(jù)僅僅是單機(jī)上的進(jìn)程并發(fā)，無(wú)法利用多機(jī)聯(lián)合計(jì)算。 重要 如果獨(dú)享資源組只有1臺(tái)機(jī)器，不建議使用分布式，因?yàn)闊o(wú)法利用多機(jī)資源能力。 如果單機(jī)已經(jīng)滿足速度需要，建議優(yōu)選單機(jī)模式，簡(jiǎn)化任務(wù)執(zhí)行模式。 并發(fā)數(shù)大于等于8個(gè)才能開啟分布式處理能力。 部分?jǐn)?shù)據(jù)與支持分布式模式執(zhí)行任務(wù)，詳情請(qǐng)參見具體插件配置文檔。
   concurrent（任務(wù)期望最大并發(fā)數(shù)）	用于定義當(dāng)前任務(wù)從源端并行讀取或并行寫入目標(biāo)端的最大線程數(shù)。 說(shuō)明 由于資源規(guī)格等原因，實(shí)際執(zhí)行時(shí)并發(fā)數(shù)可能小于等于此處配置的并發(fā)數(shù)，調(diào)試資源組收費(fèi)將按照實(shí)際執(zhí)行的并發(fā)數(shù)收費(fèi)。詳情請(qǐng)參見：性能指標(biāo)。
   throttle（同步速率）	用于控制同步速率。 true：限流。以保護(hù)讀取端數(shù)據(jù)庫(kù)，避免抽取速度過(guò)大，給源庫(kù)造成太大的壓力。限速最小配置為1MB/S。 說(shuō)明 throttle設(shè)置為true時(shí)，您還需要設(shè)置mbps（同步速率）參數(shù)。 false：不限流。在不限流的情況下，任務(wù)將在所配置的并發(fā)數(shù)的限制基礎(chǔ)上，提供現(xiàn)有硬件環(huán)境下最大的傳輸性能。 說(shuō)明 流量度量值是數(shù)據(jù)集成本身的度量值，不代表實(shí)際網(wǎng)卡流量。通常，網(wǎng)卡流量是通道流量膨脹的1至2倍，實(shí)際流量膨脹取決于具體的數(shù)據(jù)存儲(chǔ)系統(tǒng)傳輸序列化情況。
   errorLimit（錯(cuò)誤記錄數(shù)控制）	用于定義臟數(shù)據(jù)閾值，及對(duì)任務(wù)的影響。 重要 當(dāng)臟數(shù)據(jù)過(guò)多時(shí)，會(huì)影響同步任務(wù)的整體同步速度。 不配置時(shí)默認(rèn)允許臟數(shù)據(jù)，即任務(wù)產(chǎn)生臟數(shù)據(jù)時(shí)不影響任務(wù)執(zhí)行。 配置為0，表示不允許臟數(shù)據(jù)存在。如果同步過(guò)程中產(chǎn)生臟數(shù)據(jù)，任務(wù)將失敗退出。 允許臟數(shù)據(jù)并設(shè)置其閾值時(shí)： 若產(chǎn)生的臟數(shù)據(jù)在閾值范圍內(nèi)，同步任務(wù)將忽略臟數(shù)據(jù)（即不會(huì)寫入目標(biāo)端），并正常執(zhí)行。 若產(chǎn)生的臟數(shù)據(jù)超出閾值范圍，同步任務(wù)將失敗退出。 說(shuō)明 臟數(shù)據(jù)認(rèn)定標(biāo)準(zhǔn)：臟數(shù)據(jù)是對(duì)業(yè)務(wù)沒有意義，格式非法或者同步過(guò)程中出現(xiàn)問(wèn)題的數(shù)據(jù)。單條數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)源過(guò)程中發(fā)生了異常，則此條數(shù)據(jù)為臟數(shù)據(jù)。 因此只要是寫入失敗的數(shù)據(jù)均被歸類于臟數(shù)據(jù)。 例如，源端是VARCHAR類型的數(shù)據(jù)寫到INT類型的目標(biāo)列中，則會(huì)因?yàn)檗D(zhuǎn)換不合理導(dǎo)致臟數(shù)據(jù)不會(huì)成功寫入目的端。您可以在同步任務(wù)配置時(shí)，控制同步過(guò)程中是否允許臟數(shù)據(jù)產(chǎn)生，并且支持控制臟數(shù)據(jù)條數(shù)，即當(dāng)臟數(shù)據(jù)超過(guò)指定條數(shù)時(shí)，任務(wù)失敗退出。

   說(shuō)明

   任務(wù)整體同步速度除受到上述配置影響外，還受源端數(shù)據(jù)源性能，同步網(wǎng)絡(luò)環(huán)境等多方面影響，關(guān)于同步速率說(shuō)明與調(diào)優(yōu)，詳情請(qǐng)參見離線同步任務(wù)調(diào)優(yōu)。

步驟五：配置調(diào)度屬性

周期性調(diào)度的離線同步任務(wù)需要配置任務(wù)自動(dòng)調(diào)度時(shí)的相關(guān)屬性，此步驟為您介紹如何配置調(diào)度相關(guān)屬性。您可以進(jìn)入離線同步節(jié)點(diǎn)的編輯頁(yè)面，單擊右側(cè)的調(diào)度配置，下文將為您介紹如何在同步任務(wù)中配置節(jié)點(diǎn)調(diào)度屬性。調(diào)度參數(shù)使用說(shuō)明請(qǐng)參見數(shù)據(jù)集成使用調(diào)度參數(shù)的相關(guān)說(shuō)明。

• 配置節(jié)點(diǎn)調(diào)度屬性：用于為任務(wù)配置階段使用的變量賦值調(diào)度參數(shù)，您在上述配置中定義的變量均可以在此處進(jìn)行賦值，支持賦值常量與變量。

• 配置時(shí)間屬性：用于定義任務(wù)在生產(chǎn)環(huán)境的周期調(diào)度方式。您可以在調(diào)度配置的時(shí)間屬性區(qū)域，配置任務(wù)生成周期實(shí)例的方式、調(diào)度類型、調(diào)度周期等屬性。

• 配置資源屬性：用于定義調(diào)度場(chǎng)景下，將當(dāng)前任務(wù)下發(fā)至數(shù)據(jù)集成任務(wù)執(zhí)行資源時(shí)所使用的調(diào)度資源組，您可以在調(diào)度配置的資源屬性區(qū)域，選擇任務(wù)調(diào)度運(yùn)行時(shí)需要使用的資源組。

  說(shuō)明

  數(shù)據(jù)集成離線任務(wù)通過(guò)調(diào)度資源組下發(fā)至對(duì)應(yīng)的數(shù)據(jù)集成任務(wù)執(zhí)行資源組上運(yùn)行，會(huì)產(chǎn)生調(diào)度相關(guān)費(fèi)用，關(guān)于任務(wù)下發(fā)機(jī)制說(shuō)明，請(qǐng)參見任務(wù)下發(fā)機(jī)制。

步驟六：提交并發(fā)布任務(wù)

若任務(wù)需要進(jìn)行周期性調(diào)度運(yùn)行，您需要將任務(wù)發(fā)布至生產(chǎn)環(huán)境。關(guān)于任務(wù)發(fā)布，詳情請(qǐng)參見：發(fā)布任務(wù)。

相關(guān)文檔

• 支持的數(shù)據(jù)源及同步方案

• 離線同步能力說(shuō)明

• 通過(guò)向?qū)Ｊ脚渲秒x線同步任務(wù)