新增數(shù)據(jù)源

1. 1. 進(jìn)入數(shù)據(jù)集成頁(yè)面。

      登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)集成，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)集成。

2. 單擊左側(cè)導(dǎo)航欄中的數(shù)據(jù)源，進(jìn)入數(shù)據(jù)源列表。

3. 單擊新增數(shù)據(jù)源。

4. 在新增數(shù)據(jù)源對(duì)話框中，選擇數(shù)據(jù)源類(lèi)型為Tablestore 。

5. 填寫(xiě)Tablestore數(shù)據(jù)源的各配置項(xiàng)。

   參數(shù)	描述
   數(shù)據(jù)源名稱(chēng)	數(shù)據(jù)源名稱(chēng)必須以字母、數(shù)字、下劃線組合，且不能以數(shù)字和下劃線開(kāi)頭。
   數(shù)據(jù)源描述	對(duì)數(shù)據(jù)源進(jìn)行簡(jiǎn)單描述，不得超過(guò)80個(gè)字符。
   Endpoint	Table Store服務(wù)對(duì)應(yīng)的Endpoint。
   Table Store實(shí)例名稱(chēng)	Table Store服務(wù)對(duì)應(yīng)的實(shí)例名稱(chēng)。
   AccessKey ID	訪問(wèn)密鑰中的AccessKey ID，您可以進(jìn)入用戶信息管理頁(yè)面進(jìn)行復(fù)制。
   AccessKey Secret	訪問(wèn)密鑰中的AccessKey Secret，相當(dāng)于登錄密碼。

6. 單擊測(cè)試連通性。

7. 測(cè)試連通性通過(guò)后，單擊完成。

通過(guò)向?qū)Ｊ脚渲猛饺蝿?wù)

1. 進(jìn)入數(shù)據(jù)開(kāi)發(fā)頁(yè)面。

   登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)建模與開(kāi)發(fā) > 數(shù)據(jù)開(kāi)發(fā)，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開(kāi)發(fā)。

2. 在目標(biāo)業(yè)務(wù)流程中，右鍵單擊數(shù)據(jù)集成，選擇新建節(jié)點(diǎn) > 離線同步。

3. 在新建節(jié)點(diǎn)對(duì)話框中，輸入名稱(chēng)并選擇路徑，單擊確認(rèn)。

4. 選擇離線同步任務(wù)的數(shù)據(jù)來(lái)源Table Stream和數(shù)據(jù)去向MaxCompute（ODPS），以及用于執(zhí)行同步任務(wù)的資源組，并測(cè)試連通性。

5. 配置數(shù)據(jù)來(lái)源與去向。

   類(lèi)別	參數(shù)	描述
   數(shù)據(jù)來(lái)源	表	導(dǎo)出增量數(shù)據(jù)的表的名稱(chēng)。該表需要開(kāi)啟Stream，您可以在建表時(shí)開(kāi)啟。
   	開(kāi)始時(shí)間	增量數(shù)據(jù)的時(shí)間范圍（左閉右開(kāi)）的左邊界，格式為yyyymmddhh24miss，單位為毫秒。
   	結(jié)束時(shí)間	增量數(shù)據(jù)的時(shí)間范圍（左閉右開(kāi)）的右邊界，格式為yyyymmddhh24miss，單位為毫秒。
   	狀態(tài)表	用于記錄狀態(tài)的表的名稱(chēng)。
   	最大重試次數(shù)	從TableStore中讀增量數(shù)據(jù)時(shí)，每次請(qǐng)求的最大重試次數(shù)，默認(rèn)是30。
   	導(dǎo)出時(shí)序信息	是否導(dǎo)出時(shí)序信息，包括數(shù)據(jù)的寫(xiě)入時(shí)間等信息。
   數(shù)據(jù)去向	表	選擇需要寫(xiě)入的表。
   	分區(qū)信息	此處需同步的表是非分區(qū)表，所以無(wú)分區(qū)信息。
   	清理規(guī)則	寫(xiě)入前清理已有數(shù)據(jù)：導(dǎo)數(shù)據(jù)之前，清空表或者分區(qū)的所有數(shù)據(jù)，相當(dāng)于insert overwrite。 寫(xiě)入前保留已有數(shù)據(jù)：導(dǎo)數(shù)據(jù)之前，不清理任何數(shù)據(jù)，每次運(yùn)行數(shù)據(jù)都是追加進(jìn)去的，相當(dāng)于insert into。
   	空字符串作為null	默認(rèn)值為否。

6. 配置字段映射關(guān)系。

   左側(cè)的源頭表字段和右側(cè)的目標(biāo)表字段為一一對(duì)應(yīng)的關(guān)系。單擊添加一行可以增加單個(gè)字段，鼠標(biāo)放至需要?jiǎng)h除的字段上，即可單擊刪除圖標(biāo)進(jìn)行刪除。

7. 配置通道。

   

8. 單擊工具欄中的保存圖標(biāo)。

9. 單擊工具欄中的運(yùn)行圖標(biāo)，運(yùn)行之前需要配置自定義參數(shù)。

通過(guò)腳本模式配置同步任務(wù)

{
  "type": "job",
  "version": "1.0",
  "configuration": {
    "reader": {
      "plugin": "Tablestore",
      "parameter": {
        "datasource": "Tablestore",//數(shù)據(jù)源名，需要與您添加的數(shù)據(jù)源名稱(chēng)保持一致。
        "dataTable": "person",//導(dǎo)出增量數(shù)據(jù)的表的名稱(chēng)。該表需要開(kāi)啟Stream，可以在建表時(shí)開(kāi)啟。
        "startTimeString": "${startTime}",//增量數(shù)據(jù)的時(shí)間范圍（左閉右開(kāi)）的左邊界，格式為yyyymmddhh24miss，單位毫秒。
        "endTimeString": "${endTime}",//運(yùn)行時(shí)間。
        "statusTable": "TableStoreStreamReaderStatusTable",//用于記錄狀態(tài)的表的名稱(chēng)。
        "maxRetries": 30,//請(qǐng)求的最大重試次數(shù)。
        "isExportSequenceInfo": false,
      }
    },
    "writer": {
      "plugin": "odps",
      "parameter": {
        "datasource": "odps_source",//數(shù)據(jù)源名。
        "table": "person",//目標(biāo)表名。
        "truncate": true,
        "partition": "pt=${bdp.system.bizdate}",//分區(qū)信息。
        "column": [//目標(biāo)列名。
          "id",
          "colname",
          "version",
          "colvalue",
          "optype",
          "sequenceinfo"
        ]
      }
    },
    "setting": {
      "speed": {
        "mbps": 7,//作業(yè)速率上限，此處1mbps = 1MB/s。
        "concurrent": 7//并發(fā)數(shù)。
      }
    }
  }
}

如果配置isExportSequenceInfo項(xiàng)為true，如“isExportSequenceInfo”: true，則會(huì)導(dǎo)出時(shí)序信息，目標(biāo)會(huì)多出1行，目標(biāo)字段列則多1列。時(shí)序信息包含了數(shù)據(jù)的寫(xiě)入時(shí)間等，默認(rèn)該值為false，即不導(dǎo)出。