參數(shù)

說明

節(jié)點(diǎn)名稱

任務(wù)的名稱。一個(gè)工作流定義中的節(jié)點(diǎn)名稱是唯一的。

運(yùn)行標(biāo)志

• 正常（默認(rèn)）：運(yùn)行工作流時(shí)執(zhí)行該任務(wù)。

• 禁止執(zhí)行：運(yùn)行工作流不會執(zhí)行該任務(wù)。

描述

節(jié)點(diǎn)的描述。

任務(wù)優(yōu)先級

失敗重試次數(shù)

工作流運(yùn)行失敗自動重試的次數(shù)。

失敗重試間隔

每次失敗重試的間隔。單位：分。

延時(shí)執(zhí)行時(shí)間

延時(shí)執(zhí)行時(shí)間，默認(rèn)為0，即立即執(zhí)行，設(shè)置了該值后才執(zhí)行延時(shí)操作。單位：分。

超時(shí)告警

任務(wù)提交節(jié)點(diǎn)

僅支持EMR集群worker節(jié)點(diǎn)（提交到Y(jié)arn執(zhí)行），表示任務(wù)在EMR集群的Worker節(jié)點(diǎn)提交，占用一個(gè)YARN Container。

使用該模式，您還可以選擇配置以下參數(shù)：

• 調(diào)度隊(duì)列：指定任務(wù)提交的YARN隊(duì)列。

• 任務(wù)執(zhí)行容器內(nèi)存（MB）：指定任務(wù)執(zhí)行容器的內(nèi)存。默認(rèn)值為1024。

• 虛擬核數(shù)：指定任務(wù)執(zhí)行容器的虛擬核數(shù)（vCores）。默認(rèn)值為1。

• 優(yōu)先級：指定任務(wù)執(zhí)行容器的優(yōu)先級（0-100）。默認(rèn)值為0，數(shù)值越大，優(yōu)先級越高。

• 執(zhí)行用戶：默認(rèn)提交任務(wù)的用戶為dolphinscheduler。標(biāo)準(zhǔn)集群（非高安全集群），如果需要設(shè)置執(zhí)行用戶，請確保YARN服務(wù)包含如下配置項(xiàng)：

  • yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor

  • yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users=false

自定義DATAX作業(yè)配置（JSON）

默認(rèn)關(guān)閉，啟用該參數(shù)后，還需配置DATAX作業(yè)配置（JSON），編寫JSON格式的配置文件。

數(shù)據(jù)源類型

選擇抽取數(shù)據(jù)的數(shù)據(jù)源類型。

數(shù)據(jù)源實(shí)例

選擇在數(shù)據(jù)源中心中創(chuàng)建的數(shù)據(jù)源。

數(shù)據(jù)源篩選SQL

從數(shù)據(jù)源中抽取數(shù)據(jù)的SQL語句。當(dāng)節(jié)點(diǎn)執(zhí)行SQL時(shí)會自動解析SQL查詢的列名，并將其映射為目標(biāo)表的同步列名。當(dāng)源表和目標(biāo)表的列名不一致時(shí)，可以通過使用列別名（AS）來進(jìn)行轉(zhuǎn)換。

目標(biāo)源類型

選擇同步數(shù)據(jù)的數(shù)據(jù)源類型。

目標(biāo)源實(shí)例

選擇在數(shù)據(jù)源中心中創(chuàng)建的目標(biāo)數(shù)據(jù)源，以同步數(shù)據(jù)。

目標(biāo)表

選擇同步數(shù)據(jù)的表。

目標(biāo)庫前置SQL（preSql）

SQL語句執(zhí)行前，執(zhí)行前置SQL。

目標(biāo)庫后置SQL（postSql）

SQL語句執(zhí)行完成后，執(zhí)行后置SQL。

限流（字節(jié)數(shù)）

限制查詢結(jié)果返回的字節(jié)數(shù)量。

限流（記錄數(shù)）

限制查詢結(jié)果返回的記錄數(shù)量。

自定義參數(shù)

任務(wù)自定義參數(shù)，會替換腳本中${變量}的內(nèi)容。

前置任務(wù)

設(shè)置當(dāng)前任務(wù)的前置（上游）任務(wù)。