時(shí)間屬性配置說(shuō)明
時(shí)間屬性用于定義節(jié)點(diǎn)在生產(chǎn)環(huán)境的周期調(diào)度方式。您可通過(guò)調(diào)度配置的時(shí)間屬性，配置節(jié)點(diǎn)生成周期實(shí)例的方式，實(shí)例調(diào)度周期與執(zhí)行時(shí)間，是否支持重跑，任務(wù)執(zhí)行超過(guò)多長(zhǎng)時(shí)間自動(dòng)退出等。本文為您介紹如何配置節(jié)點(diǎn)調(diào)度的時(shí)間屬性。
配置指引
您需進(jìn)入數(shù)據(jù)開(kāi)發(fā)節(jié)點(diǎn)的編輯頁(yè)面，單擊右側(cè)導(dǎo)航欄的調(diào)度配置，配置節(jié)點(diǎn)的時(shí)間屬性。
您可在調(diào)度配置中定義單個(gè)任務(wù)調(diào)度屬性，也可通過(guò)批量操作功能批量修改任務(wù)調(diào)度屬性。例如，批量修改任務(wù)調(diào)度時(shí)間，批量修改任務(wù)使用的調(diào)度資源組等。
時(shí)間屬性包含的配置類(lèi)別如下表。
類(lèi)別 | 描述 |
用于定義節(jié)點(diǎn)在生產(chǎn)環(huán)境生成實(shí)例的時(shí)間。 | |
用于定義節(jié)點(diǎn)在生產(chǎn)環(huán)境的運(yùn)行方式。 | |
用于定義任務(wù)調(diào)度日期及調(diào)度方式。 | |
用于定義節(jié)點(diǎn)在生產(chǎn)環(huán)境中的運(yùn)行頻率（生成周期實(shí)例個(gè)數(shù)及實(shí)例運(yùn)行的時(shí)間）。 | |
用于定義節(jié)點(diǎn)運(yùn)行超過(guò)多長(zhǎng)時(shí)間會(huì)失敗退出。 | |
用于定義節(jié)點(diǎn)生成的實(shí)例是否可以重跑，即從數(shù)據(jù)冪等性考慮，任務(wù)是否可以重跑，或者在什么情況下可以重跑。 | |
用于定義節(jié)點(diǎn)正常自動(dòng)調(diào)度運(yùn)行的時(shí)間范圍，該時(shí)間范圍外，節(jié)點(diǎn)將不再自動(dòng)調(diào)度。 |
使用說(shuō)明
調(diào)度任務(wù)的時(shí)間屬性配置，僅定義任務(wù)預(yù)期執(zhí)行時(shí)間，其實(shí)際是否執(zhí)行與實(shí)際執(zhí)行時(shí)間受多方因素影響，包括但不限于以下場(chǎng)景：
調(diào)度開(kāi)關(guān)控制
僅當(dāng)DataWorks工作空間開(kāi)啟啟用調(diào)度周期開(kāi)關(guān)后，工作空間中的任務(wù)才可以根據(jù)其配置自動(dòng)調(diào)度運(yùn)行。您需進(jìn)入工作空間的調(diào)度設(shè)置頁(yè)面，開(kāi)啟相應(yīng)開(kāi)關(guān)，詳情請(qǐng)參見(jiàn)調(diào)度設(shè)置。
依賴(lài)關(guān)系對(duì)任務(wù)執(zhí)行時(shí)間的影響
任務(wù)定時(shí)時(shí)間基于單個(gè)節(jié)點(diǎn)維度定義，但任務(wù)實(shí)際運(yùn)行時(shí)間與節(jié)點(diǎn)依賴(lài)的上游節(jié)點(diǎn)的定時(shí)時(shí)間有關(guān)，所以即便當(dāng)前節(jié)點(diǎn)的定時(shí)時(shí)間早于上游節(jié)點(diǎn)，當(dāng)前節(jié)點(diǎn)仍需等待上游節(jié)點(diǎn)的定時(shí)時(shí)間到來(lái)并且執(zhí)行成功后，當(dāng)前節(jié)點(diǎn)才會(huì)執(zhí)行，詳情請(qǐng)參見(jiàn)依賴(lài)關(guān)系對(duì)任務(wù)執(zhí)行的影響。
執(zhí)行資源對(duì)任務(wù)執(zhí)行時(shí)間的影響
當(dāng)前節(jié)點(diǎn)的執(zhí)行，除了取決于上游父節(jié)點(diǎn)的定時(shí)時(shí)間及運(yùn)行是否成功外，還與當(dāng)前節(jié)點(diǎn)本身執(zhí)行所用的資源組有關(guān)。任務(wù)執(zhí)行時(shí)間點(diǎn)是否存在充足的資源也將影響任務(wù)的執(zhí)行，詳情請(qǐng)參見(jiàn)任務(wù)執(zhí)行機(jī)制。
環(huán)境影響
DataWorks僅生產(chǎn)環(huán)境才會(huì)自動(dòng)調(diào)度，若需要進(jìn)行周期調(diào)度，您需要將任務(wù)發(fā)布至生產(chǎn)環(huán)境。開(kāi)發(fā)環(huán)境不支持自動(dòng)調(diào)度。
調(diào)度任務(wù)執(zhí)行方式
DataWorks上，調(diào)度任務(wù)會(huì)根據(jù)調(diào)度類(lèi)型及周期數(shù)生成相應(yīng)的周期實(shí)例（例如，小時(shí)調(diào)度任務(wù)每天會(huì)根據(jù)周期數(shù)產(chǎn)生相應(yīng)數(shù)量的小時(shí)實(shí)例），并通過(guò)實(shí)例的方式運(yùn)行任務(wù)。
調(diào)度時(shí)間
在凌晨業(yè)務(wù)高峰期，所有定時(shí)時(shí)間設(shè)置為00:00點(diǎn)的任務(wù)（包括工作空間根節(jié)點(diǎn)），預(yù)計(jì)將于00:00~00:05之間調(diào)度運(yùn)行。
實(shí)例生成方式
節(jié)點(diǎn)提交發(fā)布至生產(chǎn)環(huán)境調(diào)度系統(tǒng)后，平臺(tái)會(huì)根據(jù)節(jié)點(diǎn)配置的實(shí)例生成方式（包括T+1次日生成和發(fā)布后即時(shí)生成）生成自動(dòng)調(diào)度的周期實(shí)例，無(wú)論使用哪種實(shí)例生成方式，都可在運(yùn)維中心的周期任務(wù)界面看到任務(wù)的最新依賴(lài)情況。但周期實(shí)例何時(shí)生效或依賴(lài)關(guān)系何時(shí)更新，與您選擇的實(shí)例生成方式有關(guān)，具體如下。
無(wú)論選擇哪種實(shí)例生成方式，23：30~24：00時(shí)間段的變更操作均會(huì)在節(jié)點(diǎn)發(fā)布至生產(chǎn)環(huán)境后的第三天生效，請(qǐng)盡量避免在該時(shí)間段執(zhí)行任務(wù)變更操作。
實(shí)例生成方式 | 說(shuō)明 |
T+1次日生成 | 節(jié)點(diǎn)發(fā)布至生產(chǎn)環(huán)境后第二天自動(dòng)調(diào)度，您可在周期實(shí)例頁(yè)面查看任務(wù)的執(zhí)行情況。 若您當(dāng)天需執(zhí)行任務(wù)，可選擇對(duì)該任務(wù)執(zhí)行補(bǔ)數(shù)據(jù)操作。補(bǔ)數(shù)據(jù)選擇業(yè)務(wù)時(shí)間昨天與今天的周期實(shí)例執(zhí)行情況一致。 |
節(jié)點(diǎn)發(fā)布至生產(chǎn)環(huán)境后當(dāng)天自動(dòng)調(diào)度，您可在周期實(shí)例頁(yè)面查看任務(wù)的執(zhí)行情況。 說(shuō)明 僅當(dāng)節(jié)點(diǎn)設(shè)置的定時(shí)時(shí)間為未來(lái)時(shí)間，該實(shí)例才會(huì)正常執(zhí)行；定時(shí)時(shí)間為過(guò)去時(shí)間的實(shí)例將會(huì)空跑，不真實(shí)執(zhí)行任務(wù)（此處存在十分鐘時(shí)間間隔）。
|
調(diào)度類(lèi)型
DataWorks支持的調(diào)度類(lèi)型如下表所示。
調(diào)度類(lèi)型 | 影響說(shuō)明 | 使用場(chǎng)景 |
正常調(diào)度 | 按照調(diào)度周期配置的定時(shí)時(shí)間啟動(dòng)調(diào)度，正常執(zhí)行任務(wù)（即會(huì)真實(shí)跑數(shù)據(jù)）。 當(dāng)前節(jié)點(diǎn)正常執(zhí)行后，也會(huì)觸發(fā)下游節(jié)點(diǎn)正常調(diào)度執(zhí)行，通常任務(wù)的調(diào)度類(lèi)型默認(rèn)選中該項(xiàng)。 | 正常狀態(tài)運(yùn)行的周期任務(wù)，并且生成的周期實(shí)例也是正常狀態(tài)運(yùn)行。 |
暫停調(diào)度 | 按照調(diào)度周期配置的定時(shí)時(shí)間啟動(dòng)調(diào)度，但節(jié)點(diǎn)狀態(tài)被置為暫停（即不會(huì)真實(shí)跑數(shù)據(jù)）。 調(diào)度到該任務(wù)時(shí)，系統(tǒng)會(huì)直接返回失敗，并且會(huì)阻塞依賴(lài)當(dāng)前節(jié)點(diǎn)的下游節(jié)點(diǎn)執(zhí)行。 說(shuō)明 暫停狀態(tài)的節(jié)點(diǎn)在運(yùn)維中心的圖標(biāo)標(biāo)識(shí)為 | 凍結(jié)狀態(tài)的周期任務(wù)，其生成的周期實(shí)例也為凍結(jié)狀態(tài)。當(dāng)前節(jié)點(diǎn)不可執(zhí)行，并且阻塞下游節(jié)點(diǎn)執(zhí)行。 當(dāng)某類(lèi)業(yè)務(wù)流程在一定時(shí)間內(nèi)不需要執(zhí)行時(shí)，可選擇此調(diào)度類(lèi)型來(lái)凍結(jié)業(yè)務(wù)流程根節(jié)點(diǎn)。當(dāng)業(yè)務(wù)需要執(zhí)行時(shí)，可再對(duì)業(yè)務(wù)流程根節(jié)點(diǎn)執(zhí)行解凍操作。解凍任務(wù)，詳情請(qǐng)參見(jiàn)任務(wù)凍結(jié)與解凍。 |
空跑調(diào)度 | 按照調(diào)度周期配置的定時(shí)時(shí)間啟動(dòng)調(diào)度，但該節(jié)點(diǎn)為空跑狀態(tài)（即不會(huì)真實(shí)跑數(shù)據(jù)）。 調(diào)度到該任務(wù)時(shí)，系統(tǒng)會(huì)直接返回成功（執(zhí)行時(shí)長(zhǎng)為 | 當(dāng)某個(gè)節(jié)點(diǎn)在一定時(shí)間內(nèi)不需要執(zhí)行，并且不阻塞他的下游節(jié)點(diǎn)執(zhí)行時(shí)，可選擇此類(lèi)型調(diào)度。 |
。調(diào)度日歷
用于定義任務(wù)的調(diào)度日期與調(diào)度方式，DataWorks支持如下兩種日歷：
默認(rèn)日歷：平臺(tái)提供，適用于通用場(chǎng)景。
自定義調(diào)度日歷：用戶(hù)自定義，適用于有靈活調(diào)度日期需求的行業(yè)及場(chǎng)景（例如，金融行業(yè)）。可根據(jù)需要配置日歷所應(yīng)用的工作空間、日歷的有效期、指定日期任務(wù)的調(diào)度方式等規(guī)則，詳情請(qǐng)參見(jiàn)配置調(diào)度日歷。
您需根據(jù)所選調(diào)度日歷，結(jié)合調(diào)度類(lèi)型及調(diào)度周期等其他調(diào)度配置，實(shí)現(xiàn)任務(wù)在指定時(shí)間進(jìn)行調(diào)度。
調(diào)度周期
調(diào)度周期即任務(wù)在調(diào)度場(chǎng)景下自動(dòng)執(zhí)行的周期數(shù)，用于定義在生產(chǎn)環(huán)境調(diào)度系統(tǒng)中，多久會(huì)真實(shí)執(zhí)行一次節(jié)點(diǎn)中的代碼邏輯。調(diào)度任務(wù)會(huì)根據(jù)調(diào)度類(lèi)型及周期數(shù)生成相應(yīng)的周期實(shí)例（例如，小時(shí)調(diào)度任務(wù)每天會(huì)根據(jù)周期數(shù)產(chǎn)生相應(yīng)數(shù)量的小時(shí)實(shí)例），通過(guò)周期實(shí)例的方式自動(dòng)調(diào)度運(yùn)行周期任務(wù)。
任務(wù)調(diào)度頻率與上游任務(wù)周期無(wú)關(guān)
任務(wù)多久調(diào)度一次與任務(wù)本身定義的調(diào)度周期有關(guān)，與上游任務(wù)調(diào)度周期無(wú)關(guān)。
DataWorks支持不同調(diào)度周期的任務(wù)互相依賴(lài)
DataWorks中，調(diào)度任務(wù)會(huì)根據(jù)調(diào)度類(lèi)型及周期數(shù)生成相應(yīng)的周期實(shí)例（例如，小時(shí)調(diào)度任務(wù)每天會(huì)根據(jù)周期數(shù)產(chǎn)生相應(yīng)數(shù)量的小時(shí)實(shí)例），通過(guò)實(shí)例的方式運(yùn)行任務(wù)。周期任務(wù)設(shè)置的依賴(lài)關(guān)系，其本質(zhì)是任務(wù)間所生成實(shí)例的依賴(lài)。上下游任務(wù)的調(diào)度類(lèi)型不同，其生成的周期實(shí)例數(shù)及實(shí)例的依賴(lài)情況不同。不同調(diào)度周期的上下游依賴(lài)情況，請(qǐng)參見(jiàn)必讀：復(fù)雜依賴(lài)場(chǎng)景調(diào)度配置原則與示例。
非調(diào)度時(shí)間任務(wù)會(huì)空跑
DataWorks上非每天調(diào)度的任務(wù)（例如周、月調(diào)度的任務(wù)）在非調(diào)度時(shí)間內(nèi)會(huì)空跑，當(dāng)?shù)竭_(dá)任務(wù)定義的調(diào)度時(shí)間后立即返回成功狀態(tài)。若下游存在日調(diào)度任務(wù)，會(huì)調(diào)起該下游日調(diào)度任務(wù)正常執(zhí)行。即上游空跑，下游調(diào)度任務(wù)正常根據(jù)節(jié)點(diǎn)定義的調(diào)度時(shí)間執(zhí)行。
任務(wù)執(zhí)行時(shí)間說(shuō)明
此處僅設(shè)置任務(wù)預(yù)期調(diào)度時(shí)間，任務(wù)的實(shí)際執(zhí)行時(shí)間受多方因素影響。例如，上游定時(shí)時(shí)間、任務(wù)執(zhí)行資源情況、任務(wù)實(shí)際運(yùn)行條件等，詳情請(qǐng)參見(jiàn)任務(wù)運(yùn)行條件說(shuō)明。
DataWorks支持的調(diào)度類(lèi)型如下。
調(diào)度類(lèi)型 | 說(shuō)明 | 典型場(chǎng)景配置示例 |
分鐘調(diào)度即每天指定的時(shí)間段內(nèi)，調(diào)度任務(wù)按 | 每30分鐘運(yùn)行一次。 | |
小時(shí)調(diào)度即每天指定的時(shí)間段內(nèi)，調(diào)度任務(wù)按 | 每小時(shí)運(yùn)行一次。 | |
日調(diào)度即調(diào)度節(jié)點(diǎn)每天在指定的定時(shí)時(shí)間運(yùn)行一次。新建周期任務(wù)時(shí)，日調(diào)度默認(rèn)的時(shí)間周期為每天0點(diǎn)運(yùn)行一次。您可根據(jù)需要自行指定運(yùn)行時(shí)間點(diǎn)。 | 每天凌晨24點(diǎn)運(yùn)行。 | |
周調(diào)度即調(diào)度任務(wù)每周的特定幾天，在特定時(shí)間點(diǎn)自動(dòng)運(yùn)行一次。 重要 非調(diào)度時(shí)間內(nèi)任務(wù)每日仍會(huì)生成實(shí)例，實(shí)例顯示為成功狀態(tài)，但實(shí)際會(huì)空跑，不會(huì)真實(shí)執(zhí)行任務(wù)。 | 每周五中午12點(diǎn)運(yùn)行。 | |
月調(diào)度即調(diào)度任務(wù)在每月的特定幾天，在特定時(shí)間點(diǎn)自動(dòng)運(yùn)行一次。 重要 非調(diào)度時(shí)間內(nèi)任務(wù)每日仍會(huì)生成實(shí)例，實(shí)例顯示為成功狀態(tài)，但實(shí)際空跑，不會(huì)真實(shí)執(zhí)行任務(wù)。 | 每個(gè)月最后一天運(yùn)行。 | |
年調(diào)度即調(diào)度任務(wù)在每年的特定幾天，在特定時(shí)間點(diǎn)自動(dòng)運(yùn)行一次。 重要 非調(diào)度時(shí)間內(nèi)任務(wù)每日仍會(huì)生成實(shí)例，實(shí)例顯示為成功狀態(tài)，但實(shí)際會(huì)空跑，不會(huì)真實(shí)執(zhí)行任務(wù)。 | 每季度首月最后一天運(yùn)行。 |
超時(shí)定義
設(shè)置超時(shí)時(shí)間后，如果任務(wù)運(yùn)行時(shí)長(zhǎng)超過(guò)超時(shí)時(shí)間，任務(wù)將自動(dòng)終止運(yùn)行。其配置說(shuō)明如下：
超時(shí)時(shí)間對(duì)周期實(shí)例、補(bǔ)數(shù)據(jù)實(shí)例、測(cè)試實(shí)例均生效。
超時(shí)時(shí)間默認(rèn)值為3~7天，系統(tǒng)根據(jù)實(shí)際負(fù)載情況動(dòng)態(tài)調(diào)整默認(rèn)的任務(wù)超時(shí)時(shí)間，范圍為3～7天不等。
手動(dòng)設(shè)定超時(shí)時(shí)間時(shí)，最大值可設(shè)置為168小時(shí)（7天）。
重跑說(shuō)明
您可在時(shí)間屬性中配置節(jié)點(diǎn)在特定情況下重跑，以及指定重跑時(shí)間及次數(shù)。
使用重跑屬性時(shí)，應(yīng)盡量保證任務(wù)的冪等性（特殊任務(wù)除外），避免在任務(wù)出錯(cuò)重跑后，出現(xiàn)大量數(shù)據(jù)質(zhì)量問(wèn)題。例如，在ODPS SQL的開(kāi)發(fā)過(guò)程中，使用
insert overwrite語(yǔ)句來(lái)替代insert into語(yǔ)句。DataWorks工作空間的調(diào)度設(shè)置頁(yè)面，用于設(shè)置重跑相關(guān)參數(shù)的默認(rèn)值，設(shè)置后，新創(chuàng)建的任務(wù)將使用該默認(rèn)配置。詳情請(qǐng)參見(jiàn)調(diào)度設(shè)置。
重跑屬性
重跑屬性不能為空，其支持的類(lèi)型及應(yīng)用場(chǎng)景如下表所示。
說(shuō)明單擊去設(shè)置默認(rèn)重跑屬性值，即可設(shè)置重跑屬性的默認(rèn)值。
類(lèi)型
應(yīng)用場(chǎng)景
運(yùn)行成功或失敗后均可重跑
如果節(jié)點(diǎn)多次重跑不會(huì)影響結(jié)果，可選擇使用該重跑類(lèi)型。
運(yùn)行成功后不可重跑，運(yùn)行失敗后可以重跑
如果節(jié)點(diǎn)運(yùn)行一次成功后，重跑后會(huì)影響運(yùn)行結(jié)果，而運(yùn)行失敗后重跑不會(huì)影響結(jié)果，可選擇使用該重跑類(lèi)型。
運(yùn)行成功或失敗后皆不可重跑
如果節(jié)點(diǎn)不管運(yùn)行成功或失敗，重跑后都會(huì)影響運(yùn)行結(jié)果（例如，某些數(shù)據(jù)同步節(jié)點(diǎn)），可選擇使用該重跑類(lèi)型。
說(shuō)明當(dāng)選擇該類(lèi)型時(shí)，如果系統(tǒng)出故障，在故障恢復(fù)后，系統(tǒng)也不會(huì)自動(dòng)重跑相應(yīng)節(jié)點(diǎn)。
不支持配置出錯(cuò)自動(dòng)重跑。
出錯(cuò)自動(dòng)重跑
出錯(cuò)自動(dòng)重跑（即任務(wù)運(yùn)行失敗后會(huì)自動(dòng)觸發(fā)重跑）的配置參數(shù)說(shuō)明如下表所示。
參數(shù)
描述
重跑次數(shù)
周期任務(wù)調(diào)度執(zhí)行失敗的情況下，默認(rèn)自動(dòng)重跑的次數(shù)。
重跑次數(shù)最少配置為1（即任務(wù)出錯(cuò)后自動(dòng)重跑1次），最多配置為10（即任務(wù)出錯(cuò)后會(huì)自動(dòng)重跑10次）。您可以根據(jù)業(yè)務(wù)需要進(jìn)行修改。
重跑間隔
默認(rèn)每次重跑的間隔為30分鐘，最小支持設(shè)置為1分鐘，最大支持設(shè)置為30分鐘。
說(shuō)明當(dāng)重跑屬性設(shè)置為運(yùn)行成功或失敗后皆不可重跑時(shí)，則不會(huì)顯示出錯(cuò)自動(dòng)重跑屬性，即任務(wù)出錯(cuò)不會(huì)自動(dòng)重跑。
您可以在調(diào)度配置頁(yè)面，設(shè)置工作空間級(jí)別的默認(rèn)重跑次數(shù)和重跑間隔。詳情請(qǐng)參見(jiàn)調(diào)度設(shè)置。
任務(wù)執(zhí)行時(shí)，超過(guò)了超時(shí)時(shí)間導(dǎo)致的節(jié)點(diǎn)失敗，自動(dòng)重跑配置將不生效。
生效日期
調(diào)度節(jié)點(diǎn)在有效日期內(nèi)生效并自動(dòng)調(diào)度，超過(guò)有效期的任務(wù)將不會(huì)自動(dòng)調(diào)度。此類(lèi)任務(wù)為過(guò)期任務(wù)，您可在運(yùn)維大屏查看過(guò)期任務(wù)數(shù)量，并根據(jù)情況對(duì)其做下線等處理。
附錄：關(guān)于空跑現(xiàn)象說(shuō)明
包含指定執(zhí)行日期的周、月、年調(diào)度節(jié)點(diǎn)，在不真實(shí)跑數(shù)據(jù)的日期內(nèi)，同樣會(huì)按照調(diào)度周期的定時(shí)時(shí)間啟動(dòng)調(diào)度。但該實(shí)例的狀態(tài)為空跑狀態(tài)（即不會(huì)真實(shí)跑數(shù)據(jù)）。當(dāng)調(diào)度到空跑狀態(tài)的實(shí)例時(shí)，其空跑表現(xiàn)如下：
系統(tǒng)直接返回運(yùn)行成功，即執(zhí)行時(shí)長(zhǎng)為
0秒。不會(huì)真正執(zhí)行任務(wù)，即執(zhí)行日志為空。
不會(huì)阻塞依賴(lài)當(dāng)前節(jié)點(diǎn)的下游節(jié)點(diǎn)執(zhí)行，即下游節(jié)點(diǎn)正常執(zhí)行。
不會(huì)占用資源。