使用限制

• 實例清理原則

  • 不支持手動刪除補數據實例，實例過期后（30天左右）平臺將自動刪除。如果任務不需要再運行，可選擇凍結實例。

  • 公共調度資源組實例保留一個月（30天），日志保留一周（7天）。

  • 獨享調度資源組任務實例、日志均保留一個月（30天）。

  • 運行完成的實例，當日志大于3M時，平臺會每天定時清理。

• 權限限制

  對于補數據中選擇的根任務或其下游任務，若您沒有任務所在工作空間的操作權限，則無法對該任務執行補數據。如果工作空間的任務為本次補數據的中間任務（即該任務的上下游依賴在此次補數據范圍內），為保障下游任務運行，該任務將空跑（不會真實執行，任務啟動運行后立即返回成功狀態），可能導致該任務的下游任務數據產出異常，請謹慎操作。

注意事項

• 實例運行相關

  • 當補一個區間的數據時，若啟動補數據的第一天存在一個運行失敗的實例，則當天的補數據實例均會被置為失敗狀態，第二天的實例也不會啟動運行。僅當第一天的全部實例均運行成功，第二天的實例才會啟動運行。

  • 小時或分鐘任務補某一天數據時，當天所有實例是否并發執行與任務是否設置自依賴有關。

  • 如果周期實例和補數據實例均啟動運行，為保證周期實例正常運行，您需要終止補數據實例的運行。

  • 支持將無需補數據的任務添加至黑名單。若黑名單中的任務為本次補數據的中間任務（即該任務的上下游依賴在此次補數據范圍內），為保障下游任務運行，該任務將空跑（不會真實執行，任務啟動運行后立即返回成功狀態），但可能導致該任務的下游任務數據產出異常。

• 調度資源相關

  • 補數據實例過多或并行數過高可能導致周期調度的資源緊張，請根據需求合理配置。

  • 為避免補數據實例占用過多的資源而影響周期實例運行，平臺對補數據實例制定以下規則：

    • 如果補數據選擇業務日期為昨天（T-1），即補當天數據時，補數據任務優先級由任務所在基線優先級決定。

    • 如果補數據選擇業務日期為歷史業務日期（T-2）時，補數據任務將按照以下規則對任務進行降級處理：

      • 7級、8級任務優先級降為3級。

      • 5級、3級任務優先級降為2級。

      • 1級任務優先級保持不變。

進入補數據界面

1. 進入運維中心頁面。

   登錄DataWorks控制臺，切換至目標地域后，單擊左側導航欄的數據建模與開發 > 運維中心，在下拉框中選擇對應工作空間后單擊進入運維中心。

2. 在左側導航欄單擊運維助手 > 補數據，進入補數據頁面。

步驟一：新建補數據任務

在補數據頁面單擊新建補數據任務，根據業務需求配置補數據任務。

1. 配置基礎信息。

   平臺自動生成默認格式的補數據名稱，您可按需修改。

2. 選擇要補數據的任務。

   您可通過手動選擇、按鏈路、按工作空間、指定任務及所有下游等方式，對您有權限操作的任務發起補數據，并基于該任務選擇需要補數據的其他任務，不同方式的配置參數存在差異。

   手動選擇

   選擇一個或多個任務作為根任務，再選擇根任務的下游任務作為本次補數據的任務范圍。該方式兼容原“當前節點”、“當前節點及下游節點”以及“高級模式”補數據方案。

   參數說明如下。

   參數	描述
   方式選擇	選擇手動選擇。
   搜索根任務	通過名稱或ID搜索、添加根任務。您也可單擊批量添加，通過資源組、調度周期、工作空間等條件搜索，批量添加多個根任務。 說明 僅支持選擇您已加入工作空間（即您為工作空間成員）的任務。
   已選補數據列表	待執行補數據的任務。列表展示已添加的根任務，您可基于根任務選擇要執行補數據的下游任務。 說明 支持根據依賴關系的層級篩選下游任務，根任務的直接下游任務默認在一層，以此類推。 最大支持同時執行補數據的根任務數上限為500，總任務數（即根任務及其下游任務）上限為2000。
   任務黑名單	若某任務無需補數據，可將其添加至黑名單。黑名單中的任務將不參與本次補數據。 說明 僅支持將根任務納入黑名單，若根任務中的子任務不需要補數據，請在已選補數據列表將其移除。 若黑名單中的任務為本次補數據的中間任務（即該任務的上下游依賴在此次補數據范圍內），為保障下游任務運行，該任務將空跑（不會真實執行，任務啟動運行后立即返回成功狀態），但可能導致該任務的下游任務數據產出異常。

   按鏈路選擇

   選擇一個起始任務，以及一個或多個結束任務，通過自動分析，將根任務與結束任務間的所有任務作為本次補數據的任務范圍（包括起始任務和結束任務）。

   參數說明如下。

   參數	描述
   方式選擇	選擇按鏈路。
   搜索任務	通過名稱或ID搜索，添加一個起始任務，以及一個或多個結束任務，平臺將根據起始及結束任務分析中間任務（即中間任務為起始任務的直接或間接下游任務，為結束任務的直接或間接上游任務）。
   中間任務列表	平臺根據起始任務及結束任務自動分析到的中間任務列表。 說明 列表僅展示2000個任務，超過2000的任務不會被展示，但會正常執行。
   任務黑名單	若某任務無需補數據，可將其添加至黑名單。黑名單中的任務將不參與本次補數據。 說明 若黑名單中的任務為本次補數據的中間任務（即該任務的上下游依賴在此次補數據范圍內），為保障下游任務運行，該任務將空跑（不會真實執行，任務啟動運行后立即返回成功狀態），但可能導致該任務的下游任務數據產出異常。

   按工作空間選擇

   選擇一個任務作為根任務，并按照下游節點所在工作空間確定本次補數據的任務范圍。該方式兼容原“海量節點模式”補數據方案。

   參數	描述
   方式選擇	選擇按工作空間。
   搜索根任務	通過名稱或ID搜索、添加根任務。平臺將對根任務下游任務所在工作空間的任務進行補數據。 說明 僅支持選擇您已加入工作空間（即您為工作空間成員）的任務。
   包含根節點	定義此次補數據是否包含根任務。
   補數據工作空間	基于根任務下游任務所在的工作空間，選擇需要對哪些工作空間中的節點進行補數據。 說明 僅支持選擇當前所在地域中的DataWorks工作空間進行補數據操作。 選擇工作空間后，默認對工作空間的所有節點補數據，您可根據需要自定義補數據的黑白名單。
   任務白名單	除選中的工作空間包含的節點外，仍需要進行補數據的節點。
   任務黑名單	選中的工作空間中不需要進行補數據的節點。

   指定任務及所有下游

   選擇一個根任務后，平臺會自動分析，將該任務及所有下游任務作為本次補數據的任務范圍。

   重要

   僅在補數據任務運行時，才能看到觸發運行的任務，請謹慎使用。

   

   參數說明如下。

   參數	描述
   方式選擇	選擇指定任務及所有下游。
   搜索根任務	通過名稱或ID搜索、添加根任務。平臺將對根任務及其所有下游任務進行補數據。 說明 僅支持選擇您已加入的工作空間（即您為工作空間成員）的任務。 若所選根任務沒有下游任務，則補數據任務提交后將只補當前根任務的數據。
   任務黑名單	若某任務無需補數據，可將其添加至黑名單。黑名單中的任務將不參與本次補數據。 說明 若黑名單中的任務為本次補數據的中間任務（即該任務的上下游依賴在此次補數據范圍內），為保障下游任務運行，該任務將空跑（不會真實執行，任務啟動運行后立即返回成功狀態），但可能導致該任務的下游任務數據產出異常。

3. 配置補數據運行策略。

   根據業務需要配置補數據任務的運行時間、是否并行、是否觸發告警、所使用的資源組等信息。

   參數說明如下。

   參數	描述
   業務日期	指定所選任務需要進行補數據的業務日期，精確到天。 如需對該任務的多個不連續的時間段補數據，可單擊添加多段業務日期，配置多個時間段。 當業務日期晚于當前日期，可選擇立即運行定時時間大于此刻的補數據實例，后續當實際時間大于配置的業務日期時，平臺會立即運行該補數據實例。 例如，當前日期為2024-03-12，業務日期為2024-03-17，則等實際日期為2024-03-18（大于業務日期）時，補數據實例便會啟動運行。 說明 在離線計算中，最常見的是今天處理昨天的數據，此處昨天就是業務日期。在補數據過程中，會根據您選擇的業務日期生成當時的任務實例，以便您可以回溯指定時間的數據。 建議補數據的時間不要太長，以免出現任務需要等待資源的情況。
   指定周期	指定所選任務需要運行的周期。任務的定時時間在該時間段內，任務才會生成實例并執行。您可通過本功能指定小時、分鐘調度任務只運行指定周期的實例（即只補指定周期內的數據）。默認為00：00~23：59。 說明 任務的定時時間不在該時間段內，任務不會生成實例。若存在大周期依賴小周期的情況（例如，天任務依賴小時任務），可能會產生孤立實例，阻塞任務運行。 建議僅在小時、分鐘調度任務需要補指定周期的數據時修改該參數配置。
   并行	若對多個業務日期執行補數據時，可指定若干個分組并發執行本次補數據任務。取值如下： 是：平臺將按照指定的分組數對業務日期進行拆分，根據分組結果生成多個補數據批次并發執行。 否：按照業務日期順序串行執行，前一個補數據實例運行結束后下一個補數據實例才會運行。 說明 小時、分鐘任務某天實例是否并發執行，與小時、分鐘任務本身是否設置自依賴有關。 并行數取值范圍為2~10組，多個實例并發執行的情況如下： 若業務日期的跨度時間少于并行組數，則任務并發執行。 例如，業務日期為1月11日~1月13日，并行數為4組，則只會生成三個補數據實例（每個補數據實例對應一個業務日期），三個實例并發執行。 若業務日期的跨度時間大于并行組數，則平臺根據業務日期順序兼有串行和并行執行任務。 例如，業務日期為1月11日~1月13日，并行數為2組，則會生成兩個補數據實例（其中一個補數據實例會包含兩個業務日期，這兩個業務日期對應的任務串行執行），兩個補數據實例并行執行。
   補數據告警	設置此次補數據操作是否會觸發告警。 是：滿足觸發條件則產生告警。 否：此次補數據不會觸發告警。
   觸發條件	設置告警觸發條件： 失敗或成功皆告警：無論補數據運行成功或失敗，均會產生告警。 成功告警：補數據成功時才會產生告警。 失敗告警：補數據失敗時才會產生告警。 說明 僅當補數據告警選擇是時，需配置該參數。
   告警方式	選擇通過短信與郵件、短信、郵件等方式接收告警，告警接收人為補數據的發起人。 說明 僅當補數據告警選擇是時，需配置該參數。 單擊檢驗聯系方式，即可驗證報警接收人的手機號或郵箱是否已登記。若未登記，可參考查看和設置報警聯系人配置。
   順序	選擇按照業務日期正序或業務日期倒序進行補數據。
   調度資源組	指定運行補數據實例使用的資源組。 跟隨任務配置：使用周期任務原本配置的資源組執行補數據實例。 指定調度資源組：使用指定資源組執行補數據實例，避免補數據實例與周期實例搶占資源。 說明 請注意配置資源組網絡連通，否則任務可能運行失敗。若指定的資源組未綁定相關工作空間，則仍將使用原有周期任務的資源組。
   運行時間段	指定本次生成的補數據任務在什么時間執行。 跟隨任務配置：按照補數據實例的定時時間執行。 指定時間段：設置補數據任務均在指定時間段內才會觸發執行，請根據需要補數據的任務量合理設置運行時間段。 說明 超過該時間段且處于未運行狀態的任務不會執行，超過該時間段但處于運行中狀態的任務會繼續執行。

4. 配置補數據任務校驗策略。

   用于配置補數據校驗失敗時是否終止任務執行。平臺將對本次補數據任務的基本情況和潛在風險項進行檢測，具體如下：

   • 基本情況：本次補數據涉及的任務數，生成的實例數，是否存在節點成環、節點孤立、實例無權限等情況。

   • 風險項檢測：檢測是否存在節點成環和節點孤立，以上情況均會導致任務運行異常，您可設置校驗不通過時終止補數據任務運行。

5. 單擊提交，補數據任務創建完成。

步驟二：運行補數據任務

補數據任務到達配置的運行時間，且不存在異常情況時，補數據任務將自動觸發運行。

若滿足如下條件，補數據任務將無法運行：

• 補數據任務開啟校驗，校驗失敗將阻塞任務運行。詳情請參見新建補數據任務：步驟4。

• 補數據操作開啟了擴展程序檢查，檢查未通過將阻塞任務運行。詳情請參見擴展程序概述。

管理補數據實例

實例狀態說明

常見問題

• 為什么小時分鐘任務補數據選擇了并行但實際不生效？

• 為什么補數據選擇業務時間后不運行，實例顯示黃色，實例狀態顯示等待時間？

• 為什么補數據選擇業務時間昨天和今天，也會出現等待時間的情況？

• 為什么補數據選擇補0點~1點生成了多個實例？

• 為什么進行大量補數據操作時，會出現等待資源情況（實例顯示黃色，實例狀態為等待資源）？

• 為什么補數據報錯調起的節點運行時間不在所選業務時間范圍內？

• 為什么有節點選擇了補數據，但是沒有生成補數據實例？

• 周、月任務如何執行補數據操作

• 補數據時，臨時工作流中未被選擇的實例會空跑

• 補數據時，若調度依賴關系中的中間任務（即依賴于上游節點，且存在下游依賴）不在補數據的周期范圍內，可能導致該中間任務的下游節點孤立。