日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

文檔

配置同周期調度依賴

更新時間:

依賴某節點同周期指本節點本周期運行,依賴上游節點當前周期的數據產出情況(即任務執行情況),待上游當前周期實例執行成功后,本節點才會運行。通常,若當前任務需依賴上游任務同周期產出的表數據時,可為當前任務設置依賴該上游任務的同周期任務。DataWorks提供多種同周期依賴配置方式,并支持依賴預覽功能,您可及時查看并調整有誤依賴,保障任務調度符合預期。本文為您介紹同周期依賴的注意事項、配置原理、配置方式等內容。

注意事項

  • 同周期依賴在DataWorks的DAG圖中以實線的形式展示。

  • 部分復雜場景下,當同周期依賴不滿足預期時,您可設置跨周期依賴。例如,天任務依賴小時任務的場景下,天任務默認依賴小時任務當天所有實例。您可通過小時任務自依賴,實現天任務依賴小時任務指定周期。更多復雜場景依賴介紹,詳情請參見必讀:復雜依賴場景調度配置原則與示例

  • 為避免生產調度任務由于依賴關系不符合預期導致生產調度延遲,建議在發布任務前,通過預覽依賴功能確認各周期實例關系是否符合預期。詳情請參見預覽依賴關系

配置原則

為提升任務開發效率,建議您在實際開發中使用自動解析功能快速為節點設置依賴關系?;谧詣咏馕鲞M行實際開發時,請遵循以下原則:

  • 節點創建建議節點名稱與節點產出表名稱一致。

  • 代碼開發避免多個節點寫入數據至同一張表。

  • 依賴配置建議將節點產出表配置為節點的輸出。

配置入口及配置說明

進入數據開發節點的編輯頁面,單擊右側導航欄的調度配置,在調度依賴區域配置節點的依賴關系。

配置節點同周期依賴關系時,需在依賴的上游節點區域,定義當前任務需要依賴哪些上游任務;在本節點輸出名稱區域,定義其他任務可通過本節點的哪些節點輸出掛載當前節點的依賴關系。

說明
  • 在代碼編輯時,默認基于節點查詢及寫入的表血緣快速為節點設置依賴關系,并且會在節點提交時自動檢測與識別當前依賴關系是否符合數據血緣。詳情請參見血緣關系。您也可根據業務需要,選擇是否啟用提交任務前進行代碼自動解析功能,詳情請參見空間級別管控自動解析

  • 平臺提供基于代碼血緣自動解析、業務流程面板拉線、手動添加等多種方式配置依賴關系,您可按需選擇。詳情請參見配置方式。

  • 若本節點需依賴上游昨天產出的數據,或小時、分鐘任務依賴自己上一小時或分鐘實例,可設置跨周期依賴。詳情請參見配置依賴上一周期(跨周期依賴)。

  • 調度依賴配置過程的常見問題及跨工作空間、跨業務流程配置依賴的最佳實踐,詳情請參見附錄一:常見問題附錄二:最佳實踐。

調度依賴

依賴的上游節點

用于定義本節點的上游節點,依賴配置后,上游節點運行成功后本節點才具備運行條件。此處需填寫上游節點的節點輸出,作為本節點的輸入。配置依賴的上游節點時請注意:

  • 所有節點都需要配置依賴的上游節點:建議根據表血緣關系配置,若無表血緣關系,可基于業務需求選擇依賴工作空間根節點或虛擬節點,詳情請參見調度依賴配置指引

  • 請確保依賴的上游節點已提交:提交任務時,若報錯依賴的上游節點輸出不存在,請確保需依賴的上游節點已提交。

配置方式如下圖。上游節點輸出當使用自動推薦功能設置上游依賴時,需確保要依賴的上游任務已提交發布至生產環境,并真實產出該表數據。被推薦的節點需在前一天提交至調度系統,待第二天數據產出后,才可被自動推薦功能識別。因此,自動推薦的節點存在T+1的延遲。

本節點輸出

本節點的輸出是其他節點與本節點建立依賴關系的媒介。其他節點可通過本節點的輸出名稱找到本節點,并通過調度依賴配置,將本節點設置為他的上游節點。下游節點設置當前節點依賴后,待下游節點提交完成,當前節點對應的節點輸出將展示該下游節點名稱。DataWorks不支持手動在節點輸出界面編輯下游節點。配置方式如下圖。

重要

若工作空間存在同名節點,可能導致節點輸出同名而提交失敗。刪除已存在下游依賴的節點輸出可能造成嚴重影響,詳情請參見附錄三:刪除或變更節點輸出的影響。

本節點輸出

配置原理

調度依賴配置是將上游節點的輸出作為下游節點的輸入,形成節點依賴,建議您根據節點查詢及寫入的表血緣設置節點的調度依賴關系。配置完成后,上游節點運行完成且運行成功,下游節點才會啟動運行,保障調度任務在運行時能取到正確的數據。確認表血緣,詳情請參見血緣關系。配置原理

您可通過如下三種方式配置,無論哪種方式,其原理不變。

配置方式

說明

通過業務流程面板拉線設置節點依賴

該方式DataWorks將自動為下游節點添加上游節點后綴為_out的輸出,形成節點依賴。

通過自動解析功能基于表血緣快速設置節點依賴

該方式DataWorks將自動解析節點代碼中的表血緣,通過血緣關系配置調度依賴。

通過手動在節點調度配置添加上游節點依賴

通常,當通過自動解析生成的節點調度依賴配置與實際應用不符時,您可使用該方式修改調度依賴。

配置方式

通過業務流程面板拉線設置節點依賴

業務流程面板使用拉線方式設置依賴關系時,DataWorks將自動為下游節點添加上游節點_out格式的輸出,形成節點依賴。拉線方式

說明

當業務流程面板中的依賴連線刪除后,節點調度配置中也會同步刪除該依賴關系。

通過調度配置界面手動添加上游節點依賴

在調度配置界面,通過輸入某節點的節點輸出,手動添加依賴的上游節點,格式為projectname.tablename。手動刪除

通過自動解析功能基于表血緣設置節點依賴

DataWorks支持通過節點代碼中的表血緣快速設置節點依賴。開啟自動解析后,節點產出的表將被自動添加為projectname.tablename格式的節點輸出;節點查詢的表將被自動添加為節點輸入。例如,SELECT一張表,該表將被自動解析為本節點依賴的上游;INSERT一張表,該表將被自動解析為本節點的輸出。各類型節點自動解析支持的關鍵字,詳情請參見各類型節點自動解析場景。

通過自動解析配置節點依賴的相關介紹如下:

  • 通過自動解析配置節點依賴

    自動解析方式配置節點依賴如下圖。自動解析

  • 修改自動解析的依賴關系

    當自動解析的依賴關系不符合預期,或存在不支持調度依賴的場景(非周期性調度產出數據的表)需手動刪除依賴關系時,您可參考以下內容修改自動解析的依賴關系。

    場景及方式

    描述

    操作及結果示例

    開啟自動解析時,通過代碼刪除輸入輸出

    在代碼中執行刪除或添加操作,并重新解析。

    刪除或添加后,自動添加相應注釋至自動解析的結果中:

    • --@exclude_input=刪除輸入

    • --@exclude_output=刪除輸出

    • --@extra_output=添加輸出

    • --@extra_input=添加輸入

    刪除輸入輸出

    關閉自動解析時,編輯自動解析的輸入輸出

    DataWorks不支持直接刪除已存在下游依賴的節點輸出,直接刪除將導致下游任務執行或取數異常。

    建議您先調整下游業務,在下游節點移除該上游依賴,再在上游節點刪除該節點輸出。

    編輯輸入輸出
  • 不納入自動解析的場景

    DataWorks中的臨時表(即工作空間表管理中定義的固定格式的表。例如,t_開頭的表),不會被自動解析為本節點的輸出或依賴的上游節點。

  • 自動解析使用注意事項

    使用自動解析設置依賴關系時,需保障節點輸出在當前地域下唯一。在DataWorks開發場景下,使用自動解析需注意以下問題:

    • 節點創建:節點默認自帶一個同名的節點輸出,若同一個工作空間存在同名節點,需手動修改其中一個節點的節點輸出。

    • 代碼開發:自動解析會將節點的產出表作為節點輸出。若同一個工作空間中,兩個調度節點往同一張表插入數據,自動解析場景下將導致其中一個節點產生報錯,詳情請參見多個節點往同一張表寫數據,自動解析報錯節點輸出名相同。

    • 依賴配置 :對于使用SQL任務加工離線同步任務的產出表的場景,為了方便SQL任務對離線同步任務產出表進行加工時,可通過血緣自動解析快速依賴離線同步任務,您需手動將離線同步節點的產出表配置為節點輸出,或者將離線同步任務產出表名作為離線同步任務節點名(平臺會自動創建與節點名相同的節點輸出),否則下游SQL節點提交時可能報錯當前節點依賴的父節點輸出名${projectname.tablename}不存在,不能提交本節點,請確保擁有該輸出名的父節點已被提交。

后續:確認依賴是否符合預期

配置完成后,為保障任務調度符合預期,您可通過以下操作驗證配置是否正確:

  • 預覽依賴:避免依賴關系不符合預期導致任務調度延遲。

  • 提交檢查:提交節點時確認依賴變更是否符合預期。

  • 周期任務依賴確認:節點發布后,需在運維中心確認生產調度任務的依賴是否符合預期。周期任務為生產環境該任務的最新狀態,同時,周期實例的實例依賴關系與實例生成方式有關。

更多詳情請參見調度依賴關系確認。

附錄一:常見問題

更多常見問題,請參見調度依賴。

附錄二:最佳實踐

跨工作空間、同工作空間跨業務流程設置節點依賴,詳情請參見場景3:如何配置跨業務流程、跨工作空間的調度依賴。

附錄三:刪除或變更節點輸出的影響

當節點產出的表數據變更導致節點輸出的變更,或直接手動修改節點輸出時,請注意以下內容:

  • 刪除節點輸出對節點產出的表數據無直接影響。

  • 若節點輸出已存在下游依賴,此時變更或刪除可能會對下游任務產生嚴重影響。

    • 節點產出表刪除:當自動解析的節點輸出,由于節點產出表變更導致節點輸出變更時,可能會導致下游變為孤立節點不被調度,或由于下游任務缺少數據依賴導致下游被數據污染。

    • 節點產出表變更:若當前節點產出的表需轉移至其他節點,請參考刪除或變更節點輸出的影響進行操作。

    若某節點輸出存在下游依賴,刪除該輸出名稱時,建議提前與下游任務的責任人進行溝通,告知其當前任務的某個輸出要刪除,請及時調整下游任務的依賴關系,避免下游任務變為孤立任務。