日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

基本概念

本文為您介紹DataWorks中,工作空間、業務流程、解決方案、組件、任務、實例、業務日期、定時時間、提交、腳本開發、資源、函數和輸出名稱等基本概念。

工作空間

工作空間是DataWorks管理任務、成員,分配角色和權限的基本單元。工作空間管理員可以加入成員至工作空間,并賦予工作空間管理員、開發、運維、部署、安全管理員或訪客角色,以實現多角色協同工作。

說明

建議您根據部門或業務板塊來劃分工作空間。

一個工作空間支持添加多種數據源實例。其中,在數據開發中綁定MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL 3.0、ClickHouse、E-MapReduce和CDH/DCP數據源后,即可在工作空間開發和調度引擎任務。

業務流程

針對業務實體,抽象出業務流程的概念,幫助您從業務視角組織代碼的開發,提高任務管理效率。

說明

業務流程可以被多個解決方案復用。

業務流程幫助您從業務視角組織代碼:

  • 支持基于任務類型的代碼組織方式。

  • 支持多級子目錄(建議不超過四級)。

  • 支持從業務視角查看整體的業務流程,并進行優化。

  • 支持根據業務流程組織發布和運維。

  • 提供業務流程看板,幫助您更高效地進行開發。

解決方案

您可以自定義組合部分業務流程為一個解決方案。

解決方案的優勢如下:

  • 一個解決方案可以包括多個業務流程。

  • 解決方案之間可以復用相同的業務流程。

  • 組織完成的解決方案包含各類節點,提高您的使用體驗。

組件

您可以將SQL中的通用邏輯抽象為組件,提高代碼的復用性。

SQL代碼的處理過程通常是引入一到多個源數據表,通過過濾、連接和聚合等操作,加工出新的業務需要的目標表。組件是帶有多個輸入參數和輸出參數的SQL代碼過程模板。

任務(Task)

任務是對數據執行的操作的定義,示例如下:

  • 通過數據同步節點任務,將數據從RDS同步至MaxCompute。

  • 通過MaxCompute SQL節點任務,運行MaxCompute SQL來進行數據的轉換。

每個任務使用0或0個以上的數據表(數據集)作為輸入,生成一個或多個數據表(數據集)作為輸出。

任務主要分為節點任務(Node Task)、工作流任務(Flow Task)和內部節點(inner Node)。任務

任務類型

描述

節點任務(Node Task)

一個數據執行的操作??梢耘c其它節點任務、工作流任務配置依賴關系,組成DAG圖。

工作流任務(Flow Task)

滿足一個業務場景需求的一組內部節點,組成一個工作流任務,建議工作流任務的節點數小于10個。

工作流任務內部節點無法被其它工作流任務、節點任務依賴。工作流任務可以與其它工作流任務、節點任務配置依賴關系,組成DAG圖。

說明

從DataWorks V1.0升級的任務,仍保留工作流的概念。DataWorks V2.0及以上版本已無法創建工作流任務,您可選擇創建業務流程進行后續操作。

內部節點(innerNode)

工作流任務內部的節點,與節點任務的功能基本一致。您可以通過拖拽形成依賴關系,其調度周期會繼承工作流任務的調度周期,無法進行單獨配置。

實例(Instance)

實例是某個任務在某時某刻執行的一個快照。調度系統中的任務,經過調度系統、手動觸發運行后,會生成一個實例。實例中會有任務的運行時間、運行狀態和運行日志等信息。

例如設置每天2:00運行Task1實例,調度系統會在每天23:30根據周期節點定義好的時間,自動生成一個快照,即Task1第二天2:00運行的實例。到第二天2:00時,如果判斷上游實例已經完成,Task1實例便會如期啟動運行。

說明

您可進入運維中心周期任務運維,查詢實例的相關信息。

業務日期與定時時間

  • 業務日期

    指昨天,在離線計算場景下,交易日期為業務發生的日期。DataWorks默認取調度時間內,任務預期調度運行時間的前一天(即昨天)的日期為業務日期,精確到天。例如,今天統計前一天的營業額,此處的前一天,指交易發生的日期,也就是業務日期。

  • 定時時間

    指今天,即某業務數據加工任務的預期執行時間。DataWorks默認取調度時間內,任務預期調度運行的時間點(即今天)為定時時間,精確到秒。任務預期執行時間,與實際開始執行時間并非完全一致。任務實際開始執行時間受多方因素影響。

提交(Submit)

提交是指開發的節點任務、業務流程,從DataWorks開發環境發布至調度系統的過程。完成提交后,相應的代碼、調度配置全部合并至調度系統中,調度系統根據相關配置進行調度操作。

說明

未提交的節點任務、業務流程不會進入調度系統。

腳本開發(Script)

腳本開發是提供給數據分析使用的一個代碼存儲空間。腳本開發的代碼無法發布到調度系統,無法進行調度參數配置,僅可以進行部分數據查詢分析的工作。

資源、函數

MaxCompute引擎使用的資源和函數,詳情請參見資源函數。

輸出名稱

輸出名稱:每個任務(Task)輸出點的名稱。它是您在單個租戶(阿里云賬號)內設置依賴關系時,用于連接上下游兩個任務(Task)的虛擬實體。

當您在設置某任務與其它任務形成上下游依賴關系時,必須根據輸出名稱(而不是節點名稱或節點ID)來完成設置。設置完成后該任務的輸出名也同時作為其下游節點的輸入名稱。輸出名稱

說明

輸出名稱可以作為某個Task在同租戶內,區別于其它Task的唯一概念對象,每個節點的輸出名稱默認為工作空間名稱.系統生成9位數字.out。您可以對Task增加自定義輸出名,但需要注意輸出節點名稱在租戶內不允許重復。

元數據

元數據是數據的描述數據,可以為數據說明其屬性(名稱、大小、數據類型等),或結構(字段、類型、長度等),或其相關數據(位于何處、擁有者、產出任務、訪問權限等)。DataWorks中元數據主要指庫、表相關的信息,元數據管理對應的主要應用是數據地圖。

補數據

完成周期任務的開發,將任務提交發布之后,任務會按照調度配置定時運行。如果您希望對歷史時間段內的數據進行計算,您可以使用補數據功能。補數據操作生成的補數據實例將按照指定的業務日期運行。