計(jì)算節(jié)點(diǎn)配置說明
計(jì)算節(jié)點(diǎn)是處理數(shù)據(jù)代碼的算法節(jié)點(diǎn)，在算法流程中主要用于某個(gè)特定場景，或針對某張表的邏輯處理。本文介紹計(jì)算節(jié)點(diǎn)的節(jié)點(diǎn)畫布配置說明和場景畫布的配置說明。
背景信息
計(jì)算節(jié)點(diǎn)支持多種類型，但是配置的參數(shù)和方法類似，這里只介紹關(guān)鍵參數(shù)。支持新建的計(jì)算節(jié)點(diǎn)類型包括：MaxCompute SQL、MaxCompute MR、RDS Mysql、SQL Server、Oracle、Hive、Hadoop、DataHub、Elastic Job、Elastic Service、Blink、Blink DataStream、Flink DataStream、PostgreSQL、GreenPlum、AnalyticDB PostgreSQL、AnalyticDB Postgre STREAM SQL、Flink Vvp SQL、Flink Vvp Stream、Flink Vvr SQL、Flink Vvr Stream、Spark Batch、Spark Stream、Spark SQL、FUSION_NODE。
節(jié)點(diǎn)畫布配置說明
運(yùn)行配置
各類型計(jì)算節(jié)點(diǎn)的輸入、輸出以及節(jié)點(diǎn)變量參數(shù)，部分節(jié)點(diǎn)類型支持解析，部分節(jié)點(diǎn)類型需要手動(dòng)添加，請大家根據(jù)實(shí)際狀況操作。
當(dāng)畫布中輸入算法語句，工具欄
（解析）圖標(biāo)可用，則表示該類型節(jié)點(diǎn)的算法語句的輸入輸出和運(yùn)行參數(shù)支持系統(tǒng)自動(dòng)解析。
參數(shù) | 說明 | ||
計(jì)算引擎 | 開發(fā) | 開發(fā)環(huán)境場景使用資源，用于在開發(fā)環(huán)境中運(yùn)行。 | |
生產(chǎn) | 生產(chǎn)環(huán)境場景使用資源，用于在生產(chǎn)環(huán)境中運(yùn)行。 | ||
資源組 | 資源組是發(fā)布任務(wù)的資源池。設(shè)置后，可查看當(dāng)前公共節(jié)點(diǎn)所屬的開發(fā)資源組和生產(chǎn)資源組，請至系統(tǒng)設(shè)置 > 資源組管理中設(shè)置。 | ||
依賴節(jié)點(diǎn) | 上游 說明 查看當(dāng)前節(jié)點(diǎn)依賴的節(jié)點(diǎn)信息。 | 解析依賴 | 當(dāng)配置完節(jié)點(diǎn)輸入信息后，單擊解析依賴，可自動(dòng)解析該節(jié)點(diǎn)的依賴節(jié)點(diǎn)，并將依賴信息展示在場景畫布運(yùn)行配置的依賴節(jié)點(diǎn)區(qū)域中。 |
節(jié)點(diǎn) | 該依賴節(jié)點(diǎn)的名稱。 | ||
所屬工作區(qū)組 | 該依賴節(jié)點(diǎn)的所屬工作區(qū)。 | ||
場景/工作流 | 該依賴節(jié)點(diǎn)的所屬場景或者任務(wù)流的名稱及標(biāo)識(shí)。 | ||
依賴關(guān)系 | 依賴節(jié)點(diǎn)的類型。
| ||
下游 說明 在下游節(jié)點(diǎn)頁簽中，查看當(dāng)前節(jié)點(diǎn)被哪些節(jié)點(diǎn)或者任務(wù)依賴，即展示依賴當(dāng)前節(jié)點(diǎn)的其他節(jié)點(diǎn)信息。無需配置。 | 節(jié)點(diǎn) | 依賴當(dāng)前節(jié)點(diǎn)的節(jié)點(diǎn)名稱。 | |
所屬工作組 | 把當(dāng)前節(jié)點(diǎn)作為依賴節(jié)點(diǎn)的其他節(jié)點(diǎn)的所屬工作組。 | ||
場景/工作流 | 當(dāng)前節(jié)點(diǎn)作為依賴節(jié)點(diǎn)的其他節(jié)點(diǎn)所屬場景的場景名稱及標(biāo)識(shí)以及工作流名稱及標(biāo)識(shí)。 | ||
節(jié)點(diǎn)變量 | 變量名 | 變量的名稱。 | |
變量值 | 設(shè)置變量的值，為字符串(String)類型。 | ||
說明 | 變量的說明信息。 | ||
節(jié)點(diǎn)輸入 | 輸入標(biāo)識(shí) | 節(jié)點(diǎn)的輸入?yún)?shù)標(biāo)識(shí)。 | |
輸入數(shù)據(jù)結(jié)構(gòu) | 輸入表的數(shù)據(jù)格式，由數(shù)據(jù)模型定義，在下拉列表中選擇，表示該計(jì)算資源中提供數(shù)據(jù)的數(shù)據(jù)表的結(jié)構(gòu)。
| ||
開發(fā)環(huán)境 | 物理表所在資源 | 開發(fā)環(huán)境中節(jié)點(diǎn)輸入使用的物理表所在資源。 | |
物理表名 | 開發(fā)環(huán)境中節(jié)點(diǎn)輸入?yún)?shù)的物理表名，可自定義新建物理表名或者選擇已物理化至資源庫中的物理表名。
| ||
生產(chǎn)環(huán)境 | 物理表所在資源 | 生產(chǎn)環(huán)境中節(jié)點(diǎn)輸入使用的物理表所在資源。 | |
物理表名 | 生產(chǎn)環(huán)境中節(jié)點(diǎn)輸入的物理表名，可自定義新建物理表名或者選擇已物理化至資源庫中的物理表名。
| ||
節(jié)點(diǎn)輸出 | 輸出標(biāo)識(shí) | 節(jié)點(diǎn)的輸出參數(shù)標(biāo)識(shí)。 | |
輸出數(shù)據(jù)結(jié)構(gòu) | 輸出表的數(shù)據(jù)格式，由數(shù)據(jù)模型定義，在下拉列表中選擇，表示該計(jì)算資源中輸出數(shù)據(jù)的數(shù)據(jù)表的結(jié)構(gòu)。
| ||
開發(fā)環(huán)境 | 物理表所在資源 | 開發(fā)環(huán)境中節(jié)點(diǎn)輸出使用的物理表所在資源。 | |
物理表名 | 開發(fā)環(huán)境節(jié)點(diǎn)輸出的物理表名，可自定義新建物理表或者選擇已物理化至資源庫中的物理表名。
| ||
生產(chǎn)環(huán)境 | 物理表所在資源 | 生產(chǎn)環(huán)境中節(jié)點(diǎn)輸出使用的物理表所在資源。 | |
物理表名 | 生產(chǎn)環(huán)境節(jié)點(diǎn)輸出的物理表名，可自定義新建物理表或者選擇已物理化至資源庫中的物理表名。
| ||
手動(dòng)設(shè)置血緣 | 用于配置表資產(chǎn)中的字段映射關(guān)系。 完成輸入和輸出參數(shù)配置后，單擊字段血緣配置，在血緣配置對話框中，單擊輸出表待配置的目標(biāo)字段后的 說明
| ||
圖標(biāo)，下拉選擇對應(yīng)的一個(gè)或者多個(gè)輸入表以及輸入表的字段。調(diào)度配置
如果在場景上線后，需要定時(shí)調(diào)度該場景中離線計(jì)算節(jié)點(diǎn)，則需要在開發(fā)環(huán)境場景上線前，打開定時(shí)調(diào)度
的開關(guān)，設(shè)置離線節(jié)點(diǎn)的定時(shí)調(diào)度。設(shè)置后的定時(shí)調(diào)度只在生產(chǎn)環(huán)境場景生效。具體參數(shù)如下表所示：
參數(shù) | 說明 | |
定時(shí)調(diào)度 | 依賴本節(jié)點(diǎn)上一周期調(diào)度 | 選中后，則本次的調(diào)度依賴本節(jié)點(diǎn)上一周期調(diào)度的結(jié)果。 |
生效日期 | 該節(jié)點(diǎn)周期調(diào)度的有效時(shí)間段，設(shè)置后該節(jié)點(diǎn)在設(shè)置的日期內(nèi)自動(dòng)調(diào)度。用戶可自定義選擇起始時(shí)間和結(jié)束時(shí)間。
| |
調(diào)度周期 | 支持按月、周、天、小時(shí)和分鐘調(diào)度。 | |
具體時(shí)間 | 根據(jù)選擇的周期客戶自定義具體開始和結(jié)束的時(shí)間。 | |
時(shí)間表達(dá)式 | 根據(jù)上述的設(shè)置，自動(dòng)生成時(shí)間表達(dá)式或者支持手動(dòng)設(shè)置時(shí)間表達(dá)式。 | |
失敗重試 | 重試次數(shù) | 單擊失敗重試后的 |
重試間隔 | 設(shè)每兩次重試之間的間隔時(shí)間。 | |
超時(shí)時(shí)間 | 設(shè)置運(yùn)行超時(shí)時(shí)間，當(dāng)運(yùn)行時(shí)間超過設(shè)置的時(shí)長，則系統(tǒng)運(yùn)行停止。 | |
監(jiān)控配置 | 負(fù)責(zé)人 | 默認(rèn)為當(dāng)前工作組的登錄賬號(hào)，當(dāng)在全景監(jiān)控設(shè)置責(zé)任人后可下拉選擇，具體操作，請參見新建人員。 |
業(yè)務(wù)分組 | 下拉選擇已創(chuàng)建的分組，具體操作，請參見新建告警分組。 | |
告警級(jí)別 | 下拉選擇接收告警的級(jí)別。 | |
開關(guān)，設(shè)置運(yùn)行失敗后重新運(yùn)行的次數(shù)。場景畫布配置說明
節(jié)點(diǎn)屬性
配置項(xiàng) | 說明 |
節(jié)點(diǎn)名稱 | 節(jié)點(diǎn)的名稱，支持用戶自定義。 |
節(jié)點(diǎn)標(biāo)識(shí) | 節(jié)點(diǎn)的唯一標(biāo)識(shí)，支持用戶自定義，同一個(gè)工作組必須是唯一的，不可重復(fù)。 |
節(jié)點(diǎn)類型 | 節(jié)點(diǎn)的類型。 |
版本說明 | 節(jié)點(diǎn)的版本說明，支持用戶自定義。 |
節(jié)點(diǎn)描述 | 節(jié)點(diǎn)的描述性信息，方便用戶理解和查找。 |
作業(yè)類型 | 包含SQL和算法包類型。 |
發(fā)布為公共節(jié)點(diǎn) | 當(dāng)需要復(fù)用該計(jì)算節(jié)點(diǎn)時(shí)，可將該節(jié)點(diǎn)發(fā)布為共公共節(jié)點(diǎn)。 |
模態(tài) | 節(jié)點(diǎn)的模態(tài)，用于識(shí)別融合節(jié)點(diǎn)實(shí)際運(yùn)行的計(jì)算引擎，支持快速切換不同模態(tài)。僅當(dāng)節(jié)點(diǎn)為FUSION NODE時(shí)，才會(huì)顯示。 |
運(yùn)行配置
當(dāng)計(jì)算節(jié)點(diǎn)在節(jié)點(diǎn)畫布中運(yùn)行后，場景畫布中會(huì)同步更新節(jié)點(diǎn)畫布中的運(yùn)行配置。當(dāng)需要變更場景中的物理表時(shí)，支持通過修改場景運(yùn)行參數(shù)來實(shí)現(xiàn)。
調(diào)度配置
如果在場景上線后，需要定時(shí)調(diào)度該場景中離線計(jì)算節(jié)點(diǎn)，則需要在開發(fā)環(huán)境場景上線前，打開該離線節(jié)點(diǎn)的定時(shí)調(diào)度的開關(guān)，設(shè)置離線節(jié)點(diǎn)的定時(shí)調(diào)度和依賴信息。設(shè)置后的定時(shí)調(diào)度只在生產(chǎn)環(huán)境場景生效。