概念

說明

工作空間

工作空間是EMR Workflow管理項(xiàng)目、工作流，分配角色和權(quán)限的基本單元。您所有的配置、任務(wù)、工作流均在具體的項(xiàng)目空間下進(jìn)行。工作空間管理員可以加入成員至工作空間，并賦予工作角色，以實(shí)現(xiàn)多角色協(xié)同工作。

調(diào)度資源組

調(diào)度資源組用于任務(wù)的調(diào)度運(yùn)行。首次開通EMR Workflow服務(wù)時(shí)，將免費(fèi)為您提供一個(gè)默認(rèn)調(diào)度資源組。

工作流定義

工作流定義是對(duì)一系列按照特定邏輯進(jìn)行編排的任務(wù)及其執(zhí)行順序的描述。它包括分配給各個(gè)任務(wù)的調(diào)度節(jié)點(diǎn)和制定的調(diào)度策略，確保任務(wù)能在預(yù)定的時(shí)間內(nèi)按照DAG（Directed Acyclic Graph）結(jié)構(gòu)順利執(zhí)行。

任務(wù)定義

在工作流中，任務(wù)定義是指對(duì)單個(gè)工作流節(jié)點(diǎn)的具體說明，它是工作流中的基本操作單位。

手動(dòng)任務(wù)定義

手動(dòng)任務(wù)能夠獨(dú)立于工作流定義創(chuàng)建，僅支持手動(dòng)運(yùn)行。在工作流定義中可以關(guān)聯(lián)已創(chuàng)建的手動(dòng)任務(wù)，復(fù)用手動(dòng)任務(wù)配置參數(shù)。

工作流實(shí)例

工作流實(shí)例是工作流定義的一個(gè)具體執(zhí)行或運(yùn)行。當(dāng)工作流被觸發(fā)執(zhí)行時(shí)，工作流定義就會(huì)實(shí)例化成為一個(gè)工作流實(shí)例。

任務(wù)實(shí)例

任務(wù)實(shí)例是工作流中某個(gè)任務(wù)定義的一次具體執(zhí)行。當(dāng)工作流實(shí)例進(jìn)展到某個(gè)特定任務(wù)時(shí)，系統(tǒng)會(huì)根據(jù)任務(wù)定義創(chuàng)建一個(gè)任務(wù)實(shí)例。

手動(dòng)任務(wù)實(shí)例

手動(dòng)任務(wù)實(shí)例是手動(dòng)任務(wù)定義的一次具體運(yùn)行。每當(dāng)手動(dòng)任務(wù)被人為觸發(fā)運(yùn)行時(shí)，該手動(dòng)任務(wù)的定義就會(huì)實(shí)例化為一個(gè)手動(dòng)任務(wù)實(shí)例。

依賴

節(jié)點(diǎn)之間運(yùn)行的相互依賴。例如，節(jié)點(diǎn)A—>節(jié)點(diǎn)B，即節(jié)點(diǎn)A是節(jié)點(diǎn)B的上游依賴，節(jié)點(diǎn)B的運(yùn)行依賴節(jié)點(diǎn)A，在滿足節(jié)點(diǎn)B運(yùn)行的其他條件外，還需要節(jié)點(diǎn)A完成運(yùn)行，節(jié)點(diǎn)B才能運(yùn)行。

任務(wù)類型

工作流中定義的不同操作類別。支持SHELL、SPARK、HIVECLI、SQOOP、FLINK、SQL、HTTP、SUB_PROCESS等多種任務(wù)類型。

工作流版本

工作流版本是指每當(dāng)對(duì)工作流程進(jìn)行修改操作（例如，添加或刪除節(jié)點(diǎn)、變更依賴關(guān)系等）并保存后，系統(tǒng)會(huì)自動(dòng)創(chuàng)建一個(gè)新的流程修訂版本。

任務(wù)版本

任務(wù)版本是指每當(dāng)對(duì)具體任務(wù)進(jìn)行修改操作（例如，修改執(zhí)行參數(shù)、調(diào)整資源配置等）并保存后，系統(tǒng)會(huì)自動(dòng)生成一個(gè)新的任務(wù)修訂版本。