前提條件

1. 通過主賬號登錄阿里云 Databricks控制臺。

2. 已創(chuàng)建集群，具體請參見創(chuàng)建集群。

3. 已創(chuàng)建好需要測試的作業(yè)，具體請參見作業(yè)提交示例。

新建項目空間

通過以下步驟，可以新建項目空間。

1. 在Databricks控制臺頁面，單機左側(cè)導(dǎo)航欄的項目空間。

2. 單機新建項目。

3. 填寫項目名稱、項目描述、單機確定。

新建工作流

通過以下步驟，可以新建工作流。

1. 進入項目空間。

2. 在工作流設(shè)計區(qū)域，在需要操作的文件夾上單擊右鍵，選擇新建工作流。

3. 填寫工作流名稱、工作流描述、執(zhí)行集群。

4. 單機確定。

編輯工作流

1. 在工作流畫布上，拖拽不同類型的作業(yè)節(jié)點到畫布上，并進行節(jié)點編輯，選擇相關(guān)作業(yè)。

2. 根據(jù)依賴關(guān)系，從節(jié)點底部中心可連接到另一節(jié)點上部中心。

3. 完成依賴關(guān)系后，再添建END組件。

4. 單機畫布上方保存。

配置工作流調(diào)度

您可以打開工作流調(diào)度開關(guān)并配置工作流調(diào)度參數(shù)，調(diào)度系統(tǒng)會按照參數(shù)定時運行相關(guān)工作流，并將作業(yè)下發(fā)到指定集群上執(zhí)行。以下介紹配置工作流的基本屬性、調(diào)度屬性和告警設(shè)置。

完成工作流設(shè)計后，單機畫布右上角配置按鈕，進行相關(guān)配置。

1. 配置基本屬性。

   配置項	說明
   執(zhí)行集群	工作流中作業(yè)默認(rèn)的運行方法

   

2. 配置調(diào)度屬性。

   配置項	說明
   調(diào)度狀態(tài)	啟動或停止工作流調(diào)度。開啟后，工作流編輯畫布上方會出現(xiàn)調(diào)度中的狀態(tài)提示。
   時間屬性調(diào)度	設(shè)置工作流調(diào)度的開始時間和調(diào)度周期，在此時間范圍內(nèi)，系統(tǒng)會根據(jù)您設(shè)置的周期執(zhí)行工作流。
   依賴屬性調(diào)度	選擇當(dāng)前工作流的前續(xù)工作流。當(dāng)前續(xù)工作流執(zhí)行完成后，當(dāng)前工作流才會被調(diào)度執(zhí)行。 選擇所選項目。  從所選項目中，選擇依賴工作流。

   

3. 配置告警設(shè)置。

   配置項	說明
   執(zhí)行失敗	設(shè)置工作流執(zhí)行失敗時，是否通知到用戶告警組或釘釘告警組。
   節(jié)點失敗	設(shè)置工作流節(jié)點失敗時，是否通知到用戶告警組或釘釘告警組。
   執(zhí)行成功	設(shè)置工作流執(zhí)行成功時，是否通知到用戶告警組或釘釘告警組。
   啟動超時	設(shè)置如果工作流中有節(jié)點在下發(fā)到集群后30分鐘內(nèi)還沒有啟動時，是否通知到用戶告警組或釘釘告警組。
   節(jié)點執(zhí)行超時	設(shè)置如果節(jié)點執(zhí)行時長超過作業(yè)配置里的預(yù)期最大運行時長時，是否通知到用戶告警組或釘釘告警組。

   

執(zhí)行工作流

您也可以指定工作流的業(yè)務(wù)時間，此時工作流作業(yè)中的時間相關(guān)變量將使用指定的業(yè)務(wù)時間進行計算，一般用于重跑某個時間段的工作流實例，可以設(shè)置單次重跑或批量重跑。如果您的作業(yè)中沒有任何時間相關(guān)變量，可以選擇在當(dāng)前時間立即執(zhí)行，即可運行工作流。

1. 單機項目空間。

2. 在項目列表頁面，進入對應(yīng)的項目空間。

3. 選擇工作流設(shè)計。

4. 單機畫布上方的運行按鈕。

5. 配置相關(guān)運行參數(shù)。

   1. 立即運行：立即運行一個工作流，可以將指定時間作為本工作流的業(yè)務(wù)時間，時間相關(guān)的變量將使用該時間進行計算。

   2. 設(shè)置時間調(diào)度運行：設(shè)置開始時間和調(diào)度周期。打開跳過成功節(jié)點開關(guān)時，如果某個業(yè)務(wù)時間對應(yīng)的工作流實例是成功的，將會跳過該業(yè)務(wù)時間的實例，繼續(xù)運行其他業(yè)務(wù)時間失敗的工作流實例。

      立即運行一批工作流，設(shè)置工作流業(yè)務(wù)時間的開始時間和調(diào)度周期，運行時系統(tǒng)會將指定調(diào)度規(guī)則的觸發(fā)時間作為本工作流的業(yè)務(wù)時間，時間相關(guān)的變量將使用該時間進行計算。一次最多支持100個觸發(fā)時間點。

6. 單機確定。

查看工作流運行記錄

運行工作流后，可通過以下步驟查看工作流運行記錄。

1. 在工作流頁面，單機畫布下方運行記錄標(biāo)簽，可以查看當(dāng)前工作流的運行記錄、審計日志、版本控制。

2. 單擊工作流實例所在行的詳情，跳轉(zhuǎn)至運維中心。

查看工作流實例的詳細(xì)情況，也可以暫停、恢復(fù)、停止和重跑工作流實例，詳情請參見運維中心。

• 詳情：查看工作流實例的詳細(xì)信息，包括工作流節(jié)點實例的詳細(xì)信息和運行狀態(tài)。

• 停止工作流：終止正在運行的工作流實例，所有正在運行的作業(yè)節(jié)點立即停止。

• 暫停工作流：暫停正在運行的工作流實例，正在運行的作業(yè)節(jié)點會繼續(xù)執(zhí)行，但后續(xù)的作業(yè)節(jié)點不再執(zhí)行。

• 恢復(fù)工作流：恢復(fù)已被暫停的工作流實例。

• 重跑工作流：重新運行已經(jīng)結(jié)束的工作流實例。單擊重跑后，可以選擇只重試失敗節(jié)點，也可以從頭重跑所有節(jié)點。

工作流可執(zhí)行操作

在工作流設(shè)計區(qū)域，您可以在工作流名稱上單擊右鍵，執(zhí)行如下操作：

1. 克隆工作流：在同一文件夾下克隆出相同圖形的工作流。

2. 重命名工作流：重新命名工作流的名稱。

3. 刪除工作流：刪除工作流。當(dāng)工作流在運行狀態(tài)時無法刪除。