背景信息

智能基線能夠及時捕捉導致任務(wù)無法按時完成的異常情況并提前預(yù)警，保障復(fù)雜依賴場景下重要數(shù)據(jù)能在預(yù)期時間內(nèi)順利產(chǎn)出。詳情請參見智能基線概述。

基線創(chuàng)建完成且開啟后，第二天生效，您可于第二天前往周期實例頁面查看基線執(zhí)行情況。

使用限制

• 版本要求：

  僅DataWorks標準版及以上版本可使用基線管理功能。低版本用戶請先升級再使用該功能，詳情請參見DataWorks各版本詳解。

• 權(quán)限管控：

  • 僅阿里云主賬號、擁有空間管理員或租戶管理員角色權(quán)限的RAM用戶可創(chuàng)建基線。

  • 僅租戶管理員和基線責任人可開啟、關(guān)閉、刪除及修改基線。

  如某用戶需執(zhí)行上述操作，可為該用戶添加相關(guān)角色，詳情請參見為工作空間添加空間成員。

• 報警方式：

  DataWorks支持使用郵件、短信、電話、釘釘群機器人和WebHook等報警方式，不同方式使用限制如下。

  報警方式	可用DataWorks版本	可用地域	說明
  短信	標準版及以上版本。	所有地域	其他地域如果希望通過短信方式報警，您需要先單擊申請鏈接加入“阿里云大數(shù)據(jù)AI平臺”交流群，再掃描下方二維碼加入DataWorks產(chǎn)品釘釘交流群，進行售前售后咨詢，咨詢可直接@智能機器人，值班時間段內(nèi)也可直接聯(lián)系值班人員。
  WebHook	企業(yè)版	華東2（上海）、西南1（成都）、華北3（張家口）、華北2（北京）、華東1（杭州）、華南1（深圳）、中國（香港）、歐洲中部 1（法蘭克福）、亞太東南1（新加坡）	僅支持推送報警信息至企業(yè)微信或飛書。 僅支持使用釘釘群、企業(yè)微信和飛書的WebHook地址。如需使用其他的WebHook，可加入DataWorks釘釘群聯(lián)系技術(shù)支持人員。

  說明

  RAM用戶如果希望通過短信、電話等方式接收告警信息，則需要在報警聯(lián)系人頁面，將目標RAM用戶添加為報警聯(lián)系人。當任務(wù)運行報錯時，DataWorks會將相應(yīng)的報警信息發(fā)送至對應(yīng)聯(lián)系人。詳情請參見查看和設(shè)置報警聯(lián)系人。

創(chuàng)建基線

1. 進入運維中心頁面。

   登錄DataWorks控制臺，切換至目標地域后，單擊左側(cè)導航欄的數(shù)據(jù)建模與開發(fā) > 運維中心，在下拉框中選擇對應(yīng)工作空間后單擊進入運維中心。

2. 單擊左側(cè)導航欄中的任務(wù)監(jiān)控 > 智能基線。

3. 創(chuàng)建基線。

   1. 在基線管理頁簽中，單擊新建基線。

   2. 配置基線的基本屬性。

      參數(shù)說明如下。

      參數(shù)	說明
      基線名稱	自定義基線名稱。
      所屬工作空間	選擇當前需保障的任務(wù)所屬的工作空間。
      責任人	基線負責人。
      基線類型	定義基線監(jiān)測周期，包括天監(jiān)測和小時監(jiān)測。 天基線：按照天維度對任務(wù)進行監(jiān)測，天調(diào)度任務(wù)可選擇此監(jiān)測方式。 小時基線：按照小時維度對任務(wù)進行監(jiān)測，小時調(diào)度任務(wù)可選擇此監(jiān)測方式。
      保障任務(wù)	選擇需要添加到當前基線上進行數(shù)據(jù)產(chǎn)出保障的任務(wù)。 任務(wù)節(jié)點：輸入任務(wù)節(jié)點名稱或ID，單擊右側(cè)的添加按鈕。可添加多個任務(wù)節(jié)點至當前基線。 業(yè)務(wù)流程：輸入業(yè)務(wù)流程名稱或ID，單擊右側(cè)的添加按鈕。默認將當前業(yè)務(wù)流程下的所有任務(wù)添加至當前基線。 說明 選擇業(yè)務(wù)流程后，建議僅添加業(yè)務(wù)流程最下游的節(jié)點任務(wù)，添加后，影響該節(jié)點數(shù)據(jù)產(chǎn)出的上游節(jié)點都將被納入基線監(jiān)控范圍，不推薦將業(yè)務(wù)流程上所有任務(wù)都添加至基線。
      優(yōu)先級	定義基線的優(yōu)先級，數(shù)值越大基線優(yōu)先級越高，基線上任務(wù)的優(yōu)先級也會越高。優(yōu)先級高的任務(wù)，在調(diào)度資源緊張的情況下，將優(yōu)先獲得調(diào)度資源。配置優(yōu)先級后將會在第二天生成的周期實例中生效。 說明 MaxCompute節(jié)點任務(wù)： 如下情況該優(yōu)先級將映射為MaxCompute計算任務(wù)的優(yōu)先級。 MaxCompute Project開啟優(yōu)先級功能。 MaxCompute Project使用包年包月計算資源。 MaxCompute作業(yè)優(yōu)先級=9-DataWorks基線優(yōu)先級。 EMR節(jié)點任務(wù)： 可通過設(shè)置節(jié)點所在基線優(yōu)先級與YARN隊列優(yōu)先級的映射關(guān)系，來調(diào)整該節(jié)點最終的YARN隊列優(yōu)先級，即能否優(yōu)先獲得調(diào)度和執(zhí)行資源。詳情請參見設(shè)置基線優(yōu)先級與YARN隊列優(yōu)先級的映射關(guān)系。
      預(yù)計完成時間	平臺將根據(jù)基線任務(wù)歷史一段時間內(nèi)（通常統(tǒng)計范圍為10天）的平均完成時間計算基線的預(yù)計完成時間，若預(yù)計完成時間晚于基線預(yù)警時間，平臺會觸發(fā)基線報警。報警機制，請參見附錄：基線報警機制。 說明 如果歷史數(shù)據(jù)不足，則系統(tǒng)會提示歷史數(shù)據(jù)不足，暫無法預(yù)估。
      承諾時間	基線上的任務(wù)承諾的最晚完成時間（即需保障的數(shù)據(jù)最晚的產(chǎn)出時間），基線將根據(jù)該時間來推算預(yù)警時間。承諾時間需要基于預(yù)計完成時間來配置。保證承諾時間 - 預(yù)警余量時間晚于基線任務(wù)的預(yù)計完成時間。 說明 基線預(yù)警時間=承諾時間-預(yù)警余量，若實際完成時間晚于承諾時間 - 預(yù)警余量時間，則會觸發(fā)報警。例如，設(shè)置承諾時間為3：30，預(yù)警余量為10分鐘，如果系統(tǒng)預(yù)測任務(wù)無法在3：20分完成，則會發(fā)出基線報警。 小時基線需要指定保障數(shù)據(jù)產(chǎn)出的小時實例，并設(shè)置該實例（小時任務(wù)某周期）最晚完成時間。 由于基線上的任務(wù)可能存在執(zhí)行時長超過24小時的情況，因此，平臺允許承諾時間設(shè)置在2天內(nèi)（即48小時內(nèi)，00：00~47：59）。若基線上任務(wù)執(zhí)行時間超過1天，可選擇將基線承諾時間設(shè)置在第二天的具體時間點。例如，基線上任務(wù)執(zhí)行時間為一天半，則承諾時間可設(shè)置為36：00。
      預(yù)警余量	用于定義基線的預(yù)警時間。承諾時間與任務(wù)預(yù)計完成時間至少間隔5分鐘，否則會導致頻繁報警。建議預(yù)警余量基于基線上任務(wù)的運行時長來配置。詳情請參見：合理配置基線承諾時間和預(yù)警余量。

4. 配置基線的報警行為。

   您可通過報警開關(guān)控制基線是否開啟報警，并定義基線上數(shù)據(jù)無法按時產(chǎn)出時的基線報警策略，及影響基線數(shù)據(jù)產(chǎn)出的任務(wù)及其上游任務(wù)出錯或變慢時的事件報警策略。配置前，建議先了解基線的報警機制，詳情請參見附錄：基線報警機制。

   1. 打開報警開關(guān)。

      打開報警開關(guān)后，DataWorks將根據(jù)配置的報警方式檢測，若滿足報警條件，則發(fā)送相關(guān)報警信息。

      • 當預(yù)測到基線上任務(wù)無法在承諾時間內(nèi)完成時，系統(tǒng)將根據(jù)定義的報警方式發(fā)送基線報警信息。詳情請參見核心邏輯介紹：基線報警。

      • 當基線任務(wù)及其上游任務(wù)出錯，或關(guān)鍵路徑上的任務(wù)變慢時，系統(tǒng)將根據(jù)定義的報警方式發(fā)送事件報警信息。您可以在DataWorks的事件管理頁面查看當前已存在的事件列表。詳情請參見事件管理。

   說明

   關(guān)閉報警開關(guān)后，基線不會產(chǎn)生任何報警。如果基線任務(wù)為開啟狀態(tài)，則基線實例會正常生成、基線優(yōu)先級仍然生效。

   2. 選擇報警方式。

      報警開關(guān)打開后，您可根據(jù)需要選擇報警方式，建議對重要任務(wù)同時配置基線報警和事件報警。

      重要

      如果無法正常接收報警，請參見在運維中心設(shè)置報警后收不到，該如何排查？

      基線報警

      參數(shù)	描述
      基線開關(guān)	用于控制是否開啟該基線。 說明 關(guān)閉報警開關(guān)后，基線不會產(chǎn)生任何報警。如果基線任務(wù)為開啟狀態(tài)，則基線實例會正常生成、基線優(yōu)先級仍然生效。
      報警方式	支持通過郵件、短信、電話方式給基線責任人、值班表中的當日值班人員或指定人員發(fā)送報警信息。配置值班表，詳情請參見值班表。 支持通過釘釘群機器人或WebHook地址給其他應(yīng)用（目前支持釘釘、企業(yè)微信和飛書）發(fā)送報警信息。 配置釘釘機器人，詳情請參見場景實踐：發(fā)送報警消息至釘釘群。 說明 您可通過校驗聯(lián)系方式或發(fā)送測試消息，驗證報警信息是否可正常發(fā)送。 僅DataWorks專業(yè)版及以上版本，才支持使用電話報警。 若您選擇通過電話方式進行報警，為避免短時間內(nèi)產(chǎn)生大量報警電話，DataWorks會對報警電話進行過濾，同一個用戶在20分鐘內(nèi)最多只會接收到一通報警電話，其余報警電話將被降級為短信，請知悉。
      最大報警次數(shù)	報警的最大次數(shù)，超過設(shè)置的次數(shù)后，不再產(chǎn)生報警。
      最小報警間隔	兩次報警之間的最小時間間隔。
      免打擾時間	設(shè)置了免打擾時間后，則在該時間段內(nèi)系統(tǒng)將不會發(fā)送告警。 例如，當目標任務(wù)設(shè)置的免打擾時間為00：00到08：00時，則該時間段內(nèi)基線與事件的報警將不會觸發(fā)。如果到達8點，事件仍處于異常狀態(tài)，則會發(fā)出報警信息。

      事件報警

      參數(shù)	描述
      事件類型	定義出現(xiàn)哪種類型的事件會產(chǎn)生報警。包括： 出錯：基線監(jiān)控范圍內(nèi)的任務(wù)運行失敗。 變慢：基線監(jiān)控范圍內(nèi)的任務(wù)本次運行時間和過去一段時間內(nèi)的平均運行時間相比，明顯變長。
      報警方式	支持通過郵件、短信、電話方式給任務(wù)責任人、值班表中的當日值班人員或指定人員發(fā)送報警信息。配置值班表，詳情請參見值班表。 支持通過釘釘群機器人或WebHook地址給其他應(yīng)用（目前支持釘釘、企業(yè)微信和飛書）發(fā)送報警信息。配置釘釘機器人，詳情請參見場景實踐：發(fā)送報警消息至釘釘群。 說明 您可通過校驗聯(lián)系方式或發(fā)送測試消息，驗證報警信息是否可正常發(fā)送。 僅DataWorks專業(yè)版及以上版本，才支持使用電話報警。 若您選擇通過電話方式進行報警，為避免短時間內(nèi)產(chǎn)生大量報警電話，DataWorks會對報警電話進行過濾，同一個用戶在20分鐘內(nèi)最多只會接收到一通報警電話，其余報警電話將被降級為短信，請知悉。
      最大報警次數(shù)	報警的最大次數(shù)，超過設(shè)置的次數(shù)后，不再產(chǎn)生報警。
      最小報警間隔	兩次報警之間的最小時間間隔。
      免打擾時間	設(shè)置了免打擾時間后，則在該時間段內(nèi)系統(tǒng)將不會發(fā)送告警。 例如，當目標任務(wù)設(shè)置的免打擾時間為00：00到08：00時，則該時間段內(nèi)基線與事件的報警將不會觸發(fā)。如果到達8點，事件仍處于異常狀態(tài)，則會發(fā)出報警信息。

   3. 單擊確定，完成基線的創(chuàng)建。

基線添加任務(wù)

每個任務(wù)只可以添加在一條基線上。例如，當任務(wù)A已添加至基線A上，此時新建基線B并添加任務(wù)A時，任務(wù)A將從基線A轉(zhuǎn)移至基線B。

您可通過以下兩種方式添加任務(wù)至基線：

• 進入基線管理頁面，單擊右上角的新建基線進行添加。

• 進入周期任務(wù)頁面，選擇相應(yīng)任務(wù)后的更多 > 添加基線監(jiān)控。

  說明

  此方式僅支持新建基線并批量添加選中任務(wù)至該新建基線上，暫不支持將批量選中的任務(wù)添加至已有基線中。

  • 單個任務(wù)添加至基線

    單擊目標周期任務(wù)操作列的更多 > 添加基線監(jiān)控。

  • 批量添加任務(wù)至基線

    勾選多個周期任務(wù)，在底部菜單欄選擇操作 > 添加基線監(jiān)控。

管理基線

您可在基線管理頁面根據(jù)責任人、工作空間、基線名稱、優(yōu)先級等條件進行精確篩選，過濾目標基線，并執(zhí)行如下基線操作：

• 查看詳情：查看基線任務(wù)的基本情況。

• 編輯基線：根據(jù)需要修改基線信息。

• 查看變更記錄：查看基線的歷史變更操作。

• 開啟或關(guān)閉基線：控制基線任務(wù)的狀態(tài)，開啟后方可生成周期實例。保障基線每日生成基線實例，您可在基線實例面板查看每日基線詳情。

• 刪除基線：根據(jù)需要刪除基線任務(wù)。

附錄：基線報警機制

基線報警是對開啟狀態(tài)且打開報警開關(guān)的基線提供的一個報警提醒，您可基于基線的預(yù)計完成時間配置基線的預(yù)警余量和承諾時間。DataWorks將根據(jù)監(jiān)控范圍內(nèi)任務(wù)歷史10天的平均完成時間推算出任務(wù)預(yù)計最晚完成時間，并結(jié)合基線上任務(wù)的實際運行情況進行監(jiān)控，當預(yù)測到基線上任務(wù)無法在基線預(yù)警時間（基線承諾時間-預(yù)警余量）內(nèi)完成時，系統(tǒng)將根據(jù)該基線定義的基線報警接收人發(fā)送基線報警信息。

• 任務(wù)運行前，基線報警策略：

  說明

  基線在每日任務(wù)運行前，通過計算當日基線監(jiān)控范圍內(nèi)任務(wù)歷史10天內(nèi)的平均完成時間，將無法在基線預(yù)警時間內(nèi)完成的異常信息第一時間發(fā)送給基線報警接收人員。在基線上的任務(wù)依賴關(guān)系錯綜復(fù)雜，并且依賴變更頻繁場景下，基線可為您提前發(fā)現(xiàn)問題并預(yù)警。

  • 若根據(jù)基線任務(wù)歷史10天內(nèi)的平均完成時間，推算出基線任務(wù)預(yù)計完成時間晚于基線預(yù)警時間，平臺將會觸發(fā)基線預(yù)警。您可在基線管理界面查看計算出的基線任務(wù)預(yù)計完成時間，詳情請參見創(chuàng)建基線。

  • 若根據(jù)基線任務(wù)的上游任務(wù)歷史10天內(nèi)的平均完成時間，推算出上游任務(wù)預(yù)計完成時間晚于基線預(yù)警時間，平臺將會觸發(fā)基線預(yù)警。

• 任務(wù)運行過程中，基線報警策略：

  當基線上任務(wù)實際完成時間晚于基線預(yù)警時間時，將會觸發(fā)基線預(yù)警。

后續(xù)步驟

基線創(chuàng)建完成后，您可執(zhí)行如下后續(xù)操作：

• 查看基線實例：開啟狀態(tài)的基線每天會生成基線實例，您可在基線實例頁面查看基線運行詳情。

• EMR節(jié)點任務(wù)：設(shè)置基線優(yōu)先級與YARN隊列優(yōu)先級的映射關(guān)系，調(diào)整EMR節(jié)點最終的YARN隊列優(yōu)先級，即能否優(yōu)先獲得調(diào)度和執(zhí)行資源。

• 查看基線操作記錄：您可在運維中心查看基線的相關(guān)操作記錄。