運維中心概述
數(shù)據(jù)集成、數(shù)據(jù)開發(fā)模塊開發(fā)的任務提交或發(fā)布后，將進入開發(fā)環(huán)境或生產(chǎn)環(huán)境的運維中心。運維中心為您提供運維概覽、任務運維、實例運維、監(jiān)控管理、系統(tǒng)配置5大功能模塊，您可針對提交的任務和生成的實例進行多方位的運維管理。
應用場景
全局視角管控：Dataphin運維中心支持離線實例和實時實例的實例統(tǒng)計。異常統(tǒng)計情況，包括運行詳情、運行趨勢、運行失敗實例數(shù)排行、運行失敗實例對應任務數(shù)排行、失敗報警實例數(shù)排行、延時報警實例數(shù)排行、運行狀態(tài)統(tǒng)計、運行時長統(tǒng)計、失敗次數(shù)統(tǒng)計、延時時長統(tǒng)計和報警排行。幫助您從全局視角管控實例的運行情況，及時同步異常信息，提升運維效率。
任務運維管理：支持運維管理數(shù)據(jù)集成、建模研發(fā)、編碼研發(fā)和數(shù)據(jù)萃取模塊生成的代碼任務，同時包括單節(jié)點及其上下游依賴任務或?qū)嵗臓顟B(tài)查看及管理操作。
運行資源管控：在計算引擎出現(xiàn)性能瓶頸、資源分配不足或需控制任務下發(fā)時間和順序等場景時，可配置限流規(guī)則配置進行限流，以保障系統(tǒng)穩(wěn)定性及優(yōu)先分配資源保障數(shù)據(jù)產(chǎn)出。
異常告警：基線運維支持配置物理任務和邏輯表字段告警規(guī)則，如果被監(jiān)控的任務或字段異常，系統(tǒng)通過電話、短信、釘釘或郵件告警給您。
功能概述
當您在Dataphin中完成節(jié)點開發(fā)，并提交或發(fā)布至生產(chǎn)環(huán)境后，即可在運維中心對任務進行運維操作。包括周期任務的補數(shù)據(jù)、手動任務的運行、任務運行詳情查看、任務運行狀態(tài)監(jiān)控和報警配置、實例及資源使用統(tǒng)計查看、任務運行超時或失敗的運維策略配置等。運維中心各功能模塊說明如下：
下表為運維中心各模塊功能使用的簡單說明：
功能模塊 | 描述 |
運維概覽 |
|
任務運維 | 任務運維依照調(diào)度時效分為周期任務、實時任務和手動任務。周期任務包括腳本任務、明細及匯總表任務和萃取任務。任務運維模塊為您提供周期任務、實時任務和手動任務的運維和管理，包括查看DAG圖、查看實例、補數(shù)據(jù)、批量修改任務的責任人等。 |
實例運維 | 實例運維模塊依照實例生成方式分為基線實例、周期實例、補數(shù)據(jù)實例、手動實例和實時實例。實例運維模塊為您提供基線實例、周期實例、補數(shù)據(jù)實例、手動實例和實時實例的運維和管理，包括查看DAG、查看任務、查看運行日志、批量重跑等操作。 |
監(jiān)控管理 | 監(jiān)控管理提供基線監(jiān)控、離線任務監(jiān)控功能。
|
系統(tǒng)配置 | 系統(tǒng)配置提供限流配置、運行配置功能。
|
任務實例生成邏輯
運維中心任務類型括周期任務、手動任務和實時任務。觸發(fā)任務運行的方式包括周期調(diào)度和手動觸發(fā)。系統(tǒng)的周期調(diào)度時間包括分鐘、小時、日、周、月和年。觸發(fā)任務運行包括補數(shù)據(jù)周期任務、手動運行手動任務和啟動實時任務的運行。
開發(fā)環(huán)境的所有任務默認不運行，需要您手動觸發(fā)任務的運行。
周期任務發(fā)布到生產(chǎn)環(huán)境后即可開始正常調(diào)度。
周期實例生成邏輯
當開發(fā)調(diào)度類型為周期任務的節(jié)點被提交或發(fā)布至運維中心后，您可以在運維中心的周期任務列表中看到該任務節(jié)點。周期任務可生成以下2種實例類型：
實例類型
實例生成時間
實例運行邏輯
實例運行條件
周期實例
周期任務每晚23點會自動生成次日需要運行的周期實例，周期實例方式為T+1次日生成：
23:00之前提交發(fā)布的周期任務，次日即生成周期實例。
23:00之后提交發(fā)布的周期任務，第三個自然日才會生成實例。
說明修改任務調(diào)度資源組僅對新生成的實例生效，對已生成的實例不生效。如果您需要修改實例的調(diào)度資源組，請在23點之前修改任務的資源配置并提交發(fā)布。特殊的，您還可以單獨修改已生成但是未開始運行的實例的調(diào)度資源。
周期任務通過快照方式生成周期實例后，將根據(jù)周期任務的調(diào)度屬性信息自動調(diào)度運行。
周期實例開始運行前需滿足以下條件：
依賴的所有父節(jié)點實例都為成功運行狀態(tài)。
已達到實例節(jié)點的定時運行時間。
調(diào)度資源滿足實例的運行。
實例和關聯(lián)的周期任務非暫停狀態(tài)。周期實例運行狀態(tài)圖如下：
關于運行狀態(tài)更多信息，請參見實例運行診斷。
補數(shù)據(jù)實例
補數(shù)據(jù)實例需手動針對當前周期任務進行補數(shù)據(jù)操作，才可生成補數(shù)據(jù)實例。
手動生成補數(shù)據(jù)實例后，補數(shù)據(jù)實例將根據(jù)所配置的業(yè)務日期進行補數(shù)據(jù)。
說明在生產(chǎn)環(huán)境下，您可以通過補數(shù)據(jù)周期任務，驗證開發(fā)環(huán)境周期任務是否能夠正常運行，數(shù)據(jù)是否能夠正常產(chǎn)出。
手動實例生成邏輯
當開發(fā)調(diào)度類型為手動業(yè)務的節(jié)點被提交或發(fā)布至運維中心后，您可以在運維中心的手動任務列表中看到該節(jié)點，當您需要運行該手動任務時，可以在手動任務列表對該任務執(zhí)行運行操作，手動觸發(fā)任務運行后，會產(chǎn)生手動實例，您可以在手動實例頁面查看該實例執(zhí)行詳情。
實時實例生成邏輯
當實時任務被提交或發(fā)布至運維中心后，您可以在運維中心的實時任務列表對實時任務進行啟動、修改資源配置等相關操作。在Basic模式和Dev-Prod模式的Prod環(huán)境下，實時任務提交后將自動生成實時實例，自動生成的實例為未啟動的停止狀態(tài)。實時任務運維分為實時計算任務和實時集成任務。
運維中心入口
快捷入口（推薦）
在Dataphin首頁，您也可以單擊Dataphin產(chǎn)品使用路徑的運維調(diào)度，快速進入運維中心。
普通入口
在Dataphin首頁，單擊頂部菜單欄的研發(fā)。
在數(shù)據(jù)開發(fā)頁面，單擊頂部菜單欄的運維，進入運維中心頁面。
