日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

項目空間運維與監控

本文主要介紹Databricks數據洞察中項目空間具有的運維與監控能力。

背景信息

項目空間的運維能力主要輔助作業開發和工作流生產,前者提供作業開發過程中的日志監控、版本監控和操作審計監控;后者兼容前者的功能,更提供針對調度場景下的監控與告警。

在項目維度,設置了運維中心,協助用戶監控作業狀態,運維管理。其中包含作業總覽、作業運行記錄、工作流記錄、流式作業監控和審計日志監控等功能,全方位提升用戶運維效率。運維中心示例圖

作業運維

這里我們模擬一個錯誤作業作為示例,給出項目空間在對該作業運維的操作。

日志監控

當我們在項目空間中運行測試作業時,若運行過程中作業報錯或作業失敗,在下方的調試框內會給出相應的執行日志以及錯誤判斷信息,在運行記錄當中可以查看過往的提交信息,以供用戶排查作業問題,如下圖:

初步報錯信息

日志監控圖運行記錄查看 運行記錄列表圖

點擊運行記錄下的詳情查看,如下圖可以看到完整的作業基本信息和提交日志,這部分的信息內容更加全面。

作業實例信息1

對于長時間段的日志查詢,可以在提交日志中自定義查詢具體時間,方便排查具體時間段暴露的問題,如下圖:

提交日志監控

操作審計與版本控制

這部分功能可以輔助用戶進行運維決策,當作業需要回滾,可以通過創建快照和版本控制結合使用,查詢之前的作業版本,有效恢復生產業務,步驟如下圖:

說明

?創建快照操作應首先保存當前作業的內容,確保為最新更新內容。

回滾操作

對于需要復盤操作記錄時,可以通過審計日志功能,查詢具體操作記錄,如下圖:

審計日志

工作流運維

工作流的運維主要圍繞作業信息展示和調度告警展開,其中包含作業流程監控,作業圖形化展示、變更審計日志等功能。

實例信息展示

當需要監控工作流生產時,可以通過運維中心的工作流實例來監控,可以看到工作流的運行階段與作業的運行狀態,當出現問題作業時,可以通過點擊詳情,查詢的日志報錯信息,后續和上文中日志監控的內容類似。操作界面如下圖:實例信息展示

調度告警

調度作業時,需要配置具體的調度屬性和告警設置,具體操作如下圖:

工作流配置 。 報警配置

對于設置具體的告警人,請參考項目空間告警人設置。當符合告警條件時,系統會根據設置的反饋方式,通知到具體報警人,高效處理運維,反饋示例如下圖:

報警反饋圖