監控規則是數據質量(DQC)的核心。數據質量支持MaxCompute、EMR(E-MapReduce)、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL監控,本文為您介紹如何配置MaxCompute監控。
操作步驟
步驟一:新增MaxCompute數據源
進入數據源頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的管理中心,在下拉框中選擇對應工作空間后單擊進入管理中心。
進入工作空間管理中心頁面后,單擊左側導航欄的
,進入數據源頁面。
單擊新增數據源,添加MaxCompute數據源,詳情請參見創建MaxCompute數據源。
單擊當前頁面左上方的圖標,選擇
。在數據開發頁面左側導航欄,單擊數據源,綁定已添加的MaxCompute數據源。
說明本示例使用的測試表中添加的測試數據來自MaxCompute公開數據集,實際配置時,請為您的實際業務數據配置質量監控和質量監控規則。
步驟二:進入表質量詳情頁
單擊當前頁面左上方的圖標,選擇
。在左側導航欄,單擊
。在左側數據源列表中,選擇數據庫后,找到需要配置數據質量規則的表,單擊表名或操作列的監控配置,進入該表的表質量詳情頁。
說明您也可以輸入目標表名(支持表名首字母模糊搜索),查找對應的表。
步驟三:創建質量監控
在表質量詳情頁的規則管理頁簽,單擊質量監控視角后的,進入新建質量監控頁面。
配置質量監控的相關參數。
說明您可以根據表的實際校驗需求創建質量監控。創建質量監控的更多信息,詳情請參見配置規則:按表(單表)。
單擊保存。
步驟四:配置數據質量規則
在表質量詳情頁的規則管理頁簽,單擊新建規則,進入規則配置頁面。
本示例使用系統模板,創建數據質量規則。
說明您可以根據表的實際需要創建規則。創建規則的更多信息,詳情請參見配置規則:按表(單表)。
將規則添加至步驟三創建的質量監控。
單擊確定。
步驟五:測試規則執行
在表質量詳情頁的質量監控頁簽,找到已創建的質量監控,單擊操作列的測試。
在測試運行對話框中,確認數據范圍、調度時間參數后,單擊測試運行。
當顯示啟動成功后,您可以單擊查看詳情,查看測試運行的具體結果。
本示例的MaxCompute測試表中數據量大于2000行,因此質量監控校驗結果為紅色異常。
測試規則可以正常觸發后,您可以修改質量監控,將觸發方式修改為生產調度觸發,通過在DataWork的運維中心中,關聯指定的周期調度任務,在節點運行完成后,自動觸發該質量監控下的質量規則。
步驟六: 訂閱質量監控
在表質量詳情頁的質量監控頁簽,找到已創建的質量監控,然后單擊操作列的
。配置訂閱方式和授權對象后,單擊保存。
相關參考
按表配置質量監控規則及質量監控的更多信息,請參見配置規則:按表(單表)。
您也可以批量為表配置質量監控規則和質量監控,詳情請參見配置規則:按模板(批量)。
查看質量監控執行詳情,請參見查看質量監控執行詳情。