前提條件

已購買資產質量增值服務，詳情請參見開通Dataphin。

背景信息

面對各行各業日趨強烈的大數據建設、管理及應用的訴求，Dataphin應用場景的多樣性及復雜性隨之增加。因業務系統的原始數據的規范性無法得以保障，所以Dataphin需要定義數據分析的質量，以滿足資產質量的時效性、準確性、完整性、一致性、有效性，助您真正能夠依賴數據進行經營決策。

數據質量流程引導

數據質量流程引導幫助您從（可選）配置規則模板->引入監控對象->配置質量規則->規則校驗->查看校驗記錄和查看質量報告->進行質量整改的整體流程引導。

質量規則使用場景

在開發中，資產質量提供著重要的數據質量保障作用。

質量校驗過程中，發現質量異常，根據規則設置的強弱屬性，判斷是否需要熔斷下游任務防止異常數據擴散。

• 如果是強規則，則質量規則校驗的結果為異常時報警并阻塞下游任務節點。

• 如果是弱規則，則質量規則校驗的結果為異常時報警但不阻塞下游任務節點。

功能概述

• 資產質量支持Dataphin數據表、全域數據表、指標、數據源和實時元表的規則校驗及整改。

  • Dataphin數據表支持多種表類型（如物理表、事實邏輯表、維度邏輯表、匯總邏輯表）的規則校驗和整改。

  • 全域數據表支持多種數據源類型（如MaxCompute、Hive、Mysql、Oracle、Microsoft SQL Server、PostgreSQL、SAP HANA、AnalyticDB for PostgreSQL、ClickHouse、IBM DB2、DM、Hologres、AgroDB）下的數據表規則校驗和整改。

  • 支持對指標的字段分組個數、字段重復值個數、字段穩定性及字段波動性進行監控、異常報警及整改。

  • 支持對數據源的連通性和表結構異動進行監測、異常報警及整改。

  • 支持對實時元表進行統計值檢測、實時離線對比和實時多鏈路對比、異常報警及整改。

• 資產質量提供全鏈路的數據質量解決方案，包括數據表、數據源、指標和實時元表的質量校驗、質量監控、智能報警、生成質量報告、發起整改等功能。保證了數據在生產及使用流程中的可靠性和合理性，從而避免因為數據質量問題而導致數據失信、決策失誤。

資產質量包括質量概覽、質量監控和質量治理：

• 質量概覽為您展示質量規則校驗的表數、校驗結果為異常的表數等信息，幫助您從整體質量規則校驗結果的視角出發，快速識別并處理異常的校驗結果。

• 質量監控為您提供質量規則列表、配置質量規則、查看校驗記錄、查看質量報告功能。

• 質量治理幫助您查看數據質量在校驗過程中的出錯情況及針對該質量校驗問題發起整改、忽略、通知等治理操作，從而實現資產質量從制定計劃到實現整改的PDCA完整流程，有效提升數據質量。