配置規(guī)則：按模板（批量）
數(shù)據(jù)質(zhì)量為您提供多種預(yù)設(shè)表級(jí)別、字段級(jí)別的監(jiān)控模板。本文為您介紹如何按模板配置監(jiān)控規(guī)則。
使用限制
按模板配置目前支持配置MaxCompute、E-MapReduce、Hologres和AnalyticDB PostgreSQL數(shù)據(jù)源的監(jiān)控規(guī)則。
配置流程
按模板配置質(zhì)量規(guī)則的主要流程如下：
內(nèi)置模板分為表級(jí)和字段級(jí)的模板規(guī)則，選擇模板后，以待校驗(yàn)的表為對(duì)象，定義該表數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則的校驗(yàn)方式。通過數(shù)據(jù)質(zhì)量規(guī)則定義對(duì)該表數(shù)據(jù)的具體校驗(yàn)方式，從而確定表數(shù)據(jù)是否符合預(yù)期。
選擇待批量校驗(yàn)的表或字段，將規(guī)則模板應(yīng)用到目標(biāo)表或字段上。
新建或關(guān)聯(lián)質(zhì)量監(jiān)控
以校驗(yàn)的表的具體數(shù)據(jù)范圍為對(duì)象（如分區(qū)表的具體分區(qū)），通過質(zhì)量規(guī)則關(guān)聯(lián)質(zhì)量監(jiān)控的方式，定義對(duì)象數(shù)據(jù)需要進(jìn)行哪些質(zhì)量規(guī)則校驗(yàn)。
操作步驟
步驟一：進(jìn)入按模板配置監(jiān)控規(guī)則頁(yè)面
登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)質(zhì)量。
在左側(cè)導(dǎo)航欄選擇，進(jìn)入按模板配置頁(yè)面。
數(shù)據(jù)質(zhì)量提供系統(tǒng)內(nèi)置的表級(jí)規(guī)則模板和字段規(guī)則模板，您可以單擊對(duì)應(yīng)模板后的配置監(jiān)控規(guī)則來批量對(duì)表或字段配置監(jiān)控規(guī)則。
步驟二：配置監(jiān)控規(guī)則詳細(xì)屬性
選擇需要進(jìn)行規(guī)則配置的模板，單擊操作列的配置監(jiān)控規(guī)則，進(jìn)入該模板的批量新增監(jiān)控規(guī)則頁(yè)面。
配置監(jiān)控規(guī)則的基本屬性。
參數(shù)
描述
數(shù)據(jù)源類型
選擇后續(xù)需要應(yīng)用此監(jiān)控規(guī)則的表所屬的數(shù)據(jù)源類型。
說明按模板配置目前支持配置MaxCompute、E-MapReduce、Hologres和AnalyticDB PostgreSQL數(shù)據(jù)源的監(jiān)控規(guī)則。
規(guī)則來源
默認(rèn)來源為內(nèi)置模板。
規(guī)則模板
此處展示配置選擇的規(guī)則模板名稱。詳情請(qǐng)參見查看內(nèi)置規(guī)則模板。
規(guī)則名稱
規(guī)則名稱系統(tǒng)會(huì)自動(dòng)生成，您可以按需調(diào)整名稱后綴。
描述
對(duì)配置的監(jiān)控規(guī)則進(jìn)行簡(jiǎn)單描述。
配置監(jiān)控規(guī)則的高級(jí)屬性。
參數(shù)
描述
重要程度
設(shè)置規(guī)則在業(yè)務(wù)中的強(qiáng)弱程度。
強(qiáng)規(guī)則：比較重要的規(guī)則，如果出現(xiàn)紅色異常，默認(rèn)會(huì)阻塞質(zhì)量監(jiān)控關(guān)聯(lián)的調(diào)度任務(wù)的執(zhí)行。
弱規(guī)則：普通規(guī)則，如果出現(xiàn)紅色異常，默認(rèn)不會(huì)阻塞質(zhì)量監(jiān)控關(guān)聯(lián)的調(diào)度任務(wù)的執(zhí)行。
比較方式
定義規(guī)則具體怎么校驗(yàn)表數(shù)據(jù)是否符合預(yù)期。
手動(dòng)設(shè)置：自定義數(shù)據(jù)產(chǎn)出結(jié)果與規(guī)則的比較方式。
不同規(guī)則模板，可選擇的比較方式不同，具體請(qǐng)以實(shí)際界面為準(zhǔn)。
支持數(shù)值型結(jié)果對(duì)比，通常與固定值（即期望值）進(jìn)行比較，比較方式包括大于、大于等于、等于、不等于、小于、小于等于。支持您自定義正常數(shù)據(jù)范圍（正常閾值）與異常數(shù)據(jù)范圍（紅色閾值）。
支持波動(dòng)型結(jié)果對(duì)比，通常是進(jìn)行范圍比較，比較方式包括絕對(duì)值、上升、下降。支持您自定義正常數(shù)據(jù)范圍（正常閾值），您還可以根據(jù)異常偏離程度定義數(shù)據(jù)產(chǎn)出存在異常（橙色閾值）與數(shù)據(jù)產(chǎn)出不符合預(yù)期（紅色閾值）。
智能動(dòng)態(tài)閾值：您無需手動(dòng)配置波動(dòng)閾值或期望值，系統(tǒng)會(huì)根據(jù)智能算法，自動(dòng)判斷合理閾值；若發(fā)現(xiàn)數(shù)據(jù)異常，會(huì)即時(shí)觸發(fā)告警或阻塞。動(dòng)態(tài)閾值也可支持強(qiáng)、弱規(guī)則。
說明僅自定義SQL、自定義范圍、動(dòng)態(tài)閾值類型的質(zhì)量規(guī)則支持智能動(dòng)態(tài)閾值比較方式。
監(jiān)控閾值
當(dāng)比較方式為手動(dòng)設(shè)置時(shí)，您可以自行設(shè)置正常閾值與紅色閾值。
正常閾值：當(dāng)數(shù)據(jù)質(zhì)量規(guī)則校驗(yàn)結(jié)果滿足此處設(shè)置的值時(shí)，說明數(shù)據(jù)校驗(yàn)符合預(yù)期。
紅色閾值：當(dāng)數(shù)據(jù)質(zhì)量規(guī)則校驗(yàn)結(jié)果滿足此處設(shè)置的值時(shí)，說明數(shù)據(jù)校驗(yàn)不符合預(yù)期。
當(dāng)規(guī)則為波動(dòng)型校驗(yàn)時(shí)，您需要指定橙色閾值。
橙色閾值：當(dāng)數(shù)據(jù)質(zhì)量規(guī)則校驗(yàn)結(jié)果滿足此處設(shè)置的值時(shí)，說明數(shù)據(jù)存在異常但不影響業(yè)務(wù)運(yùn)行。
啟停狀態(tài)
規(guī)則的啟用和停用狀態(tài)，用于控制該規(guī)則是否在生產(chǎn)環(huán)境中運(yùn)行。
重要狀態(tài)設(shè)置為停用時(shí)，規(guī)則將無法觸發(fā)測(cè)試運(yùn)行，并且不會(huì)被關(guān)聯(lián)的調(diào)度任務(wù)觸發(fā)運(yùn)行。
單擊下一步，進(jìn)入生成規(guī)則頁(yè)面。
步驟三：批量添加需要規(guī)則校驗(yàn)的表或字段
根據(jù)您選擇的表級(jí)規(guī)則模板或字段級(jí)規(guī)則模板，批量添加需要進(jìn)行該規(guī)則校驗(yàn)的表或字段。
添加表
單擊添加表。
在彈出的批量添加頁(yè)面中，選擇待配置規(guī)則的表，列表中為您展示MaxCompute的所有表信息，您還可以輸入目標(biāo)表名對(duì)結(jié)果進(jìn)行過濾。
選中需要配置監(jiān)控規(guī)則的表后，單擊確定，將其添加至列表中。
添加字段
單擊添加字段。
在彈出的選擇字段對(duì)話框中，選擇目標(biāo)表，待選擇表區(qū)域會(huì)展示MaxCompute的所有表信息。
選中要配置監(jiān)控規(guī)則的字段所在的表后，選擇字段區(qū)域?yàn)槟故疽堰x擇表中的所有字段信息，支持您根據(jù)字段名和字段描述對(duì)結(jié)果進(jìn)行過濾。
選中需要配置監(jiān)控規(guī)則的字段后，單擊添加，將其添加至列表中。
步驟四：新建或關(guān)聯(lián)質(zhì)量監(jiān)控
以校驗(yàn)的表的具體數(shù)據(jù)范圍為對(duì)象（如分區(qū)表的具體分區(qū)），通過質(zhì)量規(guī)則關(guān)聯(lián)質(zhì)量監(jiān)控的方式，定義對(duì)象數(shù)據(jù)需要進(jìn)行哪些質(zhì)量規(guī)則校驗(yàn)。
你可以單獨(dú)配置或批量配置。
批量配置
選擇多個(gè)待添加規(guī)則的表或字段后，單擊設(shè)置質(zhì)量監(jiān)控。
支持批量自動(dòng)關(guān)聯(lián)、批量取消關(guān)聯(lián)和批量快速新增。
自動(dòng)關(guān)聯(lián)：選中的表或字段會(huì)自動(dòng)關(guān)聯(lián)已有的質(zhì)量監(jiān)控。
取消關(guān)聯(lián)：選中的表或字段會(huì)取消已關(guān)聯(lián)的質(zhì)量監(jiān)控。
批量快速新增：為已選擇的表配置質(zhì)量監(jiān)控的數(shù)據(jù)范圍和運(yùn)行設(shè)置。
配置項(xiàng)
說明
數(shù)據(jù)范圍
分區(qū)表
通過分區(qū)表達(dá)式定義該表需要進(jìn)行質(zhì)量規(guī)則校驗(yàn)的分區(qū)。
非分區(qū)表：無需配置，默認(rèn)為全表。
分區(qū)表：表達(dá)式格式：
分區(qū)名=分區(qū)值，分區(qū)值可以是固定值，也可以是附錄二：內(nèi)置分區(qū)表達(dá)式。
運(yùn)行設(shè)置
觸發(fā)方式
監(jiān)控規(guī)則的運(yùn)行方式。
生產(chǎn)調(diào)度觸發(fā)：通過關(guān)聯(lián)DataWorks運(yùn)維中心中指定的周期調(diào)度任務(wù)，任務(wù)運(yùn)行完成后，自動(dòng)觸發(fā)該質(zhì)量監(jiān)控下的質(zhì)量規(guī)則（空跑任務(wù)不會(huì)觸發(fā)質(zhì)量規(guī)則校驗(yàn)）。
手動(dòng)觸發(fā)：手動(dòng)觸發(fā)當(dāng)前質(zhì)量監(jiān)控關(guān)聯(lián)的質(zhì)量監(jiān)控規(guī)則。
關(guān)聯(lián)調(diào)度節(jié)點(diǎn)
如果觸發(fā)方式配置為生產(chǎn)調(diào)度觸發(fā)，可以使用配置此參數(shù)，指定關(guān)聯(lián)的調(diào)度節(jié)點(diǎn)，指定的調(diào)度節(jié)點(diǎn)運(yùn)行完成后，自動(dòng)觸發(fā)質(zhì)量監(jiān)控規(guī)則。
選擇運(yùn)行資源
執(zhí)行質(zhì)量規(guī)則檢測(cè)所需的運(yùn)行資源，默認(rèn)選擇該工作空間下監(jiān)控表所屬數(shù)據(jù)源。如選取其他數(shù)據(jù)源，需確認(rèn)對(duì)應(yīng)資源可對(duì)該表進(jìn)行訪問。
單表配置
在目標(biāo)表名或字段右側(cè)的質(zhì)量監(jiān)控列，您可以為質(zhì)量規(guī)則關(guān)聯(lián)質(zhì)量監(jiān)控任務(wù)，支持選擇已有的質(zhì)量監(jiān)控任務(wù)或新建質(zhì)量監(jiān)控任務(wù)。
如果沒有質(zhì)量監(jiān)控任務(wù)，您可以單擊新建質(zhì)量監(jiān)控。配置如下參數(shù)：
配置項(xiàng)
參數(shù)
說明
基本配置
質(zhì)量監(jiān)控名稱
自定義監(jiān)控規(guī)則名稱。
監(jiān)控對(duì)象
數(shù)據(jù)質(zhì)量校驗(yàn)的對(duì)象，默認(rèn)為當(dāng)前表。
數(shù)據(jù)范圍
通過分區(qū)表達(dá)式定義該表需要進(jìn)行質(zhì)量規(guī)則校驗(yàn)的分區(qū)。
非分區(qū)表：無需配置，默認(rèn)為全表。
分區(qū)表：表達(dá)式格式：
分區(qū)名=分區(qū)值，分區(qū)值可以是固定值，也可以是附錄二：內(nèi)置分區(qū)表達(dá)式。
說明使用自定義模板、自定義SQL配置規(guī)則時(shí)，此處配置不生效。即使用自定義模板、自定義SQL配置的質(zhì)量規(guī)則校驗(yàn)的分區(qū)由自定義SQL決定。
運(yùn)行設(shè)置
觸發(fā)方式
監(jiān)控規(guī)則的運(yùn)行方式。
生產(chǎn)調(diào)度觸發(fā)：通過關(guān)聯(lián)DataWorks運(yùn)維中心中指定的周期調(diào)度任務(wù)，任務(wù)運(yùn)行完成后，自動(dòng)觸發(fā)該質(zhì)量監(jiān)控下的質(zhì)量規(guī)則（空跑任務(wù)不會(huì)觸發(fā)質(zhì)量規(guī)則校驗(yàn)）。
手動(dòng)觸發(fā)：手動(dòng)觸發(fā)當(dāng)前質(zhì)量監(jiān)控關(guān)聯(lián)的質(zhì)量監(jiān)控規(guī)則。
關(guān)聯(lián)調(diào)度節(jié)點(diǎn)
如果觸發(fā)方式配置為生產(chǎn)調(diào)度觸發(fā)，可以使用配置此參數(shù)，指定關(guān)聯(lián)的調(diào)度節(jié)點(diǎn)，指定的調(diào)度節(jié)點(diǎn)運(yùn)行完成后，自動(dòng)觸發(fā)質(zhì)量監(jiān)控規(guī)則。
選擇運(yùn)行資源
執(zhí)行質(zhì)量規(guī)則檢測(cè)所需的運(yùn)行資源，默認(rèn)選擇該工作空間下監(jiān)控表所屬數(shù)據(jù)源。如選取其他數(shù)據(jù)源，需確認(rèn)對(duì)應(yīng)資源可對(duì)該表進(jìn)行訪問。
質(zhì)量問題處理策略
問題處置策略
配置在檢測(cè)到數(shù)據(jù)質(zhì)量問題后，具體的阻塞或告警策略。
阻塞：當(dāng)檢測(cè)到數(shù)據(jù)質(zhì)量問題后，將識(shí)別觸發(fā)該表質(zhì)量檢測(cè)的生產(chǎn)調(diào)度節(jié)點(diǎn)，并將該節(jié)點(diǎn)設(shè)置為失敗，下游節(jié)點(diǎn)將不執(zhí)行，以此阻塞生產(chǎn)鏈路，以避免問題數(shù)據(jù)污染擴(kuò)散。
默認(rèn)為
強(qiáng)規(guī)則·紅色異常。告警：當(dāng)檢測(cè)到數(shù)據(jù)質(zhì)量問題后，將對(duì)該質(zhì)量監(jiān)控的告警訂閱渠道發(fā)送告警信息。
默認(rèn)為：
強(qiáng)規(guī)則·紅色異常、強(qiáng)規(guī)則·橙色異常、強(qiáng)規(guī)則·校驗(yàn)失敗、弱規(guī)則·紅色異常、弱規(guī)則·橙色異常、弱規(guī)則·校驗(yàn)失敗。
選擇質(zhì)量規(guī)則
選擇質(zhì)量規(guī)則
通過質(zhì)量監(jiān)控關(guān)聯(lián)質(zhì)量規(guī)則的方式，確定通過哪些規(guī)則來校驗(yàn)該表當(dāng)前數(shù)據(jù)范圍是否符合預(yù)期。
說明不同分區(qū)可新建多個(gè)質(zhì)量監(jiān)控并關(guān)聯(lián)不同的質(zhì)量規(guī)則進(jìn)行校驗(yàn)，以實(shí)現(xiàn)不同分區(qū)校驗(yàn)規(guī)則不同的目的。
如果還未創(chuàng)建質(zhì)量規(guī)則，本步驟可暫不添加，您可以先完成質(zhì)量監(jiān)控的創(chuàng)建，在后續(xù)創(chuàng)建質(zhì)量規(guī)則時(shí)，將規(guī)則添加至質(zhì)量監(jiān)控中。質(zhì)量規(guī)則的創(chuàng)建，詳情請(qǐng)參見步驟三：配置數(shù)據(jù)質(zhì)量規(guī)則。
步驟五：測(cè)試規(guī)則執(zhí)行
單擊生成規(guī)則，進(jìn)入規(guī)則驗(yàn)證頁(yè)面。在規(guī)則驗(yàn)證頁(yè)面您可以進(jìn)行如下操作：
校驗(yàn)規(guī)則配置的合理性：測(cè)試運(yùn)行
規(guī)則創(chuàng)建完成后，您可以選擇單個(gè)或多個(gè)規(guī)則進(jìn)行測(cè)試運(yùn)行，在彈出的測(cè)試運(yùn)行對(duì)話框中選擇調(diào)度時(shí)間（模擬給定校驗(yàn)被觸發(fā)的時(shí)間），系統(tǒng)會(huì)根據(jù)此時(shí)間以及數(shù)據(jù)范圍，計(jì)算要驗(yàn)證的表的具體分區(qū)取值。完成后單擊測(cè)試運(yùn)行，以校驗(yàn)該表該分區(qū)下的數(shù)據(jù)是否符合當(dāng)前配置的數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則。
測(cè)試運(yùn)行后，您可以單擊操作列的運(yùn)行記錄，查看測(cè)試運(yùn)行的詳情，并進(jìn)行相應(yīng)的處理。
定義報(bào)警接收人：訂閱管理
您可以單擊訂閱管理，選擇訂閱方式及接受對(duì)象，目前支持通過郵件通知、郵件和短信通知、釘釘群機(jī)器人、釘釘群機(jī)器人@ALL、飛書群機(jī)器人、企業(yè)微信機(jī)器人、自定義Webhook和電話，觸發(fā)報(bào)警后，指定接收人將收到報(bào)警信息。
說明僅DataWorks企業(yè)版版本支持使用自定義Webhook方式，DataWorks推送自定義Webhook的報(bào)警信息的消息格式請(qǐng)參見：附錄：Webhook消息格式。
定義規(guī)則觸發(fā)方式：關(guān)聯(lián)調(diào)度
您可以單擊推薦關(guān)聯(lián)調(diào)度或手動(dòng)關(guān)聯(lián)調(diào)度，為單個(gè)或多個(gè)數(shù)據(jù)質(zhì)量規(guī)則關(guān)聯(lián)產(chǎn)出表數(shù)據(jù)的調(diào)度節(jié)點(diǎn)（運(yùn)維中心中產(chǎn)出表數(shù)據(jù)的節(jié)點(diǎn)，包括自動(dòng)調(diào)度的周期實(shí)例，手動(dòng)觸發(fā)的補(bǔ)數(shù)據(jù)實(shí)例，測(cè)試實(shí)例），當(dāng)節(jié)點(diǎn)任務(wù)執(zhí)行時(shí)便會(huì)觸發(fā)該數(shù)據(jù)質(zhì)量規(guī)則校驗(yàn)，您可以設(shè)置規(guī)則的強(qiáng)弱來控制節(jié)點(diǎn)是否失敗退出，從而避免臟數(shù)據(jù)影響擴(kuò)大。
推薦關(guān)聯(lián)調(diào)度：系統(tǒng)會(huì)根據(jù)產(chǎn)出該表的節(jié)點(diǎn)血緣關(guān)系選中的規(guī)則自動(dòng)關(guān)聯(lián)推薦的調(diào)度節(jié)點(diǎn)。
手動(dòng)關(guān)聯(lián)調(diào)度：您可以為選中的規(guī)則手動(dòng)關(guān)聯(lián)指定的調(diào)度節(jié)點(diǎn)。
重要必須關(guān)聯(lián)相應(yīng)的調(diào)度節(jié)點(diǎn)，規(guī)則才會(huì)被自動(dòng)觸發(fā)運(yùn)行。
刪除規(guī)則：您可以選擇單個(gè)或多個(gè)規(guī)則進(jìn)行刪除。
查看規(guī)則詳情：您可以單擊操作列的規(guī)則詳情，查看規(guī)則詳情，并對(duì)規(guī)則進(jìn)行修改、啟停、刪除、設(shè)置規(guī)則強(qiáng)弱、查看日志等操作。
試跑運(yùn)行成功且關(guān)聯(lián)調(diào)度后，單擊完成驗(yàn)證。
后續(xù)步驟
質(zhì)量監(jiān)控運(yùn)行后，您可以在左側(cè)導(dǎo)航欄的質(zhì)量運(yùn)維目錄下，單擊質(zhì)量監(jiān)控和運(yùn)行記錄，查看指定表的質(zhì)量校驗(yàn)情況，以及完整的質(zhì)量規(guī)則校驗(yàn)記錄。
附錄：Webhook消息格式
DataWorks推送自定義Webhook的報(bào)警信息的消息格式及參數(shù)說明如下所示：
消息示例
{
"detailUrl": "https://dqc-cn-zhangjiakou.data.aliyun.com/?defaultProjectId=3058#/jobDetail?envType=ODPS&projectName=yongxunQA_zhangbei_standard&tableName=sx_up_001&entityId=10878&taskId=16876941111958fa4ce0e0b5746379cd9bc67999d05f8&bizDate=1687536000000&executeTime=1687694111000",
"datasourceName": "emr_test_01",
"engineTypeName": "EMR",
"projectName": "線上回歸項(xiàng)目",
"dqcEntityQuality": {
"entityName": "tb_auto_test",
"actualExpression": "ds=20230625",
"strongRuleAlarmNum": 1,
"weakRuleAlarmNum": 0
},
"ruleChecks": [
{
"blockType": 0,
"warningThreshold": 0.1,
"property": "id",
"tableName": "tb_auto_test",
"comment": "測(cè)試規(guī)則",
"checkResultStatus": 2,
"templateName": "字段唯一值個(gè)數(shù)期望值校驗(yàn)",
"checkerName": "fulx",
"ruleId": 123421,
"fixedCheck": false,
"op": "",
"upperValue": 22200,
"actualExpression": "ds=20230625",
"externalId": "123112232",
"timeCost": "10",
"trend": "up",
"externalType": "CWF2",
"bizDate": 1600704000000,
"checkResult": 2,
"matchExpression": "ds=$[yyyymmdd]",
"checkerType": 0,
"projectName": "auto_test",
"beginTime": 1600704000000,
"dateType": "YMD",
"criticalThreshold": "0.6",
"isPrediction": false,
"ruleName": "規(guī)則的名稱",
"checkerId": 7,
"discreteCheck": true,
"endTime": 1600704000000,
"MethodName": "max",
"lowerValue": 2344,
"entityId": 12142421,
"whereCondition": "type!='type2'",
"expectValue": 90,
"templateId": 5,
"taskId": "16008552981681a0d6",
"id": 234241453,
"open": true,
"referenceValue": [
{
"discreteProperty": "type1",
"value": 20,
"bizDate": "1600704000000",
"singleCheckResult": 2,
"threshold": 0.2
}
],
"sampleValue": [
{
"discreteProperty": "type2",
"bizDate": "1600704000000",
"value": 23
}
]
}
]
}參數(shù)說明
名稱 | 類型 | 示例值 | 描述 |
ProjectName | String | autotest | 需要進(jìn)行數(shù)據(jù)質(zhì)量校驗(yàn)的引擎或者數(shù)據(jù)源名稱。 |
actualExpression | String | ds=20200925 | 被校驗(yàn)的數(shù)據(jù)源表的實(shí)際分區(qū)。 |
RuleChecks | Array of RuleChecks | 校驗(yàn)結(jié)果的列表。 | |
BlockType | Integer | 1 | 校驗(yàn)規(guī)則的強(qiáng)弱。強(qiáng)弱表示規(guī)則的重要程度。取值如下：
|
WarningThreshold | Float | 0.1 | 橙色閾值。表示與樣本預(yù)期的偏離程度，您可以根據(jù)業(yè)務(wù)需求自定義該閾值。 |
Property | String | type | 規(guī)則屬性的字段，即被校驗(yàn)數(shù)據(jù)源表的column名稱。 |
TableName | String | dual | 進(jìn)行校驗(yàn)的表名稱。 |
Comment | String | 規(guī)則的描述信息。 | 校驗(yàn)規(guī)則的描述。 |
CheckResultStatus | Integer | 2 | 校驗(yàn)結(jié)果狀態(tài)。 |
TemplateName | String | 字段唯一值個(gè)數(shù)期望值校驗(yàn) | 使用的校驗(yàn)?zāi)０宓拿Q。 |
CheckerName | String | fulx | 校驗(yàn)器的名稱。 |
RuleId | Long | 123421 | 規(guī)則ID。 |
FixedCheck | Boolean | false | 是否為固定值校驗(yàn)。取值如下：
|
Op | String | > | 比較符。 |
UpperValue | Float | 22200 | 預(yù)測(cè)上限。設(shè)置閾值后自動(dòng)生成。 |
ActualExpression | String | ds=20200925 | 被校驗(yàn)的數(shù)據(jù)源表的實(shí)際分區(qū)。 |
ExternalId | String | 123112232 | 調(diào)度任務(wù)的節(jié)點(diǎn)ID。 |
TimeCost | String | 10 | 執(zhí)行校驗(yàn)任務(wù)花費(fèi)的時(shí)間。 |
Trend | String | up | 校驗(yàn)結(jié)果的趨勢(shì)。 |
ExternalType | String | CWF2 | 調(diào)度系統(tǒng)的類型。目前僅支持CWF。 |
BizDate | Long | 1600704000000 | 業(yè)務(wù)日期。如果被校驗(yàn)的業(yè)務(wù)主體為離線數(shù)據(jù)，則業(yè)務(wù)日期通常為執(zhí)行校驗(yàn)操作的前一天。 |
CheckResult | Integer | 2 | 校驗(yàn)結(jié)果。 |
MatchExpression | String | ds=$[yyyymmdd] | 分區(qū)表達(dá)式。 |
CheckerType | Integer | 0 | 校驗(yàn)器的類型。 |
ProjectName | String | autotest | 需要進(jìn)行數(shù)據(jù)質(zhì)量校驗(yàn)的引擎或者數(shù)據(jù)源名稱。 |
BeginTime | Long | 1600704000000 | 執(zhí)行校驗(yàn)操作的開始時(shí)間。 |
DateType | String | YMD | 調(diào)度周期的類型。通常為YMD，即年任務(wù)、月任務(wù)、天任務(wù)。 |
CriticalThreshold | Float | 0.6 | 紅色閾值。表示與樣本預(yù)期的偏離程度。您可以根據(jù)業(yè)務(wù)需求自定義該閾值。使用強(qiáng)規(guī)則并觸發(fā)紅色閾值，會(huì)阻塞調(diào)度任務(wù)。 |
IsPrediction | Boolean | false | 是否為預(yù)測(cè)的結(jié)果。取值如下：
|
RuleName | String | 規(guī)則的名稱。 | 規(guī)則的名稱。 |
CheckerId | Integer | 7 | 校驗(yàn)器的ID。 |
DiscreteCheck | Boolean | true | 是否為離散校驗(yàn)。取值如下：
|
EndTime | Long | 1600704000000 | 查詢校驗(yàn)結(jié)果的截止時(shí)間。 |
MethodName | String | max | 采集樣本數(shù)據(jù)的方法。包括avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct等。 |
LowerValue | Float | 2344 | 預(yù)測(cè)下限。根據(jù)您設(shè)置的閾值自動(dòng)生成。 |
EntityId | Long | 14534343 | 分區(qū)表達(dá)式ID。 |
WhereCondition | String | type!='type2' | 校驗(yàn)任務(wù)使用的過濾條件。 |
ExpectValue | Float | 90 | 期望值。 |
TemplateId | Integer | 5 | 使用的校驗(yàn)?zāi)０宓腎D。 |
TaskId | String | 16008552981681a0d6**** | 校驗(yàn)任務(wù)的ID。 |
Id | Long | 2231123 | 主鍵ID。 |
ReferenceValue | Array of ReferenceValue | 歷史樣本值。 | |
DiscreteProperty | String | type1 | 通過group by分組后的樣本字段取值。例如group by性別字段，則DiscreteProperty為男生、女生和null。 |
Value | Float | 20 | 樣本值。 |
BizDate | String | 1600704000000 | 業(yè)務(wù)日期。如果被校驗(yàn)的業(yè)務(wù)主體為離線數(shù)據(jù)，則業(yè)務(wù)日期通常為執(zhí)行校驗(yàn)操作的前一天。 |
SingleCheckResult | Integer | 2 | 校驗(yàn)結(jié)果的字符串。 |
Threshold | Float | 0.2 | 閾值。 |
SampleValue | Array of SampleValue | 當(dāng)前使用的樣本。 | |
DiscreteProperty | String | type2 | 通過group by分組后的樣本字段取值。例如group by性別字段，則DiscreteProperty為男生、女生和null。 |
BizDate | String | 1600704000000 | 業(yè)務(wù)日期。如果被校驗(yàn)的業(yè)務(wù)主體為離線數(shù)據(jù)，則業(yè)務(wù)日期通常為執(zhí)行校驗(yàn)操作的前一天。 |
Value | Float | 23 | 樣本值。 |
Open | Boolean | true | 規(guī)則是否開啟。 |