查看血緣關(guān)系
Flink作業(yè)的血緣關(guān)系可以進(jìn)行作業(yè)的數(shù)據(jù)溯源和追蹤、幫助您更好地管理和優(yōu)化作業(yè)的數(shù)據(jù)流、快速定位問(wèn)題和評(píng)估影響面。本文為您介紹如何通過(guò)作業(yè)角度和元數(shù)據(jù)角度查看血緣關(guān)系。
背景信息
在數(shù)據(jù)的來(lái)源和變更歷史無(wú)法追蹤的情況下，數(shù)據(jù)的質(zhì)量和安全難以保障，且數(shù)據(jù)的分析和故障排查效率很低。此時(shí)，您可以使用數(shù)據(jù)血緣功能。數(shù)據(jù)血緣關(guān)系描述了數(shù)據(jù)在來(lái)源、處理、傳輸和消費(fèi)過(guò)程中形成的關(guān)系，包括元數(shù)據(jù)之間的流向、依賴(lài)關(guān)系以及元數(shù)據(jù)與流批作業(yè)的生產(chǎn)消費(fèi)關(guān)系。在Flink中，我們提供了N層作業(yè)的表級(jí)別和字段級(jí)別的數(shù)據(jù)血緣關(guān)系的查看和分析能力，具體的優(yōu)勢(shì)詳情如下表所示。
優(yōu)勢(shì) | 詳情 |
提升數(shù)據(jù)確認(rèn)效率 | 通過(guò)溯源數(shù)據(jù)，可以全面了解數(shù)據(jù)的各個(gè)方面，包括作業(yè)涉及的產(chǎn)品、數(shù)據(jù)庫(kù)和表情況，表字段的屬性和關(guān)聯(lián)關(guān)系，數(shù)據(jù)的來(lái)源、經(jīng)過(guò)的處理步驟、傳輸路徑以及最終的消費(fèi)者。這樣可以幫助您更好地理解數(shù)據(jù)的流向和依賴(lài)關(guān)系，從而驗(yàn)證數(shù)據(jù)的可信度和準(zhǔn)確性，更好地管理和分析數(shù)據(jù)，并提高工作效率。 |
提升故障排查效率 | 當(dāng)數(shù)據(jù)在處理過(guò)程中出現(xiàn)問(wèn)題時(shí)，通過(guò)血緣關(guān)系，您可以追蹤到問(wèn)題的根源，快速定位和解決故障，避免業(yè)務(wù)損失和高昂的人力成本。 |
提升數(shù)據(jù)分析效率 | 當(dāng)數(shù)據(jù)資產(chǎn)變更或者出錯(cuò)的情況下快速定位所影響的線上作業(yè)，及時(shí)進(jìn)行處理，避免錯(cuò)誤決策。 |
優(yōu)化數(shù)據(jù)資產(chǎn)成本 | 通過(guò)分析血緣關(guān)系，您可以了解數(shù)據(jù)的流轉(zhuǎn)路徑和依賴(lài)關(guān)系，從而優(yōu)化數(shù)據(jù)處理流程，及時(shí)下線長(zhǎng)期沒(méi)有調(diào)用的服務(wù)，提高數(shù)據(jù)處理的效率和質(zhì)量且節(jié)省數(shù)據(jù)成本。 |
數(shù)據(jù)血緣模型
完整的血緣系統(tǒng)的數(shù)據(jù)模型如下圖所示。
圖中包含節(jié)點(diǎn)（實(shí)體）和邊（關(guān)系），實(shí)體和關(guān)系的組合顯示為數(shù)據(jù)血緣。
類(lèi)別 | 詳情 |
節(jié)點(diǎn) | 每個(gè)Catalog、數(shù)據(jù)表、字段都可以認(rèn)為是一個(gè)數(shù)據(jù)實(shí)體。實(shí)體在血緣圖展示中抽象成為節(jié)點(diǎn)，血緣關(guān)系的節(jié)點(diǎn)包含以下兩類(lèi)：
|
關(guān)系 | 生產(chǎn)實(shí)體的上游，以及使用它的下游，都是對(duì)應(yīng)的實(shí)體之間的關(guān)系。您可以看到以下血緣關(guān)系：
|
使用限制
僅支持查看項(xiàng)目空間內(nèi)作業(yè)和元數(shù)據(jù)間的血緣關(guān)系，不支持跨項(xiàng)目空間查看血緣關(guān)系。
元數(shù)據(jù)角度查看血緣需要使用Catalog，作業(yè)角度查看血緣不依賴(lài)Catalog。
僅支持查看和搜索SQL作業(yè)的血緣關(guān)系。
僅已部署并啟動(dòng)一次的SQL作業(yè)支持查看血緣關(guān)系，作業(yè)停止后會(huì)維持最后一次血緣關(guān)系。
目前僅支持QueryOperation、SinkModifyOperation和CreateTableAsTableOperation三種類(lèi)型操作。對(duì)于其他類(lèi)型操作，數(shù)據(jù)血緣信息無(wú)法被追蹤和顯示。
從作業(yè)角度查看血緣信息
在作業(yè)運(yùn)維頁(yè)面，您可以查看作業(yè)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)具體的信息，以及目標(biāo)作業(yè)中表之間的依賴(lài)關(guān)系，表和字段之間的從屬關(guān)系。
默認(rèn)會(huì)以該作業(yè)為中心節(jié)點(diǎn)，展示三層血緣關(guān)系，即上游表、中心作業(yè)和下游表。如果您需要再往前或往后追溯血緣情況，可以依次單擊上游左側(cè)或下游右側(cè)的加號(hào)。
單擊目標(biāo)工作空間操作列下的控制臺(tái)。
在頁(yè)面，單擊目標(biāo)作業(yè)名稱(chēng)。
在血緣關(guān)系頁(yè)簽，單擊表級(jí)別或字段級(jí)別，分別查看表級(jí)別或字段級(jí)別的血緣關(guān)系。
表級(jí)別
可以查看節(jié)點(diǎn)類(lèi)型、連接器、Catalog名稱(chēng)、數(shù)據(jù)庫(kù)名稱(chēng)、目標(biāo)表和源表名稱(chēng)，以及作業(yè)ID，作業(yè)創(chuàng)建時(shí)間、創(chuàng)建者、最近修改時(shí)間、最近修改人等信息。
字段級(jí)別
可以查看表字段、字段類(lèi)型、表的數(shù)據(jù)庫(kù)名稱(chēng)、Catalog名稱(chēng)和連接器，以及作業(yè)有關(guān)信息。
從元數(shù)據(jù)角度查看血緣信息
如果Catalog下某個(gè)表關(guān)聯(lián)的作業(yè)比較多，血緣關(guān)系圖不好查看，您可以通過(guò)縮放等功能查看血緣關(guān)系圖。也可以打開(kāi)居中選中節(jié)點(diǎn)開(kāi)關(guān)，開(kāi)啟后再單擊到目標(biāo)作業(yè)或表，節(jié)點(diǎn)會(huì)進(jìn)行自動(dòng)居中。
單擊目標(biāo)工作空間操作列下的控制臺(tái)。
在元數(shù)據(jù)管理頁(yè)面，左鍵雙擊Catalog下目標(biāo)數(shù)據(jù)庫(kù)的表名稱(chēng)。
在血緣關(guān)系頁(yè)簽，單擊表級(jí)別或字段級(jí)別，分別查看表級(jí)別或者字段級(jí)別的血緣關(guān)系。
表級(jí)別
可以查看目標(biāo)Catalog的某個(gè)表都被哪些作業(yè)引用，當(dāng)該表結(jié)構(gòu)或者數(shù)據(jù)發(fā)生變更時(shí)，您可以快速的對(duì)被引用的作業(yè)進(jìn)行處理（修改作業(yè)代碼或停止作業(yè)）。
雙擊目標(biāo)作業(yè)節(jié)點(diǎn)，您可以看到該作業(yè)ID、創(chuàng)建和修改信息。如果您需要快速跳轉(zhuǎn)到該作業(yè)的運(yùn)維頁(yè)面，單擊下圖位置的作業(yè)名稱(chēng)即可。
字段級(jí)別
可以單擊目標(biāo)字段，根據(jù)淡藍(lán)色的實(shí)線指引，確定該字段被哪些作業(yè)中的哪個(gè)表引用，對(duì)應(yīng)的字段是哪個(gè)。當(dāng)目標(biāo)字段被刪除、名稱(chēng)或者屬性發(fā)生變化時(shí)，您可以快速找到被引用的作業(yè)及表和字段，對(duì)關(guān)聯(lián)的表字段進(jìn)行相應(yīng)的處理。
通過(guò)節(jié)點(diǎn)或字段名稱(chēng)搜索查看血緣信息
當(dāng)血緣關(guān)系圖很復(fù)雜時(shí)，您可以通過(guò)節(jié)點(diǎn)名稱(chēng)或字段名稱(chēng)進(jìn)行模糊搜索，快速定位目標(biāo)并查看信息。
在作業(yè)運(yùn)維或元數(shù)據(jù)管理的血緣關(guān)系頁(yè)面，在文本框中輸入目標(biāo)節(jié)點(diǎn)名稱(chēng)或字段名稱(chēng)（僅在字段級(jí)別血緣下支持）后，按回車(chē)鍵進(jìn)行搜索。
中心節(jié)點(diǎn)會(huì)由當(dāng)前作業(yè)移動(dòng)至搜索目標(biāo)，并高亮顯示。
雙擊目標(biāo)節(jié)點(diǎn)或字段名稱(chēng)，查看血緣信息。