元數據采集概述

支持的數據源及元數據采集方式

使用限制

• 僅支持對當前登錄賬號所屬的工作空間中已配置的數據源，進行元數據采集操作。如果您需要采集其他工作空間中數據源的元數據信息，您可以聯系空間管理員添加空間成員，詳情請參見為工作空間添加空間成員。

• 當您需要采集已開啟白名單訪問控制的數據源的元數據時，則需要提前配置好數據庫的白名單權限。詳情請參見元數據采集的數據源有白名單訪問控制時需要配置的白名單。

• DataWorks目前不建議跨地域采集元數據，即DataWorks所在的地域需要與數據源所在的地域相同。如需跨地域采集元數據，請在新建數據源時使用公網地址。詳情請參見創建并管理數據源。

• 暫不支持使用MySQL元數據采集器來采集OceanBase數據源。

功能入口

1. 進入數據地圖。

2. 在左側菜單欄，單擊元數據采集。

   您可以在數據發現頁面，切換數據源視角和工作空間視角，按照不同的視角來查看或管理元數據采集的情況。

   • 數據源視角為您展示當前賬號所屬工作空間中已配置的數據源，您可基于數據源維度管理數據采集器。

   • 工作空間視角下，您可基于當前賬號所屬工作空間維度，對工作空間下已配置的各數據源的元數據采集器進行管理。對于工作空間下無數據源的情況，支持您單擊新建數據源，進入數據源配置頁面，創建數據源。

查看元數據采集器

• 整體統計

  在元數據采集頁面，您可以切換數據源視角和工作空間視角，查看元數據采集總覽，主要為您展示已創建采集器的數據庫數量。

• 明細列表

  您還可以單擊目標數據源類型或目標工作空間右上角的管理按鈕，進入采集明細頁面，查看相應采集器的運行狀態、執行計劃、上次運行時間、上次消耗時間、平均運行耗時及上次運行時更新及添加的表數量。

管理元數據采集器

單擊目標數據源或工作空間右上角的管理按鈕，默認進入已采集列表，您可以對已有采集器進行如下操作。

運行元數據采集器

支持您手動運行元數據采集器，您可以根據業務需要在已采集列表頁面找到目標數據源單擊操作列的運行，即可執行一次元數據采集。

修改元數據采集器的執行計劃

移除元數據采集器

支持您在已采集列表頁面找到目標數據源單擊操作列的移除，移除當前數據源的元數據采集器。移除后該數據源將會進入未采集列表，不再進行元數據采集。

創建元數據采集器

新建數據源或注冊集群后，您可以進入數據地圖中開啟元數據采集，在已采集列表中查看目標數據源的元數據采集情況。

移除元數據采集器后，如果后續您需要重新啟動采集，支持您在未采集列表中重新創建元數據采集器，以下是詳細的操作步驟。

1. 單擊列表頂部的未采集列表。

2. 找到目標數據源，單擊操作列的元數據采集，在彈出來的配置采集計劃框中配置各項參數。

   說明

   不同數據源配置采集計劃界面可能存在差異，請以產品界面為準。

   

   參數	描述
   資源組名稱	選擇已與數據源網絡連通的資源組。數據地圖支持您選擇如下3種資源組，您可根據需求選取： 默認資源組default。 您自己的獨享調度資源組。 您自己的獨享數據集成資源組。
   連通性測試	選擇完資源組名稱后，如果您想再次測試資源組與數據源的連通性，您可以單擊測試連通性進行驗證。如果顯示測試連通性未通過： 請確認數據源是否開啟了白名單限制，如果需要采集已開啟白名單訪問控制的元數據，請參考元數據采集的數據源有白名單訪問控制時需要配置的白名單配置白名單權限。 如果數據源未開啟白名單限制，請參考資源組操作及網絡連通文檔進行數據源網絡打通。
   采集計劃	包括手動采集、每月、每周、每天及每小時。根據不同的執行周期，生成不同的執行計劃，在相應執行計劃的時間內，對目標數據源進行元數據采集。 手動采集：根據實際業務需求，在業務需要時手動觸發元數據的采集和更新。 月采集：即在每月所指定日期的指定時間點自動采集一次元數據。 重要 部分月份不包含29、30、31日，請您謹慎選擇月末日期。 周采集：即在每周所指定日期的指定時間點自動采集一次元數據。 不輸入時間時，則默認在每周指定幾天的00:00:00采集。 天采集：即在每天特定的時間點自動采集一次元數據。 小時采集：即在每小時的第N分鐘自動采集一次元數據。

3. 確認配置信息無誤后，單擊確認。

   系統會根據配置的采集計劃，進行元數據采集，如果是手動采集，您可以根據實際業務需求，在業務需要時進入已采集列表，找到目標數據源，單擊操作列的運行，即可手動執行采集任務。