日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

文檔

數據準備快速入門

更新時間:

數據準備(輕量ETL)可以將數據源表或者數據集中的數據進行清洗、聚合、關聯和合并等操作,并將加工后的數據輸出,讓不會寫SQL代碼的業務人員能夠低成本完成BI可視化數據的準備。

常規流程為在數據源模塊建立數據庫連接后,開發者將數據源表或者數據集作為輸入,在數據集模塊進行建模,并基于數據集深度分析與展示數據。在實際應用時,從數據源表到數據集環節,需要對數據源表進行額外的加工處理(例如,對數據進行合并、聚合等操作)。因此,Quick BI引入數據準備模塊,通過輕量ETL對數據源表或者數據集進行清洗加工處理,加工之后的數據重新寫回到數據源表或者數據集中,再進行數據建模和數據深度分析。數據分析_4.3.2

您可以按照以下步驟完成快速入門。

  1. 輸入數據

  2. 配置節點

  3. 連接節點

  4. 輸出數據

  5. 保存并發布文件

使用限制

  • 開發者賬號支持使用輕量ETL。

  • 若您需要輸入數據作為數據源,請參見數據源功能項列表以查看支持ETL功能的數據源。

  • 使用ETL需要擁有相應數據集或數據源的權限:

    • 輸入節點

      • 數據集:必須有數據集使用權限。

      • 數據源表:必須有數據源使用權限。

    • 輸出節點

      • 數據集:必須有數據集新建(編輯)權限。

      • 數據源表:必須有數據源使用權限。

  • 僅專業版群空間支持使用輕量ETL。

    • 專業版正式客戶ETL任務數:可以發布10個任務。

    • ETL試用用戶可以發布3個任務,包括試用專業版的用戶和高級版試用ETL模塊的客戶。

  • 節點字段支持全量展示,最多可勾選200個字段。

  • ETL輸入節點最大輸入數據1000萬行。

功能入口

  1. 登錄Quick BI控制臺

  2. 在Quick BI產品首頁,通過以下入口,新建數據準備。

    入口一:工作臺->選擇工作空間->單擊數據準備->單擊新建數據準備

    image.png

    入口二:工作臺->選擇工作空間->單擊數據準備右邊的image圖標,快速創建數據準備。

    image.png

    入口三:工作臺->選擇工作空間->單擊數據集->選擇目標數據集并單擊數據集右邊的image圖標->單擊新建數據準備。

    image.png

    入口四:工作臺->選擇工作空間->單擊數據源->選擇目標數據源->選擇目標數據表標并單擊圖標image新建數據準備。

    image.png

  3. 進入數據編輯頁面。image.png

輸入數據

支持從目標數據源中獲取數據表或者使用有權限的數據集,作為輸入數據。

在數據準備編輯頁面,從左側的節點操作區,拖拽數據輸入至畫布區,進行數據流構建。image

配置節點

  • 輸入類型為數據源表

    1. 選擇輸入類型為數據源表。image

    2. 選擇數據源。

      支持選擇MySQL、MaxCompute(ODPS)、SQL Server、Oracle、ClickHouse、Hologres、AnalyticDB for MySQL 3.0、PostgreSQL、PolarDB for MySQL、PolarDB for POSTGRE、PolarDB-X(DRDS)、ADB for PostgreSQL和騰訊TDSQL-H LibraDB的公網數據源。

    3. 校驗連通性。

      若您選擇數據源后,出現自動連接失敗,請手動點擊校驗提示,則單擊校驗連通性連接失敗

      說明

      為確保數據源的順利連接,請將106.15.233.0/24添加至您的數據庫白名單。

    4. 選擇數據表。

      此時您可以在頁面右側看到該數據表中的所有字段。探查1

    5. 勾選目標字段作為數據輸入。探查2

  • 輸入類型為數據集

    1. 選擇輸入類型類數據集。image

    2. 選擇數據集。

      image

      說明

      輸入數據集仍依賴底層數據源,需要對應數據源類型支持數據準備。

    3. 校驗連通性。image

    4. 勾選目標字段作為數據輸入。image

重復上述步驟,可以配置多個數據輸入節點。

    說明

    配置多個數據輸入節點時,選擇數據源可以是同一個數據庫,也可以是不同數據庫。

    最多支持添加5個數據輸入節點。

本例中,以添加兩個數據輸入節點為例介紹。

  • 數據輸入1的配置示例如下。數據探查2

  • 數據輸入2的配置示例如下。數據探查3

連接節點

將輸入的數據進行清洗加工 ,故需要將輸入節點、數據加工節點等連接起來,形成任務流。

本例中,將分布在兩個數據庫的訂單合并,并進行清洗加工、聚合等操作。

  1. 合并輸入數據節點。

    合并節點用于將數據輸入1節點和數據輸入2節點中,名稱相同的字段進行合并。

    1. 從左側的節點操作區,拖拽合并至畫布區。數據探查7

    2. 連接需要合并的節點。數據探查1

    3. 配置合并節點并查看合并結果。

      此時合并節點中的字段為數據輸入1和數據輸入2中,名稱相同的字段。數據探查4

  2. 清洗加工合并后的數據。

    1. 從左側的節點操作區,拖拽清洗加工至畫布區。數據探查6

    2. 連接需要清洗加工的節點。數據探查8

    3. 在清洗加工節點配置區域,按照下圖指引,配置字段篩選。篩選

    4. 按照下圖指引,新增字段,支持新增計算字段、分組賦值和窗口函數。image

  3. 聚合清洗加工后的數據。

    1. 從左側的節點操作區,拖拽聚合至畫布區。jueh

    2. 連接需要聚合節點。數據探查9

    3. 在聚合節點配置區域,按照下圖指引,配置分組字段和匯總字段。數據探查10

輸出數據

輸出數據時,支持輸出至已有的目標數據庫表或新建的數據庫表中,也支持輸出至數據集中。

  • 分區表:每次寫入會刪除表中原有數據,并插入新數據。

  • 非分區表:

    • 覆蓋數據:每次寫入會覆蓋之前的數據。

    • 追加數據:主鍵/約束不沖突時,插入數據;主鍵/約束沖突時,則會報錯。

  1. 從左側的節點操作區,拖拽數據輸出至畫布區。數據探查11

  2. 連接需要導出數據的節點。數據探查12

  3. 在數據輸出節點配置區域,按照下圖指引,配置輸出的數據。

    1. 輸出類型為數據源表。數據輸出4.3.4

    2. 輸出類型為數據集。1ETL

輸出數據配置完成后,您需要運行才可以在數據庫表或者數據集中寫入數據。您可以手動觸發運行,也可以定期自動運行,周期性的更新數據庫表。image.png詳情請參見任務運行配置

說明

輸出類型為數據集時,需要組織管理員在空間信息中進行設置,具體請參見新建并管理工作空間

保存并發布文件

配置完成后,您可以單擊保存保存并發布,保存當前數據準備image.png

①保存

保存功能僅保存當前操作。

如果僅保存數據準備,則該數據準備的更新點對用戶不可見:

  • 當新增數據準備時,保存后該數據準備的狀態為未發布,通過保存并發布發布數據準備。

  • 當更新已發布數據準備時,通過重新發布將該更新點發布出去。

②保存并發布

保存并發布功能可以保存當前操作并發布該數據準備。該功能僅對未發布數據準備可見。