日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

數據目錄

重要

本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。

本章節主要介紹數據目錄(Catalog)的基本能力。

什么是數據目錄(Catalog)

數據目錄(Catalog)是數據湖構建(Data Lake Formation)的元數據最上層實體,它可以包含多個數據庫。

適用場景

主要適用于元數據隔離的場景,比如多個E-MapReduce集群,每個集群綁定不同的Catalog,每個EMR集群間元數據互不可見。

基本操作

新建數據目錄(Catalog)

  1. 登錄數據湖構建控制臺。

  2. 菜單選擇:“元數據-元數據管理”。

  3. 切換標簽頁到“數據目錄”。

  4. 點擊“新建數據目錄”。

  5. 在輸入框中輸入如下內容:

    • 目錄ID,必選,唯一標識,不可重名。

    • 描述,可選,輸入描述信息。

    • 目錄路徑,可選,輸入默認的存儲路徑,目前僅支持OSS路徑。

  6. 1659087281709-91e5da89-bc9a-423f-940a-a9a3e1ca873d

查詢數據目錄(Catalog)

  1. 登錄數據湖構建控制臺。

  2. 菜單選擇:“元數據-元數據管理”。

  3. 切換標簽頁到“數據目錄”。

1659087480477-9d2dc6ba-1406-4765-96cb-92c37faddfe5

修改數據目錄(Catalog)

  1. 登錄數據湖構建控制臺。

  2. 菜單選擇:“元數據-元數據管理”。

  3. 切換標簽頁到“數據目錄”。

  4. 針對某一行的數據目錄,點擊右側的“編輯”按鈕。

  5. 在輸入框中,修改如下內容:

    • 描述,可選,輸入描述信息。

    • 目錄路徑,可選,輸入默認的存儲路徑,目前僅支持OSS路徑。

  6. 1659087611120-e524d27f-76f7-4fcd-bd15-ce98071c1852

刪除數據目錄(Catalog)

警告

請您謹慎選擇刪除,刪除后,數據將不可恢復!

  1. 登錄數據湖構建控制臺。

  2. 菜單選擇:“元數據-元數據管理”。

  3. 切換標簽頁到“數據目錄”。

  4. 針對某一行的數據目錄,點擊右側的“刪除”按鈕。

  5. 彈出提示確認框后,點擊確認,完成catalog刪除。

與計算引擎的適配操作

如何修改E-MapReduce集群的數據目錄

重要

修改E-MapReduce集群綁定的 DLF Catalog ID后,該集群將會指向新的Catalog ID,在該集群的對原來Catalog的庫/表等操作或運行中的作業均會失效。請充分考慮影響后,再進行切換。

  • Hive引擎配置修改

    • 在Hive/hive-site.xml文件下,新增配置項:dlf.catalog.id

    • Key=dlf.catalog.id

      Value=DLF數據目錄ID

  • 1659088992698-d4b5def7-326b-4439-b233-8c675b173fbe

      • 依次點擊以下2個操作,完成配置部署生效。

        • 保存配置。

        • 部署客戶端配置。

    • 1659089286630-f4bb07e8-c240-479e-a2a8-be2f82aa43de

      • 點擊Hive右側的更多操作,選擇重啟,將Hive服務進行重啟。

    • 1659089384607-e61b7722-2213-436c-9d1d-0715aeb4025e

      • 重啟成功后,Hive狀態變為良好,則Catalog ID修改完成。

說明
  • Spark配置修改參考上述Hive配置修改并重啟服務。

    • 注意:如EMR主版本<=5.6.0/3.40.0,則不需要單獨對Spark做此配置修改,它使用Hive的配置,僅修改Hive配置即可。

  • Presto配置修改參考上述Hive配置修改并重啟服務,需注意修改文件為hive.properties(Presto僅限于EMR 5.8.0/3.42.0及以上版本支持該功能)

  • Impala配置不需要單獨對Impala做此修改,它使用Hive的配置,僅修改Hive配置即可。