日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
有獎調研
輸入文檔關鍵字查找
首頁 開源大數據平臺 E-MapReduce EMR on ACK 操作指南 組件操作指南 Spark 為Spark集群設置元數據

為Spark集群設置元數據

更新時間：
產品詳情
相關技術圈
我的收藏

EMR on ACK支持使用數據湖元數據DLF（Data Lake Formation）和自建Hive Metastore元數據兩種方式，為Spark集群設置元數據。本文為您介紹如何在EMR on ACK中設置Spark集群的元數據。

背景信息

因為數據湖元數據DLF具有高可用和易維護的特點，所以以下場景適合使用數據湖元數據：

  • 當您的EMR集群均為生產環境時，您無需維護獨立的元數據庫。

  • 橫向使用多種大數據計算引擎時，元數據可以集中管理。例如，MaxCompute、Hologres和人工智能平臺 PAI等。

  • 多個EMR集群時，可以統一管理元數據。

前提條件

  • 已在E-MapReduce on ACK控制臺創建Spark集群，詳情請參見步驟一：創建集群。

  • 使用數據湖元數據DLF方式時，需要確保已開通數據湖構建DLF，詳情請參見快速入門。

  • 使用自建Hive Metastore元數據方式時，需要確保已自行創建Hive Metastore服務，并且和創建的ACK集群可以網絡連通。

方式一：使用數據湖元數據DLF（推薦）

  1. 進入集群詳情頁面。

    1. 登錄EMR on ACK控制臺。

    2. 在EMR on ACK頁面，單擊目標集群的名稱。

  2. 在集群詳情頁面，單擊數據湖構建 (DLF)后面的點擊啟用。

  3. 在啟用DLF對話框中，單擊OK。

    完成上述配置后，向該Spark集群提交的任務，會自動連接DLF元數據。

方式二：使用自建Hive Metastore元數據

  1. 進入集群的配置頁面。

    1. 登錄EMR on ACK控制臺。

    2. 在EMR on ACK頁面，單擊目標集群操作列的配置。

  2. 在配置頁簽，單擊spark-defaults.conf頁簽。

  3. 添加自定義配置。

    1. 單擊上方的新增配置項。

    2. 添加Key為spark.hadoop.hive.metastore.uris，Value為thrift://<自建Hive的IP地址>:9083的配置項。

      該參數表示Hive Metastore使用Thrift協議連接的URI。參數值請根據您實際情況修改。

    3. 單擊確定。

    4. 在彈出的對話框中，輸入執行原因，單擊保存。

  4. 部署客戶端配置。

    1. 單擊部署客戶端配置。

    2. 在彈出的對話框中，輸入執行原因，單擊確定。

    3. 在確認對話框中，單擊確定。

    完成上述配置后，向該Spark集群提交的任務，會自動連接自建的Hive Metastore。