EMR on ACK支持使用數據湖元數據DLF(Data Lake Formation)和自建Hive Metastore元數據兩種方式,為Spark集群設置元數據。本文為您介紹如何在EMR on ACK中設置Spark集群的元數據。
背景信息
因為數據湖元數據DLF具有高可用和易維護的特點,所以以下場景適合使用數據湖元數據:
當您的EMR集群均為生產環境時,您無需維護獨立的元數據庫。
橫向使用多種大數據計算引擎時,元數據可以集中管理。例如,MaxCompute、Hologres和人工智能平臺 PAI等。
多個EMR集群時,可以統一管理元數據。
前提條件
方式一:使用數據湖元數據DLF(推薦)
進入集群詳情頁面。
在EMR on ACK頁面,單擊目標集群的名稱。
在集群詳情頁面,單擊數據湖構建 (DLF)后面的點擊啟用。
在啟用DLF對話框中,單擊OK。
完成上述配置后,向該Spark集群提交的任務,會自動連接DLF元數據。
方式二:使用自建Hive Metastore元數據
進入集群的配置頁面。
在EMR on ACK頁面,單擊目標集群操作列的配置。
在配置頁簽,單擊spark-defaults.conf頁簽。
添加自定義配置。
單擊上方的新增配置項。
添加Key為spark.hadoop.hive.metastore.uris,Value為thrift://<自建Hive的IP地址>:9083的配置項。
該參數表示Hive Metastore使用Thrift協議連接的URI。參數值請根據您實際情況修改。
單擊確定。
在彈出的對話框中,輸入執行原因,單擊保存。
部署客戶端配置。
單擊部署客戶端配置。
在彈出的對話框中,輸入執行原因,單擊確定。
在確認對話框中,單擊確定。
完成上述配置后,向該Spark集群提交的任務,會自動連接自建的Hive Metastore。
文檔內容是否對您有幫助?