日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

文檔

配置自建RDS

更新時間:

本文介紹如何配置自建的阿里云RDS,作為E-MapReduce(簡稱EMR)上DataLake集群、Custom集群或Hadoop集群的元數據。

前提條件

已購買RDS MySQL實例(EMR所有版本均支持MySQL 5.7,僅EMR-3.35.0以上版本、EMR-5.0.0以上版本同時支持MySQL 5.7和8.0版本),詳情請參見創建RDS MySQL實例

說明

本文以MySQL 5.7版本為例介紹。

使用限制

創建RDS MySQL實例時,數據庫類型選擇MySQL,版本選擇5.7;系列選擇高可用版

操作流程

  1. 步驟一:元數據庫準備

    準備元數據庫信息。

  2. 步驟二:創建集群

    在EMR控制臺上創建集群,關聯元數據庫信息。

  3. (可選)步驟三:Metastore初始化

    重要
    • 如果您創建的是Hadoop集群(EMR-3.38.x及之前版本、EMR-4.9.x及之前版本、EMR-5.4.x以及之前版本),或者創建集群之后需要更換為RDS數據庫,則需要初始化Metastore。

    • DataLake和Custom集群在創建過程中會自動根據所提供的數據庫連接參數初始化Hive Meta數據庫,因此無需執行該步驟。

步驟一:元數據庫準備

  1. 創建數據庫。

    具體操作,請參見創建數據庫中的創建數據庫。

  2. 創建普通用戶并授權讀寫權限。

    具體操作,請參見創建賬號

    說明

    請記錄好創建的賬號和密碼,步驟二:創建集群會用到。

  3. 獲取數據庫內網地址。

    1. 設置白名單,詳情請參見設置IP白名單

    2. 在實例詳細頁面,單擊左側導航欄中的數據庫連接

    3. 數據庫連接頁面,單擊內網地址進行復制。

      net_inter

      請記錄內網地址,步驟二:創建集群時會用到。

步驟二:創建集群

在創建集群的軟件配置頁面,配置以下參數,其他參數的配置請參見創建集群

DataLake和Custom集群參數

Hadoop集群參數

描述

元數據

選擇自建RDS

說明

僅當Custom集群選擇了HDFS、YARN和Hive服務后,元數據參數才可見。

javax.jdo.option.ConnectionURL

RDS鏈接

填寫格式為jdbc:mysql://rm-xxxxxx.mysql.rds.aliyuncs.com/<數據庫名稱>

javax.jdo.option.ConnectionUserName

RDS用戶名

填寫步驟一:元數據庫準備中賬號的用戶名。

javax.jdo.option.ConnectionPassword

RDS密碼

填寫步驟一:元數據庫準備中賬號的密碼。

(可選)步驟三:Metastore初始化

重要
  • 如果您創建的是Hadoop集群(EMR-3.38.x及之前版本、EMR-4.9.x及之前版本、EMR-5.4.x以及之前版本),或者創建集群之后需要更換為RDS數據庫,則需要初始化Metastore。

  • DataLake和Custom集群在創建過程中會自動根據所提供的數據庫連接參數初始化Hive Meta數據庫,因此無需執行該步驟。

  1. 使用SSH方式登錄集群的Master節點,詳情請參見登錄集群

  2. 執行以下命令,切換為hadoop用戶。

    su - hadoop
  3. 執行以下命令,進行初始化。

    schematool -initSchema -dbType mysql

    待初始化成功后,則可以使用自建的RDS作為Hive的元數據庫。

    說明

    在初始化之前,Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能會出現異常,待初始化之后會恢復正常。