日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

元數(shù)據(jù)遷移

元數(shù)據(jù)遷移提供可視化的元數(shù)據(jù)遷移能力,可以幫您快速的將Hive Metastore的元數(shù)據(jù)遷移到數(shù)據(jù)湖構(gòu)建(DLF)中。

前提條件

  • 支持Hive版本:2.3.x 版本。

  • 支持元數(shù)據(jù)庫類型:MySQL。

創(chuàng)建元數(shù)據(jù)遷移任務(wù)

創(chuàng)建遷移任務(wù)

  1. 打開數(shù)據(jù)湖構(gòu)建控制臺(tái)

  2. 選擇左側(cè)菜單“元數(shù)據(jù)-元數(shù)據(jù)遷移”。

  3. 單擊創(chuàng)建遷移任務(wù),開始配置元數(shù)據(jù)遷移任務(wù)。

創(chuàng)建遷移任務(wù)

源庫配置

  • 元數(shù)據(jù)庫類型:目前僅支持MySQL類型。

  • MySQL類型:

    • Aliyun RDS:阿里云官網(wǎng)提供的RDS,可參考云數(shù)據(jù)庫RDS MySQL 版

    • 其他MySQL:EMR內(nèi)置MySQL、自建MySQL或其他MySQL數(shù)據(jù)庫。

  • 如果選擇為Aliyun RDS,則需要填寫RDS實(shí)例相關(guān)信息:

    • RDS實(shí)例。

    • 元數(shù)據(jù)庫名稱。

    • 用戶名。

    • 密碼。

    源庫配置

  • 如果選擇為其他MySQL,則需要填寫MySQL連接的相關(guān)信息:

    • JDBC URL。

    • 用戶名。

    • 密碼。

源庫配置-其他MYSQL

  • 網(wǎng)絡(luò)連接配置

    • 當(dāng)MySQL類型=Aliyun RDS時(shí),此時(shí)網(wǎng)絡(luò)連接方式僅可選擇“阿里云VPC”。當(dāng)您選擇VPC連接時(shí),建議選擇與RDS或MySQL匹配的VPC,vSwitch與安全組,避免網(wǎng)絡(luò)出現(xiàn)問題。

    網(wǎng)絡(luò)連接-RDS-阿里云VPC

    • 當(dāng)MySQL類型=其他MySQL時(shí),此時(shí)網(wǎng)絡(luò)連接方式可選擇“阿里云VPC”,“公網(wǎng)連接”兩種方式。

    網(wǎng)絡(luò)配置-其他MySQL

說明

當(dāng)您選擇公網(wǎng)連接時(shí),請(qǐng)確保公網(wǎng)MySQL允許遠(yuǎn)程訪問,并且端口對(duì)彈性公網(wǎng)IP 121.41.166.235 放開(DLF元數(shù)據(jù)遷移會(huì)使用該IP訪問您的MySQL)。

遷移任務(wù)配置

  • 任務(wù)名稱:輸入元數(shù)據(jù)遷移任務(wù)的名稱。

  • 任務(wù)描述(可選):輸入您的一些任務(wù)備注信息。

  • 沖突解決策略:

    • 更新舊的元數(shù)據(jù):舊數(shù)據(jù)不會(huì)被刪除,在原有基礎(chǔ)上更新元數(shù)據(jù)。

    • 重建元數(shù)據(jù),即先刪除舊的元數(shù)據(jù)后再新建:舊數(shù)據(jù)將會(huì)被全部刪除,重新同步元數(shù)據(jù)并新建。

  • 日志存放路徑:所有任務(wù)日志將會(huì)存放的OSS位置。

  • 同步對(duì)象:包括Database、Function、Table、Partition 四種對(duì)象,一般為全選。

  • Location替換:適用于遷移過程中需要對(duì)table/database的location進(jìn)行替換修改的情況。比如從傳統(tǒng)HDFS架構(gòu),遷移到OSS存算分離架構(gòu),則需要將hdfs://路徑,替換為oss://路徑等情況。

遷移任務(wù)配置

保存任務(wù)

確認(rèn)任務(wù)配置信息無誤,單擊確定按鈕,創(chuàng)建任務(wù)完成。

確認(rèn)元數(shù)據(jù)遷移任務(wù)信息

運(yùn)行元數(shù)據(jù)遷移任務(wù)

  • 單擊每行遷移任務(wù)右側(cè)操作“運(yùn)行”,運(yùn)行當(dāng)前元數(shù)據(jù)遷移任務(wù)。

元數(shù)據(jù)遷移列表

  • 任務(wù)開始運(yùn)行中,此時(shí)單擊右側(cè) “停止”操作,可以停止當(dāng)前任務(wù)。

元數(shù)據(jù)遷移運(yùn)行中

  • 單擊右側(cè)操作 “運(yùn)行記錄”,可以查看運(yùn)行的詳情信息。

元數(shù)據(jù)遷移-運(yùn)行歷史

  • 單擊查看日志,可以查看運(yùn)行中的日志信息。

元數(shù)據(jù)遷移-運(yùn)行歷史-查看日志

  • 元數(shù)據(jù)遷移完成后,可以從日志中看到成功或者失敗的結(jié)果信息。

元數(shù)據(jù)遷移-運(yùn)行歷史-查看日志-成功

驗(yàn)證元數(shù)據(jù)同步結(jié)果

  • 在元數(shù)據(jù)管理-元數(shù)據(jù)庫中,查詢期望同步的數(shù)據(jù)庫信息,可以查詢到相應(yīng)的數(shù)據(jù)庫信息。

元數(shù)據(jù)管理-元數(shù)據(jù)庫校驗(yàn)

  • 在元數(shù)據(jù)管理-元數(shù)據(jù)表中,查詢期望同步的數(shù)據(jù)表信息,可以查詢到相應(yīng)的數(shù)據(jù)表信息。

元數(shù)據(jù)管理-元數(shù)據(jù)表-校驗(yàn)