元數(shù)據(jù)遷移
元數(shù)據(jù)遷移提供可視化的元數(shù)據(jù)遷移能力,可以幫您快速的將Hive Metastore的元數(shù)據(jù)遷移到數(shù)據(jù)湖構(gòu)建(DLF)中。
前提條件
支持Hive版本:2.3.x 版本。
支持元數(shù)據(jù)庫類型:MySQL。
創(chuàng)建元數(shù)據(jù)遷移任務(wù)
創(chuàng)建遷移任務(wù)
選擇左側(cè)菜單“元數(shù)據(jù)-元數(shù)據(jù)遷移”。
單擊創(chuàng)建遷移任務(wù),開始配置元數(shù)據(jù)遷移任務(wù)。
源庫配置
元數(shù)據(jù)庫類型:目前僅支持MySQL類型。
MySQL類型:
Aliyun RDS:阿里云官網(wǎng)提供的RDS,可參考云數(shù)據(jù)庫RDS MySQL 版。
其他MySQL:EMR內(nèi)置MySQL、自建MySQL或其他MySQL數(shù)據(jù)庫。
如果選擇為Aliyun RDS,則需要填寫RDS實(shí)例相關(guān)信息:
RDS實(shí)例。
元數(shù)據(jù)庫名稱。
用戶名。
密碼。
如果選擇為其他MySQL,則需要填寫MySQL連接的相關(guān)信息:
JDBC URL。
用戶名。
密碼。
網(wǎng)絡(luò)連接配置
當(dāng)MySQL類型=Aliyun RDS時(shí),此時(shí)網(wǎng)絡(luò)連接方式僅可選擇“阿里云VPC”。當(dāng)您選擇VPC連接時(shí),建議選擇與RDS或MySQL匹配的VPC,vSwitch與安全組,避免網(wǎng)絡(luò)出現(xiàn)問題。
當(dāng)MySQL類型=其他MySQL時(shí),此時(shí)網(wǎng)絡(luò)連接方式可選擇“阿里云VPC”,“公網(wǎng)連接”兩種方式。
當(dāng)您選擇公網(wǎng)連接時(shí),請(qǐng)確保公網(wǎng)MySQL允許遠(yuǎn)程訪問,并且端口對(duì)彈性公網(wǎng)IP 121.41.166.235 放開(DLF元數(shù)據(jù)遷移會(huì)使用該IP訪問您的MySQL)。
遷移任務(wù)配置
任務(wù)名稱:輸入元數(shù)據(jù)遷移任務(wù)的名稱。
任務(wù)描述(可選):輸入您的一些任務(wù)備注信息。
沖突解決策略:
更新舊的元數(shù)據(jù):舊數(shù)據(jù)不會(huì)被刪除,在原有基礎(chǔ)上更新元數(shù)據(jù)。
重建元數(shù)據(jù),即先刪除舊的元數(shù)據(jù)后再新建:舊數(shù)據(jù)將會(huì)被全部刪除,重新同步元數(shù)據(jù)并新建。
日志存放路徑:所有任務(wù)日志將會(huì)存放的OSS位置。
同步對(duì)象:包括Database、Function、Table、Partition 四種對(duì)象,一般為全選。
Location替換:適用于遷移過程中需要對(duì)table/database的location進(jìn)行替換修改的情況。比如從傳統(tǒng)HDFS架構(gòu),遷移到OSS存算分離架構(gòu),則需要將hdfs://路徑,替換為oss://路徑等情況。
保存任務(wù)
確認(rèn)任務(wù)配置信息無誤,單擊確定按鈕,創(chuàng)建任務(wù)完成。
運(yùn)行元數(shù)據(jù)遷移任務(wù)
單擊每行遷移任務(wù)右側(cè)操作“運(yùn)行”,運(yùn)行當(dāng)前元數(shù)據(jù)遷移任務(wù)。
任務(wù)開始運(yùn)行中,此時(shí)單擊右側(cè) “停止”操作,可以停止當(dāng)前任務(wù)。
單擊右側(cè)操作 “運(yùn)行記錄”,可以查看運(yùn)行的詳情信息。
單擊查看日志,可以查看運(yùn)行中的日志信息。
元數(shù)據(jù)遷移完成后,可以從日志中看到成功或者失敗的結(jié)果信息。
驗(yàn)證元數(shù)據(jù)同步結(jié)果
在元數(shù)據(jù)管理-元數(shù)據(jù)庫中,查詢期望同步的數(shù)據(jù)庫信息,可以查詢到相應(yīng)的數(shù)據(jù)庫信息。
在元數(shù)據(jù)管理-元數(shù)據(jù)表中,查詢期望同步的數(shù)據(jù)表信息,可以查詢到相應(yīng)的數(shù)據(jù)表信息。