數(shù)據(jù)湖構(gòu)建可以幫助用戶快速構(gòu)建云上數(shù)據(jù)湖,采用統(tǒng)一的管理視角治理數(shù)據(jù)湖。
本產(chǎn)品目前處于公測階段,您可以隨時開通使用,目前數(shù)據(jù)湖構(gòu)建所有功能均為免費使用階段。
用戶使用流程
數(shù)據(jù)湖構(gòu)建將幫助您快速簡潔抽取源數(shù)據(jù)到統(tǒng)一數(shù)據(jù)湖的服務(wù),用戶使用流程如下:
開通公測流程后,登錄阿里云管理控制臺,選擇數(shù)據(jù)湖構(gòu)建,進入數(shù)據(jù)湖管理控制臺。
參見數(shù)據(jù)源管理章節(jié),創(chuàng)建數(shù)據(jù)源,選擇希望導入到數(shù)據(jù)湖的數(shù)據(jù)來源。
參見入湖模板章節(jié),創(chuàng)建數(shù)據(jù)湖模板,定期將數(shù)據(jù)源中的數(shù)據(jù)抽取到數(shù)據(jù)湖。
參見元數(shù)據(jù)管理章節(jié),定義數(shù)據(jù)湖的元數(shù)據(jù)庫和表。
控制臺概覽
控制臺概覽分為2個部分,左側(cè)為主要功能區(qū),右側(cè)為產(chǎn)品主要信息,幫助用戶快速上手產(chǎn)品。
注冊數(shù)據(jù)湖位置
阿里云數(shù)據(jù)湖構(gòu)建采用OSS作為統(tǒng)一數(shù)據(jù)湖位置,用戶需要注冊一個OSS的Bucket或OSS路徑作為數(shù)據(jù)湖位置。
元數(shù)據(jù)管理
數(shù)據(jù)湖元數(shù)據(jù)管理包括元數(shù)據(jù)庫和元數(shù)據(jù)表兩層結(jié)構(gòu)構(gòu)成。
數(shù)據(jù)源
用戶從數(shù)據(jù)源抽取數(shù)據(jù)到注冊的數(shù)據(jù)湖位置,數(shù)據(jù)湖構(gòu)建支持多種形式的數(shù)據(jù)源,目前RDS MySQL已對外開放。
參數(shù) | 描述 |
連接名稱 | 數(shù)據(jù)湖構(gòu)建中惟一的名稱 |
連接類型 | 目前支持RDS MySQL |
用戶名 | 連接MySQL數(shù)據(jù)庫的用戶名 |
密碼 | 連接MySQL數(shù)據(jù)庫的密碼 |
虛擬專有網(wǎng)絡(luò)(VPC) | 數(shù)據(jù)庫所在的vpc |
交換機(Switch) | 數(shù)據(jù)庫所在的交換機 |
安全組 | 數(shù)據(jù)庫所在的安全組 |
入湖模板
用戶創(chuàng)建入湖模板將數(shù)據(jù)源中的數(shù)據(jù)通過手動或者定時的方式抽取到數(shù)據(jù)湖中。