使用DLF 2.0 Catalog
DLF 2.0提供全托管Paimon元數(shù)據(jù)和數(shù)據(jù)的存儲(chǔ)及管理服務(wù),支持多種存儲(chǔ)優(yōu)化策略,可以提供更加安全和更高性能的湖管理。本文將介紹如何在EMR Serverless StarRocks中使用阿里云DLF 2.0。
背景信息
阿里云數(shù)據(jù)湖構(gòu)建(Data Lake Formation,簡(jiǎn)稱DLF)是一款全托管的統(tǒng)一元數(shù)據(jù)和數(shù)據(jù)存儲(chǔ)及管理平臺(tái),詳細(xì)信息請(qǐng)參見產(chǎn)品簡(jiǎn)介。
前提條件
已創(chuàng)建Serverless StarRocks實(shí)例,且實(shí)例版本為3.2。創(chuàng)建示例的詳細(xì)信息,請(qǐng)參見創(chuàng)建實(shí)例。
已創(chuàng)建DLF 2.0數(shù)據(jù)目錄。如未創(chuàng)建,詳情請(qǐng)參見數(shù)據(jù)目錄。
創(chuàng)建DLF 2.0 Catalog
語法
CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES (
"type" = "paimon",
"paimon.catalog.type" = "dlf-paimon",
"dlf.catalog.id" = "clg-paimon-xxxx"
);
參數(shù)說明
參數(shù) | 是否必填 | 說明 |
<catalog_name> | 是 | DLF Catalog的名稱,必選參數(shù)。命名要求如下:
|
type | 是 | Catalog類型,DLF 2.0當(dāng)前僅支持Paimon Catalog,填寫固定值 |
paimon.catalog.type | 是 | Paimon的Catalog類型,在DLF 2.0場(chǎng)景中應(yīng)填寫固定值 |
dlf.catalog.id | 是 | DLF 2.0的ID,您可以在數(shù)據(jù)湖構(gòu)建控制臺(tái)的數(shù)據(jù)目錄頁面獲取。 |
使用DLF 2.0 Catalog示例
步驟一:在Serverless StarRocks中添加用戶
DLF 2.0的訪問控制是RAM級(jí)別的。默認(rèn)情況下所有StarRocks用戶均不具備DLF 2.0的任何權(quán)限,因此您必須添加一個(gè)已存在的RAM用戶并進(jìn)行授權(quán)。如果未創(chuàng)建RAM用戶,請(qǐng)參見創(chuàng)建RAM用戶。
進(jìn)入EMR Serverless StarRocks實(shí)例列表頁面。
在左側(cè)導(dǎo)航欄,選擇
。在頂部菜單欄處,根據(jù)實(shí)際情況選擇地域。
在實(shí)例列表頁面,單擊已創(chuàng)建實(shí)例操作列的連接實(shí)例,詳情請(qǐng)參見通過EMR StarRocks Manager連接StarRocks實(shí)例。
您可以選擇使用admin或StarRocks超級(jí)管理員權(quán)限,以連接StarRocks實(shí)例。
左側(cè)菜單欄,選擇
,單后單擊添加用戶。在添加用戶對(duì)話框中,用戶來源選擇RAM用戶,用戶名選擇一個(gè)已存在的RAM用戶(dlf-user),用戶類型選擇普通用戶,其余參數(shù)請(qǐng)根據(jù)實(shí)際情況填寫,然后單擊確定。
說明此處的權(quán)限分配僅限于StarRocks內(nèi)部表,不涵蓋數(shù)據(jù)湖構(gòu)建DLF。若需調(diào)整DLF數(shù)據(jù)目錄的訪問權(quán)限,您必須前往數(shù)據(jù)湖構(gòu)建控制臺(tái),對(duì)相應(yīng)的RAM用戶權(quán)限進(jìn)行修改,確保與所需權(quán)限匹配。
步驟二:在DLF 2.0中為Catalog授權(quán)
在Catalog列表頁面,單擊Catalog名稱。
單擊權(quán)限頁簽,單擊授權(quán)。
選擇對(duì)用戶授權(quán),在選擇授權(quán)用戶下拉列表中選擇RAM用戶(dlf-user)。
預(yù)置權(quán)限類型選擇Custom,授權(quán)該用戶當(dāng)前數(shù)據(jù)目錄及其下所有資源的ALL權(quán)限。
單擊確定。
步驟三:在Serverless StarRocks中創(chuàng)建DLF 2.0 Catalog
請(qǐng)使用步驟一中添加的RAM用戶(dlf-user),重新連接至StarRocks實(shí)例,并創(chuàng)建SQL查詢,以便訪問DLF 2.0外表。
在SQL Editor的查詢列表頁面,單擊圖標(biāo),創(chuàng)建SQL查詢。
輸入以下SQL,單擊運(yùn)行。
CREATE EXTERNAL CATALOG `dlf_catalog` PROPERTIES ( "type" = "paimon", "paimon.catalog.type" = "dlf-paimon", "dlf.catalog.id" = "clg-paimon-d0f14532788946afba4ae14543******" );
步驟四:在Serverless StarRocks中讀寫數(shù)據(jù)
創(chuàng)建數(shù)據(jù)庫
CREATE DATABASE IF NOT EXISTS dlf_catalog.sr_dlf_db;
創(chuàng)建數(shù)據(jù)表
CREATE TABLE dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics(
final_gender_code STRING COMMENT '性別',
age_level STRING COMMENT '年齡層次',
pvalue_level STRING COMMENT '消費(fèi)檔次',
clicks INT COMMENT '點(diǎn)擊次數(shù)',
total_behaviors INT COMMENT '總行為次數(shù)'
);
插入數(shù)據(jù)
INSERT INTO dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics (final_gender_code, age_level, pvalue_level, clicks, total_behaviors)
VALUES
('M', '18-24', 'Low', 1500, 2500),
('F', '25-34', 'Medium', 2200, 3300),
('M', '35-44', 'High', 2800, 4000);
查詢數(shù)據(jù)
SELECT * FROM dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics;
返回信息如下圖所示。
相關(guān)文檔
Paimon Catalog的更多介紹,請(qǐng)參見Paimon Catalog。