日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

使用DLF 2.0 Catalog

DLF 2.0提供全托管Paimon元數(shù)據(jù)和數(shù)據(jù)的存儲(chǔ)及管理服務(wù),支持多種存儲(chǔ)優(yōu)化策略,可以提供更加安全和更高性能的湖管理。本文將介紹如何在EMR Serverless StarRocks中使用阿里云DLF 2.0。

背景信息

阿里云數(shù)據(jù)湖構(gòu)建(Data Lake Formation,簡(jiǎn)稱DLF)是一款全托管的統(tǒng)一元數(shù)據(jù)和數(shù)據(jù)存儲(chǔ)及管理平臺(tái),詳細(xì)信息請(qǐng)參見產(chǎn)品簡(jiǎn)介

前提條件

  • 已創(chuàng)建Serverless StarRocks實(shí)例,且實(shí)例版本為3.2。創(chuàng)建示例的詳細(xì)信息,請(qǐng)參見創(chuàng)建實(shí)例

  • 已創(chuàng)建DLF 2.0數(shù)據(jù)目錄。如未創(chuàng)建,詳情請(qǐng)參見數(shù)據(jù)目錄

創(chuàng)建DLF 2.0 Catalog

語法

CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES (
"type"  =  "paimon",
"paimon.catalog.type"  =  "dlf-paimon",
"dlf.catalog.id"  =  "clg-paimon-xxxx"
);

參數(shù)說明

參數(shù)

是否必填

說明

<catalog_name>

DLF Catalog的名稱,必選參數(shù)。命名要求如下:

  • 必須由字母(a~z或A~Z)、數(shù)字(0~9)或下劃線(_)組成,并且只能以字母開頭。

  • 總長(zhǎng)度不能超過64個(gè)字符。

type

Catalog類型,DLF 2.0當(dāng)前僅支持Paimon Catalog,填寫固定值paimon

paimon.catalog.type

Paimon的Catalog類型,在DLF 2.0場(chǎng)景中應(yīng)填寫固定值dlf-paimon

dlf.catalog.id

DLF 2.0的ID,您可以在數(shù)據(jù)湖構(gòu)建控制臺(tái)數(shù)據(jù)目錄頁面獲取。

使用DLF 2.0 Catalog示例

步驟一:在Serverless StarRocks中添加用戶

重要

DLF 2.0的訪問控制是RAM級(jí)別的。默認(rèn)情況下所有StarRocks用戶均不具備DLF 2.0的任何權(quán)限,因此您必須添加一個(gè)已存在的RAM用戶并進(jìn)行授權(quán)。如果未創(chuàng)建RAM用戶,請(qǐng)參見創(chuàng)建RAM用戶

  1. 進(jìn)入EMR Serverless StarRocks實(shí)例列表頁面。

    1. 登錄E-MapReduce控制臺(tái)

    2. 在左側(cè)導(dǎo)航欄,選擇EMR Serverless > StarRocks

    3. 在頂部菜單欄處,根據(jù)實(shí)際情況選擇地域。

  2. 實(shí)例列表頁面,單擊已創(chuàng)建實(shí)例操作列的連接實(shí)例,詳情請(qǐng)參見通過EMR StarRocks Manager連接StarRocks實(shí)例

    您可以選擇使用admin或StarRocks超級(jí)管理員權(quán)限,以連接StarRocks實(shí)例。

  3. 左側(cè)菜單欄,選擇安全中心 > 用戶管理,單后單擊添加用戶

  4. 添加用戶對(duì)話框中,用戶來源選擇RAM用戶用戶名選擇一個(gè)已存在的RAM用戶(dlf-user),用戶類型選擇普通用戶,其余參數(shù)請(qǐng)根據(jù)實(shí)際情況填寫,然后單擊確定

    image

    說明

    此處的權(quán)限分配僅限于StarRocks內(nèi)部表,不涵蓋數(shù)據(jù)湖構(gòu)建DLF。若需調(diào)整DLF數(shù)據(jù)目錄的訪問權(quán)限,您必須前往數(shù)據(jù)湖構(gòu)建控制臺(tái),對(duì)相應(yīng)的RAM用戶權(quán)限進(jìn)行修改,確保與所需權(quán)限匹配。

步驟二:在DLF 2.0中為Catalog授權(quán)

  1. 登錄數(shù)據(jù)湖構(gòu)建控制臺(tái)

  2. Catalog列表頁面,單擊Catalog名稱。

  3. 單擊權(quán)限頁簽,單擊授權(quán)

  4. 選擇對(duì)用戶授權(quán),在選擇授權(quán)用戶下拉列表中選擇RAM用戶(dlf-user)。

  5. 預(yù)置權(quán)限類型選擇Custom,授權(quán)該用戶當(dāng)前數(shù)據(jù)目錄及其下所有資源的ALL權(quán)限。

  6. 單擊確定

步驟在Serverless StarRocks中創(chuàng)建DLF 2.0 Catalog

重要

請(qǐng)使用步驟一中添加的RAM用戶(dlf-user),重新連接至StarRocks實(shí)例,并創(chuàng)建SQL查詢,以便訪問DLF 2.0外表。

  1. SQL Editor查詢列表頁面,單擊image圖標(biāo),創(chuàng)建SQL查詢。

  2. 輸入以下SQL,單擊運(yùn)行

    CREATE EXTERNAL CATALOG `dlf_catalog`
    PROPERTIES (
      "type"  =  "paimon",
      "paimon.catalog.type"  =  "dlf-paimon",
      "dlf.catalog.id"  =  "clg-paimon-d0f14532788946afba4ae14543******"
    );

步驟四:在Serverless StarRocks中讀寫數(shù)據(jù)

創(chuàng)建數(shù)據(jù)庫

CREATE DATABASE IF NOT EXISTS dlf_catalog.sr_dlf_db;

創(chuàng)建數(shù)據(jù)表

CREATE TABLE dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics(
    final_gender_code STRING COMMENT '性別',
    age_level STRING COMMENT '年齡層次',
    pvalue_level STRING COMMENT '消費(fèi)檔次',
    clicks INT COMMENT '點(diǎn)擊次數(shù)',
    total_behaviors INT COMMENT '總行為次數(shù)'
);

插入數(shù)據(jù)

INSERT INTO dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics (final_gender_code, age_level, pvalue_level, clicks, total_behaviors)
VALUES 
('M', '18-24', 'Low', 1500, 2500),
('F', '25-34', 'Medium', 2200, 3300),
('M', '35-44', 'High', 2800, 4000);

查詢數(shù)據(jù)

SELECT * FROM dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics;

返回信息如下圖所示。

image

相關(guān)文檔

Paimon Catalog的更多介紹,請(qǐng)參見Paimon Catalog