Hudi數(shù)據(jù)源
Hudi Catalog是一種External Catalog。通過Hudi Catalog,您可以直接查詢Hudi中的數(shù)據(jù)。本文為您介紹如何在E-MapReduce的StarRocks集群上創(chuàng)建和查看Hudi Catalog。
前提條件
已創(chuàng)建包含Hudi服務(wù)的集群,例如DataLake或Custom集群,詳情請見創(chuàng)建集群。
已創(chuàng)建包含StarRocks服務(wù)的集群,例如OLAP或Custom集群,并成功連接到集群,詳情請參見創(chuàng)建集群和快速入門。
使用限制
創(chuàng)建的兩個集群需要在同一個VPC下,并且在同一個可用區(qū)下。
創(chuàng)建Hudi Catalog
語法?
CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES
(
"key"="value",
...
);
參數(shù)說明
catalog_name
:Hudi Catalog的名稱,必選參數(shù)。命名要求如下:必須由字母(a~z或A~Z)、數(shù)字(0~9)或下劃線(_)組成,且只能以字母開頭。
總長度不能超過64個字符。
PROPERTIES
:Hudi Catalog的屬性,必選參數(shù)。Hudi使用的元數(shù)據(jù)服務(wù)不同,該參數(shù)的配置也不同。不同元數(shù)據(jù)服務(wù)的配置方法如下:屬性
是否必選
說明
type
是
數(shù)據(jù)源類型,取值為
hudi
。hive.metastore.uris
是
Hive MetaStore的URI。格式為
thrift://<Hive metastore的IP地址>:<端口號>
,端口號默認(rèn)為9083。當(dāng)使用DLF的元數(shù)據(jù)時,該配置可省略。hive.metastore.type
否
配置MetaStore類型,默認(rèn)為空,代表使用Hive MetaStore的元數(shù)據(jù)。當(dāng)需要使用DLF的元數(shù)據(jù)時,請?jiān)O(shè)置為
dlf
。dlf.catalog.id
否
待讀取的DLF Catalog ID,當(dāng)
hive.metastore.type
設(shè)置為dlf
時配置。如果不添加該配置,則使用默認(rèn)DLF Catalog。Hive MetaStore
屬性
是否必選
說明
type
是
數(shù)據(jù)源類型,取值為
hudi
。hive.metastore.uris
是
Hive MetaStore的URI。格式為
thrift://<Hive metastore的IP地址>:<端口號>
,端口號默認(rèn)為9083。DLF
使用DLF查看數(shù)據(jù)源,詳情請參見使用DLF元數(shù)據(jù)。
示例
以下示例創(chuàng)建了一個名為hudi_catalog
的Hudi Catalog。
CREATE EXTERNAL CATALOG hudi_catalog
PROPERTIES
(
"type" = "hudi",
"hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
);
查看Hudi表數(shù)據(jù)
您可以通過SELECT查詢目標(biāo)數(shù)據(jù)庫中的目標(biāo)表。
SELECT * FROM <catalog_name>.<database_name>.<table_name>;
相關(guān)文檔
Hudi更多介紹,請參見Hudi概述。