前提條件

已創建DataLake集群或Hadoop集群，并選擇了Presto服務，詳情請參見創建集群。

使用限制

DataLake集群和EMR-3.38.0及后續版本的Hadoop集群，支持配置Iceberg連接器。

配置Iceberg連接器

修改Iceberg連接器配置，詳情請參見配置連接器。

連接器默認配置

您可以進入EMR控制臺的Trino服務的配置頁面，在服務配置區域，單擊iceberg.properties頁簽。您可以看到參數hive.metastore.uri，該參數表示Hive Metastore使用Thrift協議連接的URI。參數值請根據您實際情況修改。

Iceberg配置列表

您可以進入EMR控制臺的Trino服務的配置頁面，在服務配置區域，單擊iceberg.properties頁簽，然后單擊新增配置項，新增以下配置項。

示例：查詢Iceberg表數據

使用Trino的基本語法即可查詢Iceberg表。

1. 通過SSH方式連接集群，詳情請參見登錄集群。

2. 連接Trino客戶端，詳情請參見通過命令行方式連接Trino。

3. 執行以下命令，創建Schema。

   create schema iceberg.testdb;

4. 執行以下命令，創建表iceberg_test。

   create table iceberg.testdb.iceberg_test(id int);

5. 執行以下命令，向表iceberg_test中插入數據。

   insert into iceberg.testdb.iceberg_test values(1),(2);

   說明

   當集群配置為使用DLF作為統一元數據管理服務時，不支持向Iceberg表執行寫操作。

6. 執行以下命令，查詢表數據。

   select * from iceberg.testdb.iceberg_test;

   返回如下信息。

    id
   ----
    1
    2

SQL語法

Iceberg連接器支持讀寫Iceberg表數據和元信息，除了支持基礎的SQL語法，還支持下表語法。

分區表

Iceberg可以基于如下函數對表進行分區。

例如，customer_orders表按order_date的月份值、account_number的哈希值 （桶數量為10）和country進行分區。

CREATE TABLE iceberg.testdb.customer_orders (
    order_id BIGINT,
    order_date DATE,
    account_number BIGINT,
    customer VARCHAR,
    country VARCHAR)
WITH (partitioning = ARRAY['month(order_date)', 'bucket(account_number, 10)', 'country'])

按分區刪除

對于分區表，如果WHERE子句對整個分區進行過濾，則Iceberg連接器支持刪除整個分區。例如，下面代碼將刪除country=US的所有分區。

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US'

目前，Iceberg連接器僅支持按分區刪除。例如，下面代碼選擇分區中的一些行進行刪除，運行則會報錯。

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US' AND customer = 'Freds Foods'

回滾

Iceberg支持數據的Snapshot模型，其中表快照由Snapshot ID標識。

Iceberg連接器為每個Iceberg表提供了一個系統快照表，快照由BIGINT類型的Snapshot ID標識，您可以通過運行以下命令查看customer_orders表的最新Snapshot ID。

SELECT snapshot_id FROM iceberg.testdb."customer_orders$snapshots" ORDER BY committed_at DESC LIMIT 1

使用system.rollback_to_snapshot可以將表的狀態回滾到之前的快照ID。

CALL iceberg.system.rollback_to_snapshot('testdb', 'customer_orders', 895459706749342****)

系統表和列

Iceberg連接器支持查詢系統表分區。例如，Iceberg表customer_orders，執行以下語句可以顯示表分區，包括每個分區列的最大值和最小值。

SELECT * FROM iceberg.testdb."customer_orders$partitions"

Iceberg表屬性

下表列出了Iceberg表的屬性。

例如，下表定義了PARQUET格式的文件，由c1和c2列分區，文件系統地址為/var/my_tables/test_table。

CREATE TABLE test_table (
    c1 integer,
    c2 date,
    c3 double)
WITH (
    format = 'PARQUET',
    partitioning = ARRAY['c1', 'c2'],
    location = '/var/my_tables/test_table')

物化視圖

Iceberg連接器支持物化視圖，每個物化視圖包含一個視圖定義和Iceberg表，表名稱存儲在物化視圖屬性，數據存儲在Iceberg表里。

物化視圖支持操作如下表。

WITH ( format = 'ORC', partitioning = ARRAY['event_date'] )