您可以通過Kafka表引擎導入數據至ClickHouse集群。本文為您介紹如何將Kafka中的數據導入至ClickHouse集群。
前提條件
使用限制
DataFlow集群和ClickHouse集群需要在同一VPC下。
語法
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
...
) ENGINE = Kafka()
SETTINGS
kafka_broker_list = 'host1:port1,host2:port2',
kafka_topic_list = 'topic1,topic2,...',
kafka_group_name = 'group_name',
kafka_format = 'data_format';
其中,涉及參數描述如下表所示。參數 | 描述 |
---|---|
db |
數據庫名。 |
table_name |
表名。 |
cluster |
集群標識。 |
name1/name2 |
列名。 |
tyep1/type2 |
列的類型。 |
kafka_broker_list |
Kafka Broker的地址及端口。
DataFlow集群所有節點的內網IP地址及端口,您可以在EMR控制臺集群管理頁簽中的主機列表頁面查看。 |
kafka_topic_list |
訂閱的Topic名稱。 |
kafka_group_name |
Kafka consumer的分組名稱。 |
kafka_format |
數據的類型。例如,CSV和JSONEachRow等,詳細信息請參見Formats for Input and Output Data。 |