本文為您介紹在阿里云E-MapReduce的ClickHouse集群上,如何通過OSS進行數據的冷熱分離。通過本文操作,您既可以在保證集群讀寫性能的基礎上,自動維護集群上的冷熱數據,又可以充分利用計算和存儲資源,以降低成本。
前提條件
已在EMR控制臺上創建EMR-5.7.0及以上版本的ClickHouse集群,詳情請參見創建ClickHouse集群。
使用限制
本文操作僅適用于EMR-5.7.0及以上版本的ClickHouse集群。
操作流程
步驟一:在EMR控制臺添加磁盤
- 進入ClickHouse配置頁面。
- 登錄EMR on ECS控制臺。
- 在頂部菜單欄處,根據實際情況選擇地域和資源組。
- 在集群管理頁面,單擊目標集群操作列的集群服務。
- 在集群服務頁面,單擊ClickHouse服務區域的配置。
- 在服務配置區域,單擊server-metrika頁簽。
- 修改storage_configuration的參數值。
- 保存配置。
- 在ClickHouse服務的配置頁面,單擊保存。
- 在確認修改對話框中,輸入執行原因,打開自動更新配置開關,單擊確定。
- 部署客戶端配置。
- 在ClickHouse服務的配置頁面,單擊部署客戶端配置。
- 在執行集群操作對話框中,輸入執行原因,單擊確定。
- 在確認對話框中,單擊確定。
步驟二:驗證配置
- 使用SSH方式登錄ClickHouse集群,詳情請參見登錄集群。
- 執行如下命令,啟動ClickHouse客戶端。
clickhouse-client -h core-1-1 -m
說明 本示例登錄core-1-1節點,如果您有多個Core節點,可以登錄任意一個節點。 - 執行如下命令,查看磁盤信息。
select * from system.disks;
返回信息如下所示。┌─name─────┬─path────────────────────────────────┬───────────free_space─┬──────────total_space─┬─keep_free_space─┬─type──┐ │ default │ /var/lib/clickhouse/ │ 83868921856 │ 84014424064 │ 0 │ local │ │ disk1 │ /mnt/disk1/clickhouse/ │ 83858436096 │ 84003938304 │ 10485760 │ local │ │ disk2 │ /mnt/disk2/clickhouse/ │ 83928215552 │ 84003938304 │ 10485760 │ local │ │ disk3 │ /mnt/disk3/clickhouse/ │ 83928301568 │ 84003938304 │ 10485760 │ local │ │ disk4 │ /mnt/disk4/clickhouse/ │ 83928301568 │ 84003938304 │ 10485760 │ local │ │ disk_oss │ /var/lib/clickhouse/disks/disk_oss/ │ 18446744073709551615 │ 18446744073709551615 │ 0 │ oss │ └──────────┴─────────────────────────────────────┴──────────────────────┴──────────────────────┴─────────────────┴───────┘
- 執行如下命令,查看磁盤存儲策略。
select * from system.storage_policies;
返回信息如下所示。┌─policy_name─┬─volume_name─┬─volume_priority─┬─disks─────────────────────────────┬─volume_type─┬─max_data_part_size─┬─move_factor─┬─prefer_not_to_merge─┐ │ default │ single │ 1 │ ['disk1','disk2','disk3','disk4'] │JBOD │ 0 │ 0 │ 0 │ │ oss_ttl │ local │ 1 │ ['disk1','disk2','disk3','disk4'] │JBOD │ 0 │ 0.2 │ 0 │ │ oss_ttl │ remote │ 2 │ ['disk_oss'] │JBOD │ 0 │ 0.2 │ 0 │ └─────────────┴─────────────┴─────────────────┴───────────────────────────────────┴─────────────┴────────────────────┴─────────────┴─────────────────────┘
當回顯信息如上文所示時,表示磁盤擴容操作完成。
步驟三:進行冷熱分離
對已有的表進行改造
- 在ClickHouse客戶端執行如下命令,查看當前的存儲策略。
SELECT storage_policy FROM system.tables WHERE database='<yourDatabaseName>' AND name='<yourTableName>';
本文示例中命令中的
<yourDataName>
為數據庫名,<yourTableName>
為表名。如果返回信息如下所示,則需要參見下一步驟添加一個volume。<default> <volumes> <single> <disk>disk1</disk> <disk>disk2</disk> <disk>disk3</disk> <disk>disk4</disk> </single> </volumes> </default>
- 擴展當前的存儲策略。在EMR控制臺ClickHouse服務的配置頁簽,增加volume內容,詳細信息如下。
<default> <volumes> <single> <disk>disk1</disk> <disk>disk2</disk> <disk>disk3</disk> <disk>disk4</disk> </single> <!-- 以下是新增的volume remote --> <remote> <disk>disk_oss</disk> </remote> </volumes> <!-- 多個volume時需要指定move_factor --> <move_factor>0.2</move_factor> </default>
- 執行以下命令,修改TTL。
ALTER TABLE <yourDataName>.<yourTableName> MODIFY TTL toStartOfMinute(addMinutes(t, 5)) TO VOLUME 'remote';
- 執行以下命令,查看各個part的分布。
select partition,name,path from system.parts where database='<yourDataName>' and table='<yourTableName>' and active=1
返回信息如下。┌─partition───────────┬─name─────────────────────┬─path──────────────────────────────────────────────────────────────────────────────────────────────────────┐ │ 2022-01-11 19:55:00 │ 1641902100_1_90_3_193 │ /var/lib/clickhouse/disks/disk_oss/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902100_1_90_3_193/ │ │ 2022-01-11 19:55:00 │ 1641902100_91_96_1_193 │ /var/lib/clickhouse/disks/disk_oss/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902100_91_96_1_193/ │ │ 2022-01-11 20:00:00 │ 1641902400_97_124_2_193 │ /mnt/disk3/clickhouse/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902400_97_124_2_193/ │ │ 2022-01-11 20:00:00 │ 1641902400_125_152_2_193 │ /mnt/disk2/clickhouse/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902400_125_152_2_193/ │ │ 2022-01-11 20:00:00 │ 1641902400_153_180_2_193 │ /mnt/disk4/clickhouse/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902400_153_180_2_193/ │ │ 2022-01-11 20:00:00 │ 1641902400_181_186_1_193 │ /mnt/disk3/clickhouse/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902400_181_186_1_193/ │ │ 2022-01-11 20:00:00 │ 1641902400_187_192_1_193 │ /mnt/disk4/clickhouse/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902400_187_192_1_193/ │ └─────────────────────┴──────────────────────────┴───────────────────────────────────────────────────────────────────────────────────────────────────────────┘ 7 rows in set. Elapsed: 0.002 sec.
說明 如果結果類似上所示,則表明數據根據時間做了冷熱分離。熱數據存放在本地盤中,冷數據存放在OSS中。其中,/var/lib/clickhouse/disks/disk_oss是disk_oss的metadata_path的默認值。/mnt/disk{1..4}/clickhouse是本地盤路徑。
創建新的表
- 創建語法
CREATE TABLE <yourDataName>.<yourTableName> [ON CLUSTER cluster_emr] ( column1 Type1, column2 Type2, ... ) Engine = MergeTree() -- or Replicated*MergeTree() PARTITION BY <yourPartitionKey> ORDER BY <yourPartitionKey> TTL <yourTtlKey> TO VOLUME 'remote' SETTINGS storage_policy='oss_ttl';
說明 命令中的<yourPartitionKey>為ClickHouse的分區鍵。<yourTtlKey>為您設置的TTL信息。 - 示例
CREATE TABLE test.test ( `id` UInt32, `t` DateTime ) ENGINE = MergeTree() PARTITION BY toStartOfFiveMinute(t) ORDER BY id TTL toStartOfMinute(addMinutes(t, 5)) TO VOLUME 'remote' SETTINGS storage_policy='oss_ttl';
說明 本示例中,表格會將5分鐘內的數據存放在本地,過了5分鐘后,數據會被移動到remote volume中,也就是OSS中。
相關配置
- server-config
merge_tree.allow_remote_fs_zero_copy_replication:設置為true,以在Replicated*MergeTree使用DiskOSS等遠程存儲時利用OSS的多副本進行備份,ClickHouse的一個Shard下的多個副本中的數據僅會備份元數據。
- server-users
- profile.${your-profile-name}.s3_min_upload_part_size:Write Buffer中的數據量高于該參數值時,會將數據寫到OSS中。
- profile.${your-profile-name}.s3_max_single_part_upload_size}:Write Buffer中的數據量高于該參數值時,使用MultipartUpload,詳情請參見分片上傳(MultipartUpload) 。