狠狠亚洲婷婷综合色香五月,婷婷六月中文字幕,色综合天天综合网中文

本文將指導您如何使用StarRocks跨集群數據遷移工具，在源集群保持在線且業務服務不中斷的狀態下高效、安全地進行數據復制。該工具提供全量及增量同步功能，旨在為您提供一鍵式解決方案，實現源集群數據無縫遷移至目標集群，確保數據一致性的同時，最大限度減少對業務運營的影響。

適用場景

StarRocks跨集群數據遷移工具適用于以下遷移場景，包括：

自建StarRocks集群向Serverless StarRocks的升級遷移。
EMR on ECS（半托管）集群向Serverless StarRocks的升級遷移。
Serverless StarRocks實例間的數據遷移。

前提條件

在進行遷移之前，請提交工單。申請開啟EMR Serverless StarRocks的遷移功能，并獲取遷移工具。
需要購買單獨的ECS實例部署遷移工具，且部署遷移工具的ECS實例和源集群、目標集群的網絡互通，具體網絡交互和使用端口如下圖所示。
在ECS控制臺創建實例，詳情請參見自定義購買實例。

使用限制

僅支持源集群為存算一體集群，目標集群類型無要求。
目標集群小版本必須為3.1.9、3.2.4及之后的版本。不支持向2.x系列版本的集群進行遷移。源集群版本無要求。
如果您的目標實例版本低于所需版本，建議您提交工單升級到合適的小版本。
暫不支持外表，視圖和物化視圖的數據遷移。
暫不支持遷移包含自增列AUTO_INCREMENT的數據表。

注意事項

數據遷移功能目前處于公測階段。遷移完成后，請務必進行充分測試，驗證數據的完整性和系統的正常運行，以確保業務不受影響。
在數據遷移階段，您可以對目標集群中正在遷移的表進行查詢操作，但禁止在目標集群對正在同步的表上執行寫入和更改表數據，以及更改和刪除數據表操作，以避免同步數據錯亂。
如果數據遷移的目標集群為存算分離集群，在將數據遷移到存算分離集群之前，您需要先手動關閉目標集群的Compaction，遷移完成后盡快啟用Compaction。
1. 查看Compaction狀態。
```
ADMIN SHOW FRONTEND CONFIG LIKE 'lake_compaction_max_tasks';
```
  如果返回值為 0，則表示Compaction關閉。
2. 在集群的FE配置文件fe.conf中加入以下設置，關閉Compaction。
```
lake_compaction_max_tasks = 0
```
3. 數據遷移完畢后，開啟Compaction。
  從FE配置文件fe.conf中移除lake_compaction_max_tasks參數，然后重啟集群以恢復Compaction功能。

遷移流程

步驟一：獲取源集群或實例的遷移Token

重要

在進行Serverless StarRocks實例間的數據遷移時，請提交工單獲取待遷移實例所需的Token。

登錄FE節點所在的服務器，執行以下命令獲取集群Token。

curl -v http://<fe_host>:<fe_http_port>/check

其中，涉及參數如下：

fe_host：集群FE的節點IP地址或FQDN。
fe_http_port：集群FE節點的HTTP端口。

返回信息如下所示。其中token字段即為當前集群的Token。

* About to connect() to xxx.xx.xxx.xx port 8030 (#0)*   Trying xxx.xx.xxx.xx...* Connected to xxx.xx.xxx.xx (xxx.xx.xxx.xx) port 8030 (#0)> GET /check HTTP/1.1> User-Agent: curl/7.29.0> Host: xxx.xx.xxx.xx:8030> Accept: */*> < HTTP/1.1 200 OK< content-length: 0< cluster_id: yyyyyyyyyyy< content-type: text/html< token: wwwwwwww-xxxx-yyyy-zzzz-uuuuuuuuuu< connection: keep-alive< * Connection #0 to host xxx.xx.xxx.xx left intact

步驟二：配置遷移工具

連接ECS實例，并上傳獲取到的遷移工具，詳情請參見連接實例和使用Workbench上傳或下載文件。

配置遷移工具。

修改starrocks-cluster-sync/conf/目錄下的sync.properties配置文件。

參數	說明
one_time_run_mode	選擇是否啟用全量同步模式，默認值為false。啟用后，系統將僅執行一次全量數據同步而不進行后續的增量數據更新，即每張表將只同步一次。
source_fe_host	源集群FE的IP地址或FQDN。
source_fe_query_port	源集群FE的查詢端口（`query_port`）。
source_cluster_user	用于登錄源集群的用戶名。
source_cluster_password	用于登錄源集群的用戶密碼。
source_cluster_token	源集群的Token。獲取方式請參見步驟一。
target_fe_host	目標集群FE的IP地址或FQDN。
target_fe_query_port	目標集群FE的查詢端口（`query_port`）。
target_cluster_user	用于登錄目標集群的用戶名。
target_cluster_password	用于登錄目標集群的用戶密碼。
include_data_list	需要遷移的數據庫和表，多個對象時使用逗號（`,`）分隔。例如，`db1,db2.tbl2,db3`。該參數優先于 `exclude_data_list`生效。說明如果您需要遷移集群中所有數據庫和表，則無須配置該項。
exclude_data_list	不需要遷移的數據庫和表，多個對象時使用逗號（`,`）分隔。例如，`db1,db2.tbl2,db3`。`include_data_list`優先于該參數生效。說明如果您需要遷移集群中所有數據庫和表，則無須配置該項。
target_cluster_storage_volume	當目標集群是存算分離集群時，用于指定待遷移的表所在的Storage Volume，默認為空，表示使用目標集群的默認存儲卷。

步驟三：啟動遷移工具

在ECS實例中執行以下命令，啟動遷移工具，開始數據遷移。

./bin/start.sh

說明

遷移工具將定期檢查目標集群的數據狀態，以確認其是否與源集群同步。如果發現目標集群數據版本落后，工具將自動啟動新的數據遷移任務。
若源集群在遷移過程中不斷有新數據加入，數據同步將持續進行直到目標集群的數據完全與源集群相匹配。
請注意，數據遷移進程并不會自動結束。您必須定期手動監測數據同步狀態，并在確認數據遷移完全完成之后主動停止遷移工具。

步驟四：查看遷移進度

查看遷移工具日志

您可以通過遷移工具日志log/sync.INFO.log查看遷移進度，包括同步任務進度和同步表進度。

正在同步的表
搜索關鍵字Running table detail，會輸出當前正在遷移的表名稱。

同步任務進度

搜索關鍵字Sync job progress，如果進度顯示100%，則說明遷移完成。

說明

該進度只反映了本次同步檢查的進度。由于源集群的數據可能會持續更新，同步工具會在接下來的檢查周期中啟動新的數據同步任務。因此，在下一周期的進度檢查后，顯示的進度百分比可能會下降，例如可能從100%減少到90%。

以下是與進度相關的參數詳情。

參數	說明
`total`	此次數據遷移中的總作業數。
`ddlPending`	待執行的DDL作業數量。
`ddlRunning`	當前正在執行的DDL作業的數量，該參數值通常為0或1。
`jobPending`	待執行的數據同步作業數量。
`sent`	已發送但尚未開始的數據同步作業數量。
`running`	正在運行中的數據同步作業數量。
`finished`	已成功執行完畢的數據同步作業數量。
`failed`	執行失敗的數據同步作業累積數量。通常，此數值可忽略，因為遷移過程中會周期性地重試失敗的作業。
`unknown`	狀態未知的作業數量。

同步表進度

搜索關鍵字Sync table progress，如果進度顯示100%，則說明遷移完成。

說明

該進度反映了自同步工具啟動運行后，至少有一次同步任務執行成功的表數量占配置的表總數量的占比，當配置的所有表至少同步成功過一次之后，該進度便為100%，且該值不會下降。若同步表進度為100%且同步任務進度為100%時，說明在該檢查周期內，源集群和目標集群的數據完全一致；若同步表進度為100%且同步任務進度小于100%時，說明有部分表在同步增量數據。