遷移時變更壓縮和編碼方式
如果需要在數(shù)據(jù)遷移時改變數(shù)據(jù)的壓縮方式或編碼方式,您可以參考本文提供的操作方法,在創(chuàng)建遷移任務時添加相關參數(shù)對遷移配置進行調(diào)整。
前提條件
檢查源集群、目標集群、LTS的網(wǎng)絡連通性。
已添加源實例、目標實例的數(shù)據(jù)源。如何添加,請參見添加Lindorm寬表數(shù)據(jù)源。
LTS為3.8.2及以上版本。
說明您可以通過Lindorm管理控制臺的實例詳情頁面查看當前實例的LTS的版本。如果版本不滿足要求,您可以通過控制臺進行升級,具體操作請參見升級小版本。
注意事項
遷移前請確認目標實例的HDFS容量,確保可用容量足以支撐數(shù)據(jù)遷移,避免遷移過程中出現(xiàn)容量已滿導致任務失敗的情況。
操作步驟
在左側(cè)導航欄,選擇
。單擊創(chuàng)建任務。
選擇源集群和目標集群。
勾選操作:表結(jié)構(gòu)遷移、實時數(shù)據(jù)復制和歷史數(shù)據(jù)遷移。
表結(jié)構(gòu)遷移:在目標集群創(chuàng)建表(Schema、分區(qū)信息一致), 目標集群表已存在會跳過。
實時數(shù)據(jù)復制:同步源集群實時增量的數(shù)據(jù)。
歷史數(shù)據(jù)遷移:文件級別的全量文件物理遷移。
在同步/遷移的表中,填寫需要遷移的表。格式為
<數(shù)據(jù)庫名>:<需要遷移的表名>
,例如default:shop_item_relation
。如果需要遷移多張表,請通過換行隔開。請根據(jù)遷移場景,在高級配置中添加相應的參數(shù)配置,具體如下:
遷移場景
參數(shù)配置
示例
在數(shù)據(jù)遷移時僅改變壓縮方式
{"createTableCompression":"<壓縮方式>","needCompress":true}
{"createTableCompression":"ZSTD","needCompress":true}
在數(shù)據(jù)遷移時僅改變編碼方式
{"createTableBlockEncoding":"<編碼方式>","needCompress":true}
{"createTableBlockEncoding":"INDEX","needCompress":true}
在數(shù)據(jù)遷移時同時改變壓縮方式和編碼方式
{"createTableCompression":"<壓縮方式>","createTableBlockEncoding": "<編碼方式>","needCompress":true}
{"createTableCompression":"ZSTD","createTableBlockEncoding": "INDEX","needCompress":true}
參數(shù)說明
參數(shù)
說明
createTableCompression
構(gòu)建目標實例的表結(jié)構(gòu)時使用的壓縮方式,取值如下:
ZSTD
SNAPPY
LZ4
createTableBlockEncoding
構(gòu)建目標實例的表結(jié)構(gòu)時使用的編碼方式,取值如下:
DIFF
INDEX
needCompress
遷移數(shù)據(jù)時是否按照目標實例的壓縮編碼方式進行傳輸。取值如下:
true:是。
false:否。
重要如果源集群是自建集群,高級配置中還需添加
"exporterEnable":false
,例如{ "createTableCompression":"ZSTD","needCompress":true,"exporterEnable":false}
。單擊創(chuàng)建。
后續(xù)步驟
查看遷移進度
在一鍵遷移頁面單擊目標任務名,查看批量遷移任務的執(zhí)行進度。如果遷移任務的狀態(tài)為SUCCEEDED
,表示批量遷移任務已完成。
查看壓縮方式和編碼方式
您可以在集群管理系統(tǒng)的概覽頁面,單擊目標數(shù)據(jù)庫下的目標表名。在當前詳情表格區(qū)域,單擊查看表屬性,查看COMPRESSION和DATA_BLOCK_ENCODING參數(shù)的值來驗證是否修改成功。如何進入集群管理系統(tǒng),請參見登錄集群管理系統(tǒng)。