HBase數(shù)據(jù)同步與遷移
如果您想要將自建HBase或阿里云HBase中的數(shù)據(jù)遷移或同步至Lindorm寬表引擎，可以通過LTS服務(wù)完成存量數(shù)據(jù)遷移和實(shí)時(shí)數(shù)據(jù)同步。本文介紹HBase數(shù)據(jù)同步與遷移的使用場景、功能列表、遷移優(yōu)勢、使用限制以及遷移任務(wù)等操作。
使用場景
自建上云：將HBase數(shù)據(jù)遷移至Lindorm。
跨地域遷移：例如從青島機(jī)房遷移到北京機(jī)房。
業(yè)務(wù)拆分：將部分業(yè)務(wù)遷移到新的集群。
功能及優(yōu)勢
功能說明
支持HBase 1.x、2.x 版本不停機(jī)遷移至Lindorm。
支持表結(jié)構(gòu)遷移、實(shí)時(shí)數(shù)據(jù)同步、全量數(shù)據(jù)遷移。
支持整庫遷移、Namespace遷移、表級別遷移。
遷移過程中支持表重命名。
遷移支持指定時(shí)間范圍、Rowkey范圍、指定列。
提供OpenAPI，支持調(diào)用API創(chuàng)建遷移任務(wù)。
遷移優(yōu)勢
不停服數(shù)據(jù)遷移，同時(shí)完成歷史數(shù)據(jù)遷移、實(shí)時(shí)增量數(shù)據(jù)的同步。
遷移過程中，自建HBase不會和源集群的HBase交互，只讀取源集群的HDFS，將有效減少對源集群在線業(yè)務(wù)的影響。
文件層數(shù)據(jù)拷貝比API層數(shù)據(jù)遷移效率更高，通常能節(jié)省超過50%的流量。
單個(gè)節(jié)點(diǎn)遷移速度可達(dá)到150 MB/s，節(jié)點(diǎn)數(shù)支持水平擴(kuò)展，可滿足TB、PB級別的數(shù)據(jù)遷移。
有完善的錯(cuò)誤重試機(jī)制、實(shí)時(shí)監(jiān)控任務(wù)速度和進(jìn)度，支持任務(wù)失敗報(bào)警。
自動(dòng)同步Schema，保證分區(qū)一致。
使用限制
不支持遷移至自建HBase。
不支持開啟Kerberos集群。
不支持單節(jié)點(diǎn)云HBase實(shí)例。
由于網(wǎng)絡(luò)原因，不支持經(jīng)典網(wǎng)絡(luò)下的云HBase實(shí)例。
不支持將數(shù)據(jù)遷移或同步至Lindorm單機(jī)版實(shí)例。
增量數(shù)據(jù)同步基于HBase WAL實(shí)現(xiàn)異步數(shù)據(jù)同步，Bulkload的數(shù)據(jù)和不寫WAL的數(shù)據(jù)將不會被同步。
不支持搜索索引的數(shù)據(jù)遷移。
注意事項(xiàng)
遷移前請確認(rèn)目標(biāo)集群的HDFS容量，防止遷移過程中出現(xiàn)容量寫滿的情況。
增量同步提交前，建議將源集群的日志保留時(shí)間調(diào)大至12小時(shí)以上，給增量同步出錯(cuò)預(yù)留一些處理的時(shí)間。修改方式：修改
hbase-site.xml文件中hbase.master.logcleaner.ttl參數(shù)的值，并在修改后重啟HMaster。hbase.master.logcleaner.ttl參數(shù)的單位為毫秒（ms），設(shè)置時(shí)需注意單位轉(zhuǎn)化，例如，hbase.master.logcleaner.ttl=43200000表示設(shè)置日志保留時(shí)間為12小時(shí)。客戶無需在目標(biāo)集群創(chuàng)建表，LTS同步服務(wù)會自動(dòng)創(chuàng)建和源集群一樣的表，包括分區(qū)的信息。客戶自建的目標(biāo)表可能會和源表分區(qū)很不一致，這可能會導(dǎo)致遷移完成之后，目標(biāo)表會進(jìn)行頻繁的split、compaction，如果表的數(shù)據(jù)量十分龐大，可能會導(dǎo)致這個(gè)過程非常耗時(shí)。
如果源表帶有coprocessor，在創(chuàng)建目標(biāo)表的時(shí)候需要確保目標(biāo)集群包含coprocessor對應(yīng)的JAR包。
開啟增量同步后，如果不消費(fèi)數(shù)據(jù)，默認(rèn)日志會保留48小時(shí)，超時(shí)后訂閱關(guān)系自動(dòng)取消，保留的數(shù)據(jù)自動(dòng)刪除。
前提條件
已檢查源集群、目標(biāo)集群、LTS之間的網(wǎng)絡(luò)連通性。
已添加HBase、Lindorm數(shù)據(jù)源。如何添加，請參見添加HBase數(shù)據(jù)源和添加Lindorm寬表數(shù)據(jù)源。
創(chuàng)建任務(wù)
登錄LTS。具體操作，請參見登錄LTS。
在左側(cè)導(dǎo)航欄，選擇。
單擊創(chuàng)建任務(wù)。
在任務(wù)名（可不填）文本框中，填寫任務(wù)名稱。任務(wù)名只支持英文字符、數(shù)字。非必填項(xiàng)，未填寫情況下默認(rèn)任務(wù)ID為任務(wù)名。
根據(jù)界面提示，設(shè)置源集群和目標(biāo)集群。
勾選需要的操作。
表結(jié)構(gòu)遷移：在目標(biāo)集群創(chuàng)建表（Schema、分區(qū)信息一致），目標(biāo)集群表已存在會跳過。
實(shí)時(shí)數(shù)據(jù)復(fù)制：同步源集群的實(shí)時(shí)增量數(shù)據(jù)。
歷史數(shù)據(jù)遷移：文件級別的全量文件物理遷移。
填寫同步/遷移的表和高級配置，高級配置為非必填項(xiàng)。
單擊創(chuàng)建。
查看任務(wù)及任務(wù)詳情
在左側(cè)導(dǎo)航欄中，選擇查看任務(wù)。
單擊需要查看的任務(wù)名，查看對應(yīng)任務(wù)的執(zhí)行情況。
切流
等待全量任務(wù)遷移完成，增量遷移的時(shí)延比較小（幾秒或者幾百毫秒）。
開啟LTS數(shù)據(jù)抽樣校驗(yàn)，對于大表的抽樣校驗(yàn)，抽樣比例不宜過大，避免對在線業(yè)務(wù)產(chǎn)生影響。
業(yè)務(wù)驗(yàn)證。
業(yè)務(wù)切流。
常見問題
Q：什么場景會導(dǎo)致“不消費(fèi)數(shù)據(jù)”？
A：沒有終止任務(wù)的前提下直接釋放LTS集群、同步任務(wù)暫停、任務(wù)異常阻塞。
相關(guān)文檔
以下是HBase數(shù)據(jù)同步或遷移的最佳實(shí)踐，您可以在配置任務(wù)或執(zhí)行任務(wù)時(shí)進(jìn)行參考。