遷移概述
在使用自建Kafka集群時,當您希望業(yè)務(wù)的成本更低、彈性更強、可靠性更高時,您可以將自建Kafka集群遷移上至云消息隊列 Kafka 版,云消息隊列 Kafka 版提供全托管、免運維的服務(wù)可以讓您只需專注于業(yè)務(wù)開發(fā),無需部署運維。
注意事項
遷移不會刪除自建的源Kafka集群的Topic和Group,只是在目標云消息隊列 Kafka 版實例中創(chuàng)建相同配置的Topic和Group。
遷移內(nèi)容僅為Topic和Group配置,不包含Topic中存儲的消息以及Group的訂閱關(guān)系和消費位點信息。
遷移實例時,您可以使用控制臺上的遷移上云功能進行遷移,也可借助工具實施遷移。一般情況下,推薦您使用遷移上云功能進行遷移,當自建Kafka集群無公網(wǎng)訪問點時,可借助工具遷移。
方案說明
對于消息隊列來說,如果要實現(xiàn)集群遷移,只需消費完舊集群的消息即可。由于Producer和Consumer都是集群化的,您可以通過一臺一臺機器操作的方式實現(xiàn)上層業(yè)務(wù)無感知。
遷移自建Kafka集群至云消息隊列 Kafka 版實例方案如下圖所示。
云消息隊列 Kafka 版提供以下兩種方案可供選擇:
方案一:遷移上云
獲取源實例的公網(wǎng)訪問連接點。
在控制臺上創(chuàng)建遷移上云任務(wù)。
為實例開啟新的Group,準備消費實例的消息。
為實例開啟新的Producer,下線舊的Producer,并使舊的Group繼續(xù)消費自建Kafka集群的消息。
待自建Kafka集群的消息全部被舊的Group消費后,下線舊的Group和自建Kafka集群。
方案二:借助工具遷移
使用遷移工具遷移自建Kafka集群至實例。
為實例開啟新的Group,準備消費實例的消息。
為實例開啟新的Producer,下線舊的Producer,并使舊的Group繼續(xù)消費自建Kafka集群的消息。
待自建Kafka集群的消息全部被舊的Group消費后,下線舊的Group和自建Kafka集群。
遷移上云
云消息隊列 Kafka 版提供全托管、免運維的實例遷移服務(wù),用于自建實例與云消息隊列 Kafka 版實例之間或者云消息隊列 Kafka 版實例之間的數(shù)據(jù)同步,無需借助工具即可在控制臺上實現(xiàn)實例遷移,遷移完成后目標集群的元數(shù)據(jù)與源集群的元數(shù)據(jù)保持一致并且持續(xù)更新。具體步驟,請參見遷移上云。
借助工具遷移
遷移工具
遷移工具 | 說明 | 參考文檔 |
| ||
您可以使用該工具將源自建Kafka集群中的數(shù)據(jù)鏡像拷貝到目標云消息隊列 Kafka 版集群。 |
遷移操作流程
流程說明如下:
可選:評估規(guī)格:如果您已了解待遷移自建Kafka集群的信息,如集群流量情況、磁盤容量和類型、分區(qū)數(shù)量等信息,您可以直接評估需要購買的云消息隊列 Kafka 版實例規(guī)格。
如果您不清楚自建Kafka集群的相關(guān)信息,您無需執(zhí)行該操作,在遷移自建Kafka集群元數(shù)據(jù)至新實例時,使用遷移工具進行自動評估。
實施遷移:您可以通過執(zhí)行命令實現(xiàn)單資源遷移,也可以通過遷移任務(wù)實現(xiàn)遷移。
遷移自建Kafka集群至新實例:在云消息隊列 Kafka 版控制臺,創(chuàng)建遷移任務(wù),根據(jù)推薦意見購買云消息隊列 Kafka 版實例并部署啟動任務(wù)。
說明如果元數(shù)據(jù)文件中包含了自建Kafka集群的流量、磁盤、配置等信息,購買實例時,云消息隊列 Kafka 版會根據(jù)元數(shù)據(jù)文件信息,自動評估并推薦實例規(guī)格,您可以根據(jù)推薦意見購買實例。
遷移自建Kafka集群元數(shù)據(jù)至已有實例:在云消息隊列 Kafka 版控制臺,通過創(chuàng)建遷移任務(wù),將自建Kafka集群元數(shù)據(jù)遷移至云消息隊列 Kafka 版已有實例。
單資源遷移:如果您只需要遷移Topic、Group或消息數(shù)據(jù),您可以選擇對應(yīng)資源遷移方法遷移。
遷移Topic上云:遷移自建Kafka集群的Topic到云消息隊列 Kafka 版實例。
遷移Group上云:遷移自建Kafka集群的Group到云消息隊列 Kafka 版實例。
(可選)遷移數(shù)據(jù)上云:遷移自建Kafka集群的數(shù)據(jù)到云消息隊列 Kafka 版實例。
重要消息隊列的特點是,數(shù)據(jù)一旦被消費,則已經(jīng)完成使命。因此,除了需要將自建Kafka集群的數(shù)據(jù)備份云消息隊列 Kafka 版實例的情況外,一般情況下不推薦您遷移數(shù)據(jù)。
查看遷移進度:查看自建Kafka集群遷移到云消息隊列 Kafka 版的進度。
驗證遷移結(jié)果:查看遷移成功后的資源列表。
相關(guān)文檔
將自建Kafka集群遷移到云消息隊列 Kafka 版實例的優(yōu)勢,請參見產(chǎn)品優(yōu)勢。