日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

元數據導入

本文介紹如何在云消息隊列 Kafka 版控制臺創建元數據導入任務,將元數據遷移至云消息隊列 Kafka 版已有實例。

前提條件

使用限制

Serverless實例暫不支持元數據導入任務。

背景信息

Kafka集群元數據是指Kafka集群的Topic和Group配置信息。Kafka集群元數據存儲于ZooKeeper上,Kafka集群各個節點從ZooKeeper中獲取最新的元數據。因此,集群的各個節點的元數據被導出時都是最新且相同的。Kafka集群元數據可以被導出成一份JSON文件,然后被導入另一個Kafka集群,實現自建Kafka集群元數據備份。

元數據遷移是指將自建Kafka集群的元數據遷移到云消息隊列 Kafka 版實例。您可以將自建Kafka集群元數據導出,然后導入云消息隊列 Kafka 版實例,云消息隊列 Kafka 版會解析成功導入的元數據,并支持在創建任務時可視化配置Topic和Group,配置完成后在目標實例中創建對應的Topic和Group,實現自建Kafka集群元數據遷移上云。

步驟一:規格評估

使用規格評估功能,控制臺將會根據您的Kafka集群數據為您推薦選型。

  1. 登錄云消息隊列 Kafka 版控制臺,在概覽頁面的資源分布區域,選擇地域。

  2. 在左側導航欄,單擊遷移,然后單擊元數據導入。

  3. 元數據導入頁簽,單擊規格評估

  4. 規格評估面板,輸入自建集群信息,獲取云消息隊列 Kafka 版實例規格建議。

    參數

    說明

    示例值

    服務端版本

    您自建集群中使用的Kafka的版本。

    0.10.x

    IDC 遷移

    是否為IDC機房遷移。

    集群峰值流量

    生產或消費流量峰值。單位:MB/s

    20

    公網流量

    如果不需要訪問公網,請填寫0。單位:MB/s

    0

    SSD 磁盤

    您的磁盤類型是否為SSD。

    磁盤容量

    存儲磁盤總大小。單位:GB。

    500

    分區總數

    需要遷移的Topic的分區總數。

    800

    副本數量

    Topic的副本數量。

    3個副本

    使用場景

    生產消費使用場景。

    業務消息

    RT 延時要求

    生產消費RT延時要求。

    無特殊要求

    輸入以上參數后,單擊確定,會在規格評估面板上方顯示推薦實例規格。image.png

步驟二:導出元數據

使用元數據導出工具導出自建Kafka集群的元數據文件。

  1. 下載元數據導出工具,下載鏈接如下:kafka-migration-assessment.jar。

  2. 將下載好的工具上傳至自建Kafka集群。

  3. 在工具所在目錄運行以下命令,解壓工具包。

    unzip -o kafka-migration-assessment.jar.zip
  4. 運行以下命令,賦予JAR包可執行權限。

    chmod 777 kafka-migration-assessment.jar
  5. 運行以下命令,導出元數據。

    java -jar kafka-migration-assessment.jar MigrationFromZk --sourceZkConnect <yourHost:yourPort> --sourceBootstrapServers <yourHost:yourPort> --targetDirectory <yourDirectoryName> --fileName <yourFileName> --commit

    參數

    說明

    示例

    sourceZkConnect

    自建Kafka集群的ZooKeeper IP地址和端口號。如果不指定,則自動獲取。

    192.168.XX.XX:2181

    sourceBootstrapServers

    自建Kafka集群的IP地址和端口號。如果不指定,則自動獲取。

    192.168.XX.XX:9092

    targetDirectory

    導出元數據文件的存放目錄。如果不指定,則默認為當前目錄。

    ../home/

    fileName

    導出元數據的文件名。如果不指定,則文件名稱默認為: kafka-metadata-export.json。

    metadata.json

    commit

    提交運行。

    commit

    installTsar

    是否自動安裝Tsar。默認不自動安裝Tsar。

    安裝Tsar可以更加準確地獲取當前機器規格、近期存儲情況、流量、Kafka集群配置信息,但自動安裝比較耗時,也有可能因為環境差異, 導致安裝失敗。

    evaluate

    是否獲取當前機器規格、近期存儲情況、流量、Kafka集群配置信息,在遷移時根據獲取的信息進行評估,推薦您購買規格更合適的云消息隊列 Kafka 版實例。

    默認為true,即默認獲取以進行規格評估,如果不需要評估,則需設置為false。

    文件存放目錄下生成JSON文件,導出元數據成功。

  6. 在配置的文件存放目錄下,您可以看到導出元數據文件,并將其下載保存至本地。

步驟三:創建元數據導入任務

  1. 登錄云消息隊列 Kafka 版控制臺,在概覽頁面的資源分布區域,選擇地域。

  2. 在左側導航欄,單擊遷移,然后單擊元數據導入

  3. 元數據導入頁簽,單擊創建任務。

  4. 創建導入元數據任務面板,編輯以下參數,單擊創建。

    1. 創建任務頁簽,設置任務名稱目標實例,上傳步驟二:導出元數據中獲取的元數據文件。

    2. 編輯 Topic頁簽,您可以執行以下操作:

      • 新增Topic:單擊新增Topic,填寫Topic的名稱、描述、分區數消息類型

      • 編輯Topic:單擊右側操作列的編輯,修改Topic的描述、分區數、消息類型日志清理策略

      • 刪除Topic:單擊右側操作列的刪除,在提示對話框中單擊確認。

    3. 編輯 Group頁簽,您可以執行以下操作:

      • 新增Group:單擊新增Group,填寫Group ID描述

      • 編輯Group:單擊右側操作列的編輯,修改Group的描述。

      • 刪除Group:單擊右側操作列的刪除,在提示對話框中單擊確認

    創建完成后,在遷移頁面可查看目標任務的Topic 遷移進度Group 遷移進度單擊右側操作列的詳情查看詳細信息。

步驟四:查看遷移結果

  1. 登錄云消息隊列 Kafka 版控制臺,在概覽頁面的資源分布區域,選擇地域。

  2. 在左側導航欄,單擊實例列表

  3. 實例列表頁面,單擊目標實例名稱。

  4. 查看資源列表。

    • 在左側導航欄,單擊Topic 管理,在Topic 管理頁面的Topic列表中查看已創建的Topic。

    • 在左側導航欄,單擊Group 管理,在Group 管理頁面的Group列表中查看已創建的Group。