本文為您介紹創建DataFlow Kafka集群(選擇了Kafka服務)的詳細操作步驟和相關配置。
注意事項
創建DataFlow Kafka集群前,您需要根據業務的預估負載,選擇合適的ECS實例機型以及Broker實例個數。由于業務場景差異很大,所以無法給出通用的集群規劃,您需要根據您的實際環境創建集群。通常,建議您選擇機型時考慮以下配置:
- Broker機型的CPU和內存配比為1:4。
- 選擇云盤作為數據存儲盤。
- 充分考慮云盤的IO吞吐率以及網卡帶寬之間的關系。
在部署參數上,考慮以下因素:
- 由于EMR Kafka版本仍依賴于Zookeeper,且Zookeeper的可用性直接關系到Kafka服務的高可用,因此,建議您創建集群時,選擇高可用的部署方式。啟用高可用后,將創建3個節點的Zookeeper服務。
- 如果Master機器組只部署Zookeeper,則Master機器組只需要配置1塊數據盤即可。
更詳細的評估建議,請參見集群資源規格評估建議。
操作步驟
- 進入創建集群頁面。
- 配置集群信息。創建集群時,您需要對集群進行軟件配置、硬件配置和基礎配置。重要 集群創建完成后,除了集群名稱以外,其他配置均無法修改,所以在創建時請仔細確認各項配置。
- 在確認訂單頁面,選中E-MapReduce服務條款復選框。
- 單擊創建。創建集群后可以通過刷新頁面來查看進度,當集群狀態顯示為運行中時,表示集群創建成功。
后續步驟
集群創建成功后,您可以根據實際的業務場景,修改集群的默認參數,使集群正式交付生產時符合相關的要求。例如:- 是否啟用SSL來加密網絡鏈接,詳情請參見使用SSL加密Kafka鏈接。
- 是否啟用SASL來進行登錄認證,詳情請參見使用SASL登錄認證Kafka服務。