EMR-3.4.0及后續版本支持Kafka服務。
創建Kafka集群
如果需要新建包含Kafka的集群,請登錄E-MapReduce新版控制臺創建DataFlow類型集群,創建集群詳情請參見創建DataFlow Kafka集群。
本地盤Kafka集群
當在本地盤上部署Kafka服務時,您需要在E-MapReduce控制臺的配置頁面,配置如下參數。
配置項 | 描述 |
---|---|
default.replication.factor | 固定值為3,表示Topic的副本數為3。 |
min.insync.replicas | 固定值為2,表示副本數大于等于2。
當Producer設定request.required.acks為all或-1,且寫入副本數大于等于2時,數據寫入才能成功。 |
參數說明
您可以在E-MapReduce控制臺的配置頁面,查看Kafka的服務配置。
配置項 | 描述 |
---|---|
zookeeper.connect | Kafka集群Zookeeper的連接地址。 |
kafka.heap.opts | Kafka Broker的堆內存大小。 |
num.io.threads | Kafka Broker的IO線程數,默認為主節點CPU核數的2倍。 |
num.network.threads | Kafka Broker的網絡線程數,默認為主節點的CPU核數。 |