EMR-3.4.0及后續版本支持Kafka服務。

創建Kafka集群

如果需要新建包含Kafka的集群，請登錄E-MapReduce新版控制臺創建DataFlow類型集群，創建集群詳情請參見創建DataFlow Kafka集群。

本地盤Kafka集群

當在本地盤上部署Kafka服務時，您需要在E-MapReduce控制臺的配置頁面，配置如下參數。
配置項 描述
default.replication.factor 固定值為3，表示Topic的副本數為3。
min.insync.replicas 固定值為2，表示副本數大于等于2。

當Producer設定request.required.acks為all或-1，且寫入副本數大于等于2時，數據寫入才能成功。

參數說明

您可以在E-MapReduce控制臺的配置頁面，查看Kafka的服務配置。
配置項 描述
zookeeper.connect Kafka集群Zookeeper的連接地址。
kafka.heap.opts Kafka Broker的堆內存大小。
num.io.threads Kafka Broker的IO線程數，默認為主節點CPU核數的2倍。
num.network.threads Kafka Broker的網絡線程數，默認為主節點的CPU核數。