以下内容是我之前配置的集群同步方案。
脚本路径
/usr/local/kafka/bin/kafka-mirror-maker.sh
consumer.properties
bootstrap.servers=10.255.30.152:9092
group.id=mirrorGroupTest
auto.offset.reset=earliest
partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor
producer.properties
bootstrap.servers=10.255.30.132:9092 compression.type=none retries=3
启动脚本:start-mirror-maker.sh
nohup bin/kafka-mirror-maker.sh --consumer.config MirrorMaker/consumer.properties --producer.config MirrorMaker/producer.properties --whitelist ' test' &
如需要调试,查看debug日志 可以修改
/usr/local/kafka/config/tools-log4j.properties
接下来进行测试:
需要注意的问题:
consumer.properties (10.255.30.152:9092) 需要同步的消息源集群
producer.properties (10.255.30.132:9092) 为消息目标集群
结果:消息写入10.255.30.152:9092 集群, 此时消息会被复制到目标集群10.255.30.132:9092。
惠惠街 每天千款优惠劵秒杀