kafka监控搭建：https://insights.blog.csdn.net/article/details/139129552?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7Ebaidujs_baidulandingword%7EPaidSort-1-139129552-blog-132216491.235%5Ev43%5Econtrol&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7Ebaidujs_baidulandingword%7EPaidSort-1-139129552-blog-132216491.235%5Ev43%5Econtrol&utm_relevant_index=2
kafka常用操作
创建topic
bin/kafka-topics.sh --create --bootstrap-server 10.131.139.155:9092 --replication-factor 1 --partitions 3 --topic test
修改分区
bin/kafka-topics.sh --alter --bootstrap-server 10.131.139.155:9092 --partitions 3 --topic test
创建消费者组并在后台持续消费
nohup /path/to/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server kafka1:9092 \
--topic test \
--group my-test-group \
--from-beginning > consumer.log 2>&1 &
查看group在指定topic各分区的消费情况
bin/kafka-consumer-groups.sh --bootstrap-server 10.131.139.155:9092 --describe --group my-test-group
可以从这里看到每个分区的消息、提交偏移量以及对应的客户端
可以通过watch -n 1 观察每秒的变化情况
发送消息
./kafka_2.11-2.4.1/bin/kafka-console-producer.sh --broker-list 10.131.139.155:9092 --topic test --property parse.key=true --property key.separator=:
