🧱 1、简述
Apache Kafka 是高吞吐、可扩展的流处理平台,在分布式架构中广泛应用于日志采集、事件驱动和微服务解耦场景。但在使用过程中,消息是否会丢?何时丢?如何防止丢? 是很多开发者关心的问题。
Kafka 提供了一套完整的机制来保障消息从生产者 ➜ Broker ➜ 消费者 全链路的可靠性。
🧭 2、消息可靠性全景图
Kafka 的可靠性体系可以分为三个阶段:
阶段 | 风险点 | 保障机制 |
---|---|---|
生产者发送 | 网络失败/客户端崩溃 | 重试机制 + acks 配置 |
Broker 写入 | 副本同步失败 | ISR 同步机制 + 多副本复制 |
消费者消费 | 消费失败/宕机 | 手动提交 offset + 消费幂等设计 |