博客

本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。版权声明：本套Spark商业应用实战归作者（秦凯新）所有，禁止转载，欢迎学习。

• 
  kafka 商业环境实战-kafka生产环境规划
  
• 
  kafka 商业环境实战-kafka生产者和消费者吞吐量测试
  
• 
  kafka 商业环境实战-kafka生产者Producer参数设置及参数调优建议
  
• 
  kafka 商业环境实战-kafka集群管理重要操作指令运维兵书
  
• 
  kafka 商业环境实战-kafka集群Broker端参数设置及调优准则建议
  
• 
  kafka 商业环境实战-kafka之Producer同步与异步消息发送及事务幂等性案例应用实战
  
• 
  kafka 商业环境实战-kafka之Consumer多种消费模式案例应用实战
  
• 
  kafka 商业环境实战-kafka消费者Consumer参数设置及参数调优建议
  
• [kafka 商业环境实战-kafka位移提交机制与消费者组的重平衡策略]
• [kafka 商业环境实战-kafka消息Poll轮询机制原理深入剖析]
• [kafka 商业环境实战-kafka副本与ISR同步机制原理深入剖析]
• [kafka 商业环境实战-kafka精确一次语义EOS的原理深入剖析]
• [kafka 商业环境实战-kafka消息的幂等性与事务支持机制深入剖析]
• [kafka 商业环境实战-kafka集群Controller竞选与责任设计思路架构详解]
• [kafka 商业环境实战-kafka集群消息格式之V1版本到V2版本的平滑过渡详解]
• [kafka 商业环境实战-kafka集群水印与leader epoch对数据一致性保障的深入研究]
• [kafka 商业环境实战-kafka调优过程在吞吐量，持久性，低延时，可用性等指标的折中选择研究]

1 消息的接收->基于Consumer Group

Consumer Group 主要用于实现高伸缩性，高容错性的Consumer机制。因此，消息的接收是基于Consumer Group 的。组内多个Consumer实例可以同时读取Kafka消息，同一时刻一条消息只能被一个消费者消费，而且一旦某一个consumer “挂了”， Consumer Group 会立即将已经崩溃的Consumer负责的分区转交给其他Consumer来负责。从而保证 Consumer Grou