kafka(六)—-如何确定coordinator

  • Post author:
  • Post category:其他




一.谁来执行Rebalance以及管理consumer的group呢?

kafka提供了一个角色,coordinator来执行对于consumer group的管理,当consumer group的第一个consumer启动的时候,它会去和kafka server确定谁是它们组的coordinator。之后该group内的所有成员都会和该coordinator进行协调通信



二.如何确定coordinator

consumer group如何确定自己的coordinator是谁呢, 消费者向kafka集群中的任意一个broker发送一个

GroupCoordinatorRequest请求,服务端会返回一个

负载最小

的broker节点的id,并将该broker设置为coordinator



三.JoinGroup的过程

在rebalance之前,需要保证coordinator是已经确定好了的,整个rebalance的过程分为两个步骤,Join和Sync.

**join:**表示加入到consumer group中,在这一步中,所有的成员都会向coordinator发送joinGroup的请求。一旦所有成员都发送了joinGroup请求,那么coordinator会选择一个consumer担任leader角色,

并把组成员信息和订阅信息发送消费者,leader选举算法比较简单,如果消费组内没有leader,那么第一个加入消费组的消费者就是消费者leader,如果这个时候leader消费者退出了消费组,那么重新选举一个leader,这个选举很随意,类似于随机算法

在这里插入图片描述


Synchronizing Group State阶段:


完成分区分配之后,就进入了Synchronizing Group State阶段,主要逻辑是向GroupCoordinator发送

SyncGroupRequest请求,并且处理SyncGroupResponse响应,简单来说,就是leader将消费者对应

的partition分配方案同步给consumer group 中的所有consumer

在这里插入图片描述

每个消费者都会向coordinator发送syncgroup请求,不过只有leader节点会发送分配方案,其他消费者

只是打打酱油而已。当leader把方案发给coordinator以后,coordinator会把结果设置到SyncGroupResponse中。这样所有成员都知道自己应该消费哪个分区。consumer group的分区分配方案是在客户端执行的!Kafka将这个权利下放给客户端主要是因为这样做可以有更好的灵活性



版权声明:本文为Apple_Andy原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。