Kafka事务

Kafka0.11版本开始引入了事务支持事务可以保证KafkaExactly Once语义的基础上,生产和消费可以跨分区和会话,要么全部成功,要么全部失败 。

Producer事务:

    为了实现跨分区跨会话的事务,需要引入一个全局唯一的Transaction ID,并将Producer获得的PIDTransaction ID绑定。这样当Producer重启后就可以通过正在进行的Transaction ID获得原来的PID 
    为了管理TransactionKafka引入了一个新的组件Transaction CoordinatorProducer就是通过和Transaction Coordinator 交互获得Transaction ID 对应的任务状态。Transaction Coordinator还负责将事务所有写入Kafka 的一个内部 Topic,这样即使整个服务重启,由于事务状态得到保存,进行中的事务状态可以得到恢复,从而继续进行。
 
Consumer事务:

    上述事务机制主要是从Producer方面考虑,对于Consumer 而言,事务的保证就会相对较弱,尤其时无法保证 Commit 的信息被精确消费。这是由于Consumer 可以通过offset访问任意信息,而且不同的 Segment File 生命周期不同,同一事务的消息可能会出现重启后被删除的情况。 

 

发表评论

邮箱地址不会被公开。 必填项已用*标注