本篇目录：
- 1、kafka客户端发送批量消息流程分析
- 2、5-kafka(分布式消息队列)
- 3、如何保证kafka生产者发送消息的可靠性
- 4、SpringBoot集成Kafka,实现简单的收发消息
- 5、消息中间件之Kafka
kafka客户端发送批量消息流程分析
1、生产者往三个分区发送消息(发送消息可以批量发送、也可以一个个发送)，其中0，1，2，3，4，5叫做偏移量，如图发送了15条消息，每一个分区维护了一个从头开始的偏移量。
2、流程描述：用户首先构建待发送的消息对象ProducerRecord，然后调用KafkaProducer#send方法进行发送。Kafka的工作流程Kafka中消息是以Topic进行分类的，生产者生产消息，消费者消费消息，读取和消费的都是同一个Topic。
3、KafkaProducer客户端虽然使用简单，但是一条消息从客户端到topic partition的日志文件，中间需要经历许多的处理过程。
4、批量发送： https：// 配置 生产者 设置批量发送且设置时延，当某个topic的消息超过batch-size，会把accumulator的消息全部发出去，即其他topic的也跟着一起发出去。
5、（1）生产者定期向主题发送消息。（2）Kafka 代理存储该特定主题配置的分区中的所有消息。 确保消息在分区之间平等共享。
6、生产者，即是将消息发送到kafka的过程，发送消息是需要指定Topic，并且可以指定Partition。Broker接收到消息后，将消息存放在partition中。Consumer 消费者，从broker topic中读取消息，可以订阅一个或多个topic。
5-kafka(分布式消息队列)
除此之外，Kafka为了保证多个副本的数据一致性，从同一个分区的多个副本中选举出一个Partition Leader，由这个Leader来负责读写，其他的副本作为Follower从Leader中同步消息，通过这样一个副本同步机制，保证了多副本的数据一致性。
Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
Kafka是一个高性能的分布式消息队列系统，它主要用于解决大规模数据处理中的消息传递问题。
如何保证kafka生产者发送消息的可靠性
一般我们为了保证消息正确写入磁盘会配置重试如下： spring.kafka.producer.retries=3 触发重试机制后，producer会重新发送发送上次的消息，于是就有了生产端重复消息，这是我们不愿看到的。
（1）未开启幂等性 max.in.flight.requests.per.connection需要设置为1。
生产者可靠性级别 通过以上的讲解，已经可以保证kafka集群内部的可靠性，但是在生产者向kafka集群发送时，数据经过网络传输，也是不可靠的，可能因为网络延迟、闪断等原因造成数据的丢失。
SpringBoot集成Kafka,实现简单的收发消息
1、比如对自己定义的线程池做主动关闭，释放一些资源的连接，等待已在执行中的任务完成等。
2、acks=1 ： 只要集群的首领节点收到消息，生产者就会收到一个来自服务器成功响应。
3、Spring Cloud Stream 基于Redis，Rabbit，Kafka实现的消息微服务，简单声明模型用以在Spring Cloud应用中收发消息。
4、近期，公司需要新增即时聊天的业务，于是用websocket 整合到Springboot完成业务的实现。
消息中间件之Kafka
Record： 写入kafka中的消息，每个消息包含了key、value和timestamp。生产者-消费者是一种设计模式，是在生产者和消费者之间添加一个中间件来达到解耦的目的。
这几个模式里边有个关键点—需要通过把领域事件发布给远程的其他服务，完成数据同步。这就需要消息中间件了，消息中间件这块我了解的也不深，公司里用RocketMQ，不过付费版和开源版差别很大。
Apache ActiveMQ：Apache ActiveMQ是一个基于Java的开源消息中间件，支持多种协议，包括AMQP和WebSocket。它提供了WebSocket连接和消息发布/订阅功能。
Kafka的工作流程Kafka中消息是以Topic进行分类的，生产者生产消息，消费者消费消息，读取和消费的都是同一个Topic。
作为一款典型的消息中间件产品，kafka系统仍然由producer、broker、consumer三部分组成。
到此，以上就是小编对于kafka批量生产的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。
微信扫一扫打赏
