SpringBoot集成Kafka的步驟

更新時間：2021年01月06日 11:43:01 作者：Aska小強(qiáng)

這篇文章主要介紹了SpringBoot集成Kafka的步驟，幫助大家更好的理解和使用SpringBoot，感興趣的朋友可以了解下

SpringBoot集成Kafka

本篇主要講解SpringBoot 如何集成Kafka ，并且簡單的編寫了一個Demo 來測試發(fā)送和消費(fèi)功能

前言

選擇的版本如下：

springboot ： 2.3.4.RELEASE

spring-kafka ： 2.5.6.RELEASE

kafka : 2.5.1

zookeeper : 3.4.14

本Demo 使用的是 SpringBoot 比較高的版本 SpringBoot 2.3.4.RELEASE 它會引入 spring-kafka 2.5.6 RELEASE ，對應(yīng)了版本關(guān)系中的
Spring Boot 2.3 users should use 2.5.x (Boot dependency management will use the correct version).

spring和 kafka 的版本關(guān)系

https://spring.io/projects/sp...

1.搭建Kafka 和 Zookeeper 環(huán)境

搭建kafka 和 zookeeper 環(huán)境并且啟動它們

2.創(chuàng)建Demo 項(xiàng)目引入spring-kafka

2.1 pom 文件

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
  <groupId>org.springframework.kafka</groupId>
  <artifactId>spring-kafka</artifactId>
</dependency>

<dependency>
  <groupId>com.google.code.gson</groupId>
  <artifactId>gson</artifactId>
</dependency>

2.2 配置application.yml

spring:
 kafka:
  bootstrap-servers: 192.168.25.6:9092 #bootstrap-servers：連接kafka的地址，多個地址用逗號分隔
  consumer:
   group-id: myGroup
   enable-auto-commit: true
   auto-commit-interval: 100ms
   properties:
    session.timeout.ms: 15000
   key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
   value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
   auto-offset-reset: earliest
  producer:
   retries: 0 #若設(shè)置大于0的值，客戶端會將發(fā)送失敗的記錄重新發(fā)送
   batch-size: 16384 #當(dāng)將多個記錄被發(fā)送到同一個分區(qū)時， Producer 將嘗試將記錄組合到更少的請求中。這有助于提升客戶端和服務(wù)器端的性能。這個配置控制一個批次的默認(rèn)大小（以字節(jié)為單位）。16384是缺省的配置
   buffer-memory: 33554432 #Producer 用來緩沖等待被發(fā)送到服務(wù)器的記錄的總字節(jié)數(shù)，33554432是缺省配置
   key-serializer: org.apache.kafka.common.serialization.StringSerializer #關(guān)鍵字的序列化類
   value-serializer: org.apache.kafka.common.serialization.StringSerializer #值的序列化類

2.3 定義消息體Message

/**
 * @author johnny
 * @create 2020-09-23 上午9:21
 **/
@Data
public class Message {


  private Long id;

  private String msg;

  private Date sendTime;
}

2.4 定義KafkaSender

主要利用 KafkaTemplate 來發(fā)送消息，將消息封裝成Message 并且進(jìn)行轉(zhuǎn)化成Json串發(fā)送到Kafka中

@Component
@Slf4j
public class KafkaSender {

  private final KafkaTemplate<String, String> kafkaTemplate;

  //構(gòu)造器方式注入 kafkaTemplate
  public KafkaSender(KafkaTemplate<String, String> kafkaTemplate) {
    this.kafkaTemplate = kafkaTemplate;
  }

  private Gson gson = new GsonBuilder().create();

  public void send(String msg) {
    Message message = new Message();

    message.setId(System.currentTimeMillis());
    message.setMsg(msg);
    message.setSendTime(new Date());
    log.info("【++++++++++++++++++ message ：{}】", gson.toJson(message));
    //對 topic = hello2 的發(fā)送消息
    kafkaTemplate.send("hello2",gson.toJson(message));
  }

}

2.5 定義KafkaConsumer

在監(jiān)聽的方法上通過注解配置一個監(jiān)聽器即可，另外就是指定需要監(jiān)聽的topic
kafka的消息再接收端會被封裝成ConsumerRecord對象返回，它內(nèi)部的value屬性就是實(shí)際的消息。

@Component
@Slf4j
public class KafkaConsumer {


  @KafkaListener(topics = {"hello2"})
  public void listen(ConsumerRecord<?, ?> record) {

    Optional.ofNullable(record.value())
        .ifPresent(message -> {
          log.info("【+++++++++++++++++ record = {} 】", record);
          log.info("【+++++++++++++++++ message = {}】", message);
        });
  }

}

3.測試效果

提供一個 Http接口調(diào)用 KafkaSender 去發(fā)送消息

3.1 提供Http 測試接口

@RestController
@Slf4j
public class TestController {


  @Autowired
  private KafkaSender kafkaSender;


  @GetMapping("sendMessage/{msg}")
  public void sendMessage(@PathVariable("msg") String msg){
    kafkaSender.send(msg);
  }
}