1、背景

隨著AI的快速發(fā)展，越來越多的AI應用誕生了，但是AI也有響應慢的問題，一般不能夠即時響應，為了優(yōu)化用戶體驗，現(xiàn)在大部分AI應用都是實現(xiàn)了打字機的效果，那么這種效果是如何實現(xiàn)的呢？今天我們先看一下后端的實現(xiàn)邏輯。

代碼流程是后端發(fā)出請求，請求智能體或AI模型暴露的流式接口，然后返回一個流式接口。

為什么不直接前端請求AI接口，因為有的AI接口在前端直接請求，可能會出現(xiàn)跨域問題。因為AI接口返回的響應中沒有包含跨域的Access-Control-Allow-Origin。

2、實現(xiàn)步驟

1、引入依賴

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-webflux</artifactId>
</dependency>

2、使用webClient發(fā)起對AI接口請求

代碼中的URL,請求頭、請求體或者請求方法都可以按照對應的AI接口文檔進行替換。

WebClient webClient = WebClient.create();
        Flux<String> resultFlux = webClient.post()
                .uri(URL)  //請求url
                .header(HttpHeaders.CONTENT_TYPE, MediaType.APPLICATION_JSON_VALUE)
                .header(HttpHeaders.AUTHORIZATION, "Bearer "+ API_KEY) // 添加認證頭部
                .bodyValue(requestBody)//請求體
                .retrieve()
                .bodyToFlux(String.class);  //返回流式結(jié)果

3、啟動類需要添加@EnableAsync注解

4、如果工程中有過濾器，需要進行配置

我的工程啟動后報錯

Async support must be enabled on a servlet and for all filters involved in async request processing. This is done in Java code using the Servlet API or by adding "<async-supported>true</async-supported>" to servlet and filter declarations in web.xml.

大概意思是異步支持必須在servlet和所有的過濾器中被標注成是enabled

Servlet和Filter聲明：如果您使用的是基于XML的配置，可以在web.xml文件中的servlet和filter聲明中添加<async-supported>true</async-supported>元素來啟用異步支持

<servlet>
    <servlet-name>myServlet</servlet-name>
    <servlet-class>com.example.MyAsyncServlet</servlet-class>
    <async-supported>true</async-supported>
</servlet>
<filter>
    <filter-name>myFilter</filter-name>
    <filter-class>com.example.MyAsyncFilter</filter-class>
    <async-supported>true</async-supported>
</filter>

如果您使用的是基于注解的配置或Java配置類，可以通過實現(xiàn)javax.servlet.Servlet接口并覆蓋isAsyncSupported()方法返回true，或者通過@WebServlet和@WebFilter注解的asyncSupported屬性來設置。我使用的是這種方式

@WebServlet(urlPatterns = "/async", asyncSupported = true)
public class MyAsyncServlet extends HttpServlet {
    // ...
}
@WebFilter(urlPatterns = "/*", asyncSupported = true)
public class MyAsyncFilter implements Filter {
    // ...
}

5、postman發(fā)送請求后結(jié)果

controller類接口

 @RequestMapping(method = RequestMethod.POST, value = "/getAIResult",produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    Flux<String> getAIResult(@RequestBody String content){
        // 構(gòu)建請求體
        HashMap<String, Object> requestBody = new HashMap<>();
        requestBody.put("model", "6bbdf08d55244bd9be24052ded2a58ef");
        requestBody.put("context",0);
        requestBody.put("stream", true);
        List<HashMap<String, String>> messages = new ArrayList<>();
        HashMap<String, String> message = new HashMap<>();
        message.put("role", "user");
        message.put("content", content);
        messages.add(message);
        requestBody.put("messages", messages);
        WebClient webClient = WebClient.create();
        Flux<String> resultFlux = webClient.post()
                .uri(URL)
                .header(HttpHeaders.CONTENT_TYPE, MediaType.APPLICATION_JSON_VALUE)
                .header(HttpHeaders.AUTHORIZATION, "Bearer "+ API_KEY) // 添加認證頭部
                .bodyValue(requestBody)
                .retrieve()
                .bodyToFlux(String.class);
        // 輸出響應結(jié)果
        // // 訂閱響應以觸發(fā)實際的 HTTP 請求
        // resultFlux.subscribe(
        //         response -> System.out.println("Response received: " + response),
        //         error -> System.err.println("Error occurred: " + error.getMessage())
        // );
        return resultFlux;
    }

3、使用技術(shù)介紹

WebFlux

WebFlux模塊是Spring 5引入的一部分，旨在提供一種新的方式來構(gòu)建響應式的Web應用程序。它允許你以異步和非阻塞的方式處理HTTP請求，這在處理高并發(fā)場景時可以顯著提高性能。

WebFlux的特點

• 非阻塞I/O：與傳統(tǒng)的Servlet API不同，WebFlux使用的是非阻塞I/O模型，這意味著它可以更有效地利用線程資源。
• 反應式編程：WebFlux內(nèi)置了對反應式編程的支持，主要通過Reactor庫實現(xiàn)，使得編寫和處理異步代碼更加容易。
• 函數(shù)式路由：除了注解驅(qū)動的控制器，WebFlux還提供了函數(shù)式路由API，讓你能夠以聲明性的方式定義路由規(guī)則。

以上來自AI內(nèi)容生成，看完一頭霧水，下方給出介紹

非阻塞I/O

含義：非阻塞I/O（Non-blocking I/O）是一種編程模型，它允許應用程序在等待某些操作完成時不會被阻塞。與傳統(tǒng)的Servlet API（如Spring MVC）相比，WebFlux采用了基于事件和回調(diào)的非阻塞I/O模型。

• 傳統(tǒng)Servlet API (阻塞I/O)：在傳統(tǒng)的Servlet環(huán)境中，每個HTTP請求都會分配一個線程來處理。如果這個處理過程包含了一個長時間運行的操作（例如數(shù)據(jù)庫查詢或網(wǎng)絡調(diào)用），那么該線程會被阻塞直到操作完成。這意味著線程不能用來處理其他請求，從而降低了服務器的效率。
• WebFlux (非阻塞I/O)：WebFlux使用了Netty這樣的異步網(wǎng)絡框架，它們可以在不阻塞線程的情況下執(zhí)行I/O操作。當一個請求涉及到耗時的任務時，它不會阻塞當前的線程；相反，任務完成后會觸發(fā)相應的回調(diào)函數(shù)繼續(xù)處理。這種方式使得單個線程可以處理多個并發(fā)請求，極大地提高了資源利用率和服務的吞吐量。

反應式編程

含義：反應式編程（Reactive Programming）是一種面向數(shù)據(jù)流和變化傳播的編程范式。它強調(diào)的是通過聲明式的代碼來描述數(shù)據(jù)流的變化，并能夠?qū)@些變化做出響應。WebFlux內(nèi)置了對反應式編程的支持，主要通過Project Reactor庫實現(xiàn)，這是Spring 5引入的一個核心特性。

• Reactor庫：Reactor提供了兩個核心類型——Mono和Flux，分別表示0到1個元素的異步序列和0到N個元素的異步序列。開發(fā)者可以使用這些類型來構(gòu)建復雜的異步邏輯，而不需要顯式地管理線程或同步問題。
• 好處：
  • 簡化異步編程：通過組合操作符（如map, flatMap, filter等），你可以輕松地創(chuàng)建復雜的異步工作流，同時保持代碼的簡潔性和可讀性。
  • 錯誤處理：Reactor還提供了一套強大的錯誤處理機制，比如onErrorResume、retry等，使得處理異常情況更加直觀。
  • 背壓支持：對于生產(chǎn)者-消費者模式中的流量控制，Reactor實現(xiàn)了背壓（Backpressure），確保系統(tǒng)不會因為過載而崩潰。

函數(shù)式路由

含義：函數(shù)式路由是WebFlux提供的另一種定義HTTP端點的方式，除了傳統(tǒng)的注解驅(qū)動控制器之外。它允許你以一種聲明性的、函數(shù)式的方式來配置路由規(guī)則，這在某些情況下可能比注解更靈活、更具表達力。

• RouterFunction和HandlerFunction：在函數(shù)式路由中，RouterFunction用于定義路由匹配邏輯，而HandlerFunction則負責處理實際的請求。兩者結(jié)合在一起，可以非常清晰地表達出“如果路徑匹配，則執(zhí)行某個處理器”的意圖。

到此這篇關(guān)于用Spring Boot輕松實現(xiàn)流式AI輸出的文章就介紹到這了,更多相關(guān)Spring Boot流式AI輸出內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論