知識庫 / Spring / Spring AI RSS 訂閱

1. 概述

現代應用程序越來越多地與大型語言模型 (LLM) 集成，以構建智能解決方案。雖然單個 LLM 可以處理多種任務，但僅僅依賴一個模型並不總是最佳方法。

不同模型在不同的能力方面表現出色，有些在技術分析方面表現突出，而另一些則在創意寫作方面表現更好。此外，我們可能更喜歡使用輕量級和成本效益更高的模型來處理簡單任務，並將強大的模型保留用於複雜任務。

在本教程中，我們將探索如何在 Spring Boot 應用程序中使用 Spring AI 集成多個 LLM。

我們將配置來自不同提供商的模型，以及來自同一提供商的多個模型。然後，我們將在此配置基礎上構建一個具有彈性聊天機器人，該聊天機器人在發生故障時能夠自動切換模型。

2. 配置不同提供商的LLM

讓我們從我們的應用程序中配置兩個來自不同提供商的LLM開始。

對於我們的演示，我們將 OpenAI 和 Anthropic 作為我們的 AI 模型提供商。

2.1. 配置主要 LLM

我們將首先配置 OpenAI 模型作為我們的主要 LLM。

首先，讓我們將必要的依賴項添加到項目的 pom.xml文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-openai</artifactId>
    <version>1.0.2</version>
</dependency>

OpenAI starter 依賴項是一個圍繞 OpenAI 模型啓動器 的封裝，使我們能夠在應用程序中與 OpenAI 模型進行交互。

接下來，讓我們在 OpenAI API 密鑰 和 聊天模型 中配置 OpenAI 模型，並在 application.yaml 文件中：

spring:
  ai:
    open-ai:
      api-key: ${OPENAI_API_KEY}
      chat:
        options:
          model: ${PRIMARY_LLM}
          temperature: 1

我們使用 ${} 屬性佔位符從環境變量中加載我們的屬性值。 此外，我們設置了温度為 1，因為較新的 OpenAI 模型 僅接受此默認值。

在配置上述屬性後，Spring AI 會自動創建一個類型為 OpenAiChatModel 的 Bean。 讓我們使用它來定義一個 ChatClient Bean，它作為與我們的 LLM 交互的主要入口點：

@Configuration
class ChatbotConfiguration {

    @Bean
    @Primary
    ChatClient primaryChatClient(OpenAiChatModel chatModel) {
        return ChatClient.create(chatModel);
    }
}

在我們的 ChatbotConfiguration 類中，我們使用 OpenAiChatModel Bean 創建 ChatClient Bean 作為我們主要的 LLM。

我們使用 @Primary 註解標記這個 Bean。 Spring Boot 會在自動注入 ChatClient Bean 時，自動注入它，而無需使用任何 Qualifier。

2.2. 配置輔助 LLM

現在，讓我們配置 Anthropic 提供的模型作為我們的輔助 LLM。

首先，讓我們將 Anthropic starter 依賴 添加到我們的 pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-anthropic</artifactId>
    <version>1.0.2</version>
</dependency>

這個依賴項是一個包裝器，圍繞着 Anthropic Message API，併為我們提供必要的類，以便建立連接並與 Anthropic 模型進行交互。

接下來，讓我們定義我們輔助模型中的配置屬性：

spring:
  ai:
    anthropic:
      api-key: ${ANTHROPIC_API_KEY}
      chat:
        options:
          model: ${SECONDARY_LLM}

類似於我們的主要LLM配置，我們加載Anthropic API密鑰和模型ID，均來自環境變量。

最後，讓我們為我們的次要模型創建一個專門的 ChatClient Bean：

@Bean
ChatClient secondaryChatClient(AnthropicChatModel chatModel) {
    return ChatClient.create(chatModel);
}

在這裏，我們使用 Spring AI 自動配置的 AnthropicChatModel 豆，創建了一個 secondaryChatClient 豆。

3. 同提供商的LLM配置

通常情況下，我們需要配置的LLM可能來自同一個AI提供商。

Spring AI 本身並不原生支持此場景，因為自動配置只會為每個提供商創建一個 ChatModel Bean。我們需要手動定義額外的模型(們)的 ChatModel Bean。

讓我們探索這個過程並配置應用程序中的第二個Anthropic模型：

spring:
  ai:
    anthropic:
      chat:
        options:
          tertiary-model: ${TERTIARY_LLM}

在我們的 application.yaml 中，在 Anthropic 配置下，我們添加了一個自定義屬性來存儲三級 LLM 的模型名稱。

接下來，讓我們定義我們三級 LLM 所需的 Bean：

@Bean
ChatModel tertiaryChatModel(
    AnthropicApi anthropicApi,
    AnthropicChatModel anthropicChatModel,
    @Value("${spring.ai.anthropic.chat.options.tertiary-model}") String tertiaryModelName
) {
    AnthropicChatOptions chatOptions = anthropicChatModel.getDefaultOptions().copy();
    chatOptions.setModel(tertiaryModelName);
    return AnthropicChatModel.builder()
      .anthropicApi(anthropicApi)
      .defaultOptions(chatOptions)
      .build();
}

@Bean
ChatClient tertiaryChatClient(@Qualifier("tertiaryChatModel") ChatModel tertiaryChatModel) {
    return ChatClient.create(tertiaryChatModel);
}

首先，我們創建自定義的 ChatModel Bean 時，我們注入了自動配置的 AnthropicApi Bean，以及我們用於創建次級 LLM 的默認 AnthropicChatModel Bean，並使用 @Value 注入第三級模型名稱屬性。

我們從現有的 AnthropicChatModel Bean 中複製默認選項，並僅覆蓋模型名稱。

此配置假設 Anthropic 模型共享相同的 API 密鑰和其他配置。 如果需要指定不同的屬性，我們可以進一步自定義 AnthropicChatOptions。

最後，我們使用自定義的 tertiaryChatModel Bean 創建配置類中的第三個 ChatClient Bean。

4. 探索一個實際用例

有了我們多模型配置就緒，讓我們來實現一個實際用例。 我們將構建一個具有彈性回退功能的聊天機器人，當主模型失敗時，它將按順序回退到備用模型。

4.1. 構建健壯的聊天機器人

為了實現回退邏輯，我們將使用 Spring Retry。

讓我們創建一個新的 <em >ChatbotService</em> 類，並自動注入我們之前定義的三個 <em >ChatClient</em> Bean。然後，讓我們定義聊天機器人的入口點，該入口點使用主要的 LLM：

@Retryable(retryFor = Exception.class, maxAttempts = 3)
String chat(String prompt) {
    logger.debug("Attempting to process prompt '{}' with primary LLM. Attempt #{}",
        prompt, RetrySynchronizationManager.getContext().getRetryCount() + 1);
    return primaryChatClient
      .prompt(prompt)
      .call()
      .content();
}

在這裏，我們創建一個 chat() 方法，它使用 primaryChatClient bean。我們用 @Retryable 註解標記此方法，配置其在任何 Exception 發生時最多嘗試三次。

@Recover
String chat(Exception exception, String prompt) {
    logger.warn("Primary LLM failure. Error received: {}", exception.getMessage());
    logger.debug("Attempting to process prompt '{}' with secondary LLM", prompt);
    try {
        return secondaryChatClient
          .prompt(prompt)
          .call()
          .content();
    } catch (Exception e) {
        logger.warn("Secondary LLM failure: {}", e.getMessage());
        logger.debug("Attempting to process prompt '{}' with tertiary LLM", prompt);
        return tertiaryChatClient
          .prompt(prompt)
          .call()
          .content();
    }
}

@PostMapping("/api/chatbot/chat")
ChatResponse chat(@RequestBody ChatRequest request) {
    String response = chatbotService.chat(request.prompt);
    return new ChatResponse(response);
}

record ChatRequest(String prompt) {}
record ChatResponse(String response) {}

OPENAI_API_KEY=.... \
ANTHROPIC_API_KEY=.... \
PRIMARY_LLM=gpt-100 \
SECONDARY_LLM=claude-opus-200 \
TERTIARY_LLM=claude-3-haiku-20240307 \
mvn spring-boot:run

http POST :8080/api/chatbot/chat prompt="What is the capital of France?"

{
    "response": "The capital of France is Paris."
}

[2025-09-30 12:56:03] [DEBUG] [com.baeldung.multillm.ChatbotService] - Attempting to process prompt 'What is the capital of France?' with primary LLM. Attempt #1
[2025-09-30 12:56:05] [DEBUG] [com.baeldung.multillm.ChatbotService] - Attempting to process prompt 'What is the capital of France?' with primary LLM. Attempt #2
[2025-09-30 12:56:06] [DEBUG] [com.baeldung.multillm.ChatbotService] - Attempting to process prompt 'What is the capital of France?' with primary LLM. Attempt #3
[2025-09-30 12:56:07] [WARN] [com.baeldung.multillm.ChatbotService] - Primary LLM failure. Error received: HTTP 404 - {
    "error": {
        "message": "The model `gpt-100` does not exist or you do not have access to it.",
        "type": "invalid_request_error",
        "param": null,
        "code": "model_not_found"
    }
}
[2025-09-30 12:56:07] [DEBUG] [com.baeldung.multillm.ChatbotService] - Attempting to process prompt 'What is the capital of France?' with secondary LLM
[2025-09-30 12:56:07] [WARN] [com.baeldung.multillm.ChatbotService] - Secondary LLM failure: HTTP 404 - {"type":"error","error":{"type":"not_found_error","message":"model: claude-opus-200"},"request_id":"req_011CTeBrAY8rstsSPiJyv3sj"}
[2025-09-30 12:56:07] [DEBUG] [com.baeldung.multillm.ChatbotService] - Attempting to process prompt 'What is the capital of France?' with tertiary LLM