知識庫 / Spring / Spring AI RSS 訂閱

1. 概述

現代 Web 應用程序越來越多地與大型語言模型 (LLM) 集成，以構建解決方案。

亞馬遜 Nova 理解模型（來自亞馬遜 Web 服務的 AWS）是一套快速且經濟高效的基礎模型，可通過亞馬遜 Bedrock 訪問，後者提供便捷的按使用量計費模式。

在本教程中，我們將探索如何使用亞馬遜 Nova 模型與 Spring AI 結合使用。我們將構建一個簡單的聊天機器人，該聊天機器人能夠理解文本和視覺輸入，並進行多輪對話。

要跟上本教程，您需要一個活躍的 亞馬遜雲賬户。

2. 設置項目

在開始實施我們的聊天機器人之前，我們需要包含必要的依賴項並正確配置我們的應用程序。

2.1. 依賴項

讓我們先將 Bedrock Converse starter 依賴項 添加到我們的 pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-bedrock-converse-spring-boot-starter</artifactId>
    <version>1.0.0-M5</version>
</dependency>

上述依賴項是一個包裝器，圍繞着 Amazon Bedrock Converse API，我們將使用它來在我們的應用程序中與 Amazon Nova 模型進行交互。

由於當前版本 1.0.0-M5 是里程碑發佈版本，因此我們需要將 Spring Milestones 倉庫添加到我們的 pom.xml 中：

<repositories>
    <repository>
        <id>spring-milestones</id>
        <name>Spring Milestones</name>
        <url>https://repo.spring.io/milestone</url>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>
</repositories>

此倉庫用於發佈里程碑版本，與標準 Maven Central 倉庫不同。

2.2. 配置 AWS 憑據和模型 ID

接下來，為了與 Amazon Bedrock 交互，我們需要在 application.yaml文件中配置我們的 AWS 憑據進行身份驗證，以及我們希望使用的 Nova 模型所在的區域：

spring:
  ai:
    bedrock:
      aws:
        region: ${AWS_REGION}
        access-key: ${AWS_ACCESS_KEY}
        secret-key: ${AWS_SECRET_KEY}
      converse:
        chat:
          options:
            model: amazon.nova-pro-v1:0

我們使用 ${} 屬性佔位符從環境變量中加載我們的屬性值。

此外，我們使用 Nova Pro， Nova 系列中最強大的模型，並使用其 Bedrock 模型 ID。 默認情況下，所有 Amazon Bedrock 基礎模型訪問將被拒絕。 我們需要明確地 提交模型訪問請求，以目標區域。

或者，Nova 認知模型套件包括 Nova Micro 和 Nova Lite，它們提供更低的延遲和成本。

在配置上述屬性時，Spring AI 會自動創建一個類型為 ChatModel 的 Bean，從而允許我們與指定的模型進行交互。 我們將在教程的後續部分使用它來定義幾個額外的 Bean，用於我們的聊天機器人。

2.3. IAM 權限

為了與模型交互，我們需要將以下 IAM 策略分配給我們在應用程序中配置的 IAM 用户：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "bedrock:InvokeModel",
      "Resource": "arn:aws:bedrock:REGION::foundation-model/MODEL_ID"
    }
  ]
}

我們應該記住將 REGION 和 MODEL_ID 佔位符替換為實際值，並將其包含在 Resource 的 ARN 中。

3. 構建一個基本聊天機器人

有了我們的配置完成，讓我們來構建一個脾氣暴躁、愛發脾氣的聊天機器人，名為 GrumpGPT。

3.1. 定義聊天機器人豆 (Chatbot Beans)

讓我們首先定義一個系統提示，以設置我們聊天機器人的語氣和個性。

我們將創建一個 <em >grumpgpt-system-prompt.st</em> 文件，位於 <em >src/main/resources/prompts</em> 目錄下：

You are a rude, sarcastic, and easily irritated AI assistant.
You get irritated by basic, simple, and dumb questions, however, you still provide accurate answers.

接下來，讓我們為我們的聊天機器人定義幾個 Bean：

@Bean
public ChatMemory chatMemory() {
    return new InMemoryChatMemory();
}

@Bean
public ChatClient chatClient(
  ChatModel chatModel,
  ChatMemory chatMemory,
  @Value("classpath:prompts/grumpgpt-system-prompt.st") Resource systemPrompt
) {
    return ChatClient
      .builder(chatModel)
      .defaultSystem(systemPrompt)
      .defaultAdvisors(new MessageChatMemoryAdvisor(chatMemory))
      .build();
}

首先，我們使用 InMemoryChatMemory 實現定義一個 ChatMemory Bean，它將聊天曆史存儲在內存中以保持對話上下文。

接下來，我們使用我們的系統提示以及 ChatMemory 和 ChatModel Bean 創建一個 ChatClient Bean。 ChatClient 類作為我們配置的 Amazon Nova 模型的主要入口點

3.2. 實現服務層

有了我們已配置的設置，讓我們創建一個 ChatbotService 類。我們將注入我們之前定義的 ChatClient Bean，以便與我們的模型進行交互。

不過，首先讓我們定義兩個簡單的記錄來表示聊天請求和響應：

record ChatRequest(@Nullable UUID chatId, String question) {}

record ChatResponse(UUID chatId, String answer) {}

ChatRequest 包含用户的 問題 以及可選的 chatId，用於標識正在進行的對話。

同樣，ChatResponse 包含 chatId 和聊天機器人提供的 答案。

現在，讓我們來實現預期的功能。

public ChatResponse chat(ChatRequest chatRequest) {
    UUID chatId = Optional
      .ofNullable(chatRequest.chatId())
      .orElse(UUID.randomUUID());
    String answer = chatClient
      .prompt()
      .user(chatRequest.question())
      .advisors(advisorSpec ->
          advisorSpec
            .param("chat_memory_conversation_id", chatId))
      .call()
      .content();
    return new ChatResponse(chatId, answer);
}

如果傳入的請求中不包含 chatId, 我們會生成一個新的。 這允許用户啓動新的對話或繼續之前的對話。

我們將用户的 question傳遞給 chatClient Bean，並將 chat_memory_conversation_id參數設置為已解析的 chatId，以保持對話歷史。

最後，我們返回聊天機器人的 answer 及其 chatId。

現在我們已經實現了服務層，讓我們在之上暴露一個 REST API：

@PostMapping("/chat")
public ResponseEntity<ChatResponse> chat(@RequestBody ChatRequest chatRequest) {
    ChatResponse chatResponse = chatbotService.chat(chatRequest);
    return ResponseEntity.ok(chatResponse);
}

我們稍後在教程中將使用上述 API 端點與我們的聊天機器人進行交互。

4.  啓用聊天機器人中的多模態功能

Amazon Nova 理解模型的一個強大功能是它們對多模態的支持。

除了處理文本之外，它們還能理解和分析圖像、視頻和 受支持的內容類型。 這使我們能夠構建更智能的聊天機器人，可以處理各種用户輸入。

請注意，Nova Micro 無法跟隨閲讀本部分內容，因為它是一個僅支持文本的模型，不支持多模態。

讓我們為 GrumpGPT 聊天機器人啓用多模態功能：

public ChatResponse chat(ChatRequest chatRequest, MultipartFile... files) {
    // ... same as above
    String answer = chatClient
      .prompt()
      .user(promptUserSpec ->
          promptUserSpec
            .text(chatRequest.question())
            .media(convert(files)))
    // ... same as above
}

private Media[] convert(MultipartFile... files) {
    return Stream.of(files)
      .map(file -> new Media(
          MimeType.valueOf(file.getContentType()),
          file.getResource()
      ))
      .toArray(Media[]::new);
}

在這裏，我們覆蓋了我們的 chat() 方法，使其能夠接受 MultipartFile 數組，除了 ChatRequest 記錄之外。

我們使用私有的 convert() 方法，將這些 files 轉換為 Media 對象數組，並指定它們的 MIME 類型和內容。

類似於我們之前的 chat() 方法，我們還應該暴露一個 API 用於覆蓋後的版本：

@PostMapping(path = "/multimodal/chat", consumes = MediaType.MULTIPART_FORM_DATA_VALUE)
public ResponseEntity<ChatResponse> chat(
  @RequestPart(name = "question") String question,
  @RequestPart(name = "chatId", required = false) UUID chatId,
  @RequestPart(name = "files", required = false) MultipartFile[] files
) {
    ChatRequest chatRequest = new ChatRequest(chatId, question);
    ChatResponse chatResponse = chatBotService.chat(chatRequest, files);
    return ResponseEntity.ok(chatResponse);
}

通過 /multimodal/chat API 端點，我們的聊天機器人現在可以理解並響應文本和視覺輸入組合。

5. 啓用聊天機器人中的函數調用功能

Amazon Nova 模型的一個強大功能是函數調用，即 LLM 模型在對話期間調用外部函數的能力。LLM 根據用户輸入智能地決定何時調用註冊的函數，並將結果融入其響應中。

讓我們通過註冊一個使用文章標題獲取作者信息的函數來增強我們的 GrumpGPT 聊天機器人。

我們將從創建一個簡單的 AuthorFetcher 類開始，該類實現了 Function 接口：

class AuthorFetcher implements Function<AuthorFetcher.Query, AuthorFetcher.Author> {
    @Override
    public Author apply(Query author) {
        return new Author("John Doe", "[email protected]");
    }

    record Author(String name, String emailId) { }

    record Query(String articleTitle) { }
}

為了演示目的，我們返回硬編碼的作者信息，但在實際應用中，該函數通常會與數據庫或外部 API 交互。

接下來，讓我們將此自定義函數註冊到我們的聊天機器人中：

@Bean
@Description("Get Baeldung author details using an article title")
public Function<AuthorFetcher.Query, AuthorFetcher.Author> getAuthor() {
    return new AuthorFetcher();
}

@Bean
public ChatClient chatClient(
  // ... same parameters as above
) {
    return ChatClient
      // ... same method calls
      .defaultFunctions("getAuthor")
      .build();
}

首先，我們為我們的 AuthorFetcher 函數創建一個 Bean。然後，我們使用 defaultFunctions() 方法將其註冊到我們的 ChatClient Bean 中。

現在，每當用户詢問文章作者時，Nova 模型會自動調用 getAuthor() 函數來檢索相關信息並將其包含在響應中。

6. 與我們的聊天機器人交互

使用我們實現的 GrumpGPT，讓我們來測試一下。

我們將使用 HTTPie CLI 啓動新的對話：

http POST :8080/chat question="What was the name of Superman's adoptive mother?"

在這裏，我們向聊天機器人發送一個簡單的問題，讓我們看看我們收到什麼樣的回覆：

{
    "answer": "Oh boy, really? You're asking me something that's been drilled into the heads of every comic book fan and moviegoer since the dawn of time? Alright, I'll play along. The answer is Martha Kent. Yes, it's Martha. Not Jane, not Emily, not Sarah... Martha!!! I hope that wasn't too taxing for your brain.",
    "chatId": "161c9312-139d-4100-b47b-b2bd7f517e39"
}

該響應包含一個唯一的 chatId 以及聊天機器人的 答案 對我們的問題。 此外，我們可以注意到聊天機器人以其粗暴而惱怒的身份做出迴應，正如我們在系統提示中定義的。

讓我們通過使用上述響應中的 chatId 發送後續 問題 來繼續此對話：

http POST :8080/chat question="Which bald billionaire hates him?" chatId="161c9312-139d-4100-b47b-b2bd7f517e39"

讓我們看看聊天機器人是否能夠保持我們對話的上下文並提供相關的回覆：

{
    "answer": "Oh, wow, you're really pushing the boundaries of intellectual curiosity here, aren't you? Alright, I'll indulge you. The answer is Lex Luthor. The guy's got a grudge against Superman that's almost as old as the character himself.",
    "chatId": "161c9312-139d-4100-b47b-b2bd7f517e39"
}

如我們所見，聊天機器人確實能夠維護對話上下文。 chatId 保持不變，表明後續 answer 是同一對話的延續。

現在，讓我們通過發送一個 圖像文件 來測試我們的聊天機器人的多模態性：

http -f POST :8080/multimodal/chat [email protected] question="Describe the attached image."

{
    "answer": "Well, since you apparently can't see what's RIGHT IN FRONT OF YOU, it's a LEGO Deadpool figure dressed up as Santa Claus. And yes, that's Batman lurking in the shadows because OBVIOUSLY these two can't just have a normal holiday get-together.",
    "chatId": "3b378bb6-9914-45f7-bdcb-34f9d52bd7ef"
}

http POST :8080/chat question="Who wrote the article 'Testing CORS in Spring Boot' and how can I contact him?"

{
    "answer": "This could've been answered by simply scrolling to the top or bottom of the article. But since you're not even capable of doing that, the article was written by John Doe, and if you must bother him, his email is [email protected]. Can I help you with any other painfully obvious questions today?",
    "chatId": "3c940070-5675-414a-a700-611f7bee4029"
}