Spring AI系列——使用大模型对文本进行内容总结归纳分析

news2025/5/13 17:29:27

一、技术原理与架构设计

1. 技术原理

本项目基于 Spring AI Alibaba 框架，结合 DashScope 大模型服务 实现文本内容的自动摘要和结构化输出。核心原理如下：

文档解析：
使用 TikaDocumentReader 解析上传的文件（如 PDF、Word 等），提取纯文本内容。
自然语言处理：
基于 DashScope 提供的 LLM 接口，将提取出的文本传入预定义 Prompt 中，由大模型生成结构化的摘要结果。
结构化输出：
利用 BeanOutputConverter 将大模型返回的 JSON 字符串转换为 Java Bean，便于后续业务逻辑处理。

2. 架构设计

系统采用分层架构设计，主要包括以下模块：

层级	组件	功能
前端接口层	`SummaryController`, `StreamToBeanController`	提供 REST API 接收用户请求，调用大模型并返回结构化结果
大模型服务层	`ChatClient`, `DashScopeChatOptions`	调用 DashScope 大模型 API，配置参数并接收响应
数据处理层	`TikaDocumentReader`, `BeanOutputConverter`	解析文档内容、转换结构化数据
配置层	`application.yml`	存储系统配置，包括 API Key、端口号等

二、完整代码实现

1. Maven 依赖管理 (`pom.xml`)

<dependencies>
    <dependency>
        <groupId>com.alibaba.cloud.ai</groupId>
        <artifactId>spring-ai-alibaba-starter</artifactId>
        <version>${spring-ai-alibaba.version}</version>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-tika-document-reader</artifactId>
    </dependency>
</dependencies>

2. 应用配置 (`application.yml`)

server:
  port: 10091

spring:
  application:
    name: spring-ai-alibaba-text-summarizer-example

  ai:
    dashscope:
      api-key: ${AI_DASHSCOPE_API_KEY:sk-7074berwerwerwerwbf3151f2fa}

3. 文本摘要控制器 (`SummaryController.java`)

@RestController
@Slf4j
public class SummaryController {

    @Value("classpath:/text-summarize-cn.st")
    private Resource summarizeTemplate;

    private final ChatClient chatClient;

    public SummaryController(ChatClient.Builder chatClientBuilder) {
        this.chatClient = chatClientBuilder.build();
    }

    @PostMapping(path = "/summarize", produces = "text/plain")
    public String summarize(@RequestParam("file") MultipartFile file) {
        List<Document> documents = new TikaDocumentReader(file.getResource()).get();

        String documentText = documents.stream()
                .map(Document::getFormattedContent)
                .collect(Collectors.joining("\n\n"));
        log.info("Document text: {}", documentText);

        return chatClient.prompt()
                .user(DEFAULT_SUMMARY_PROMPT)
                .system(systemSpec ->
                        systemSpec.text(summarizeTemplate).param("document", documentText)
                )
                .call()
                .content();
    }
}

4. 结构化输出实体类 (`StreamToBeanEntity.java`)

public class StreamToBeanEntity {
    private String title;
    private String author;
    private String date;
    private String content;

    // Getters and Setters
}

5. 流式转 JSON 控制器 (`StreamToJsonController.java`)

@RestController
@RequestMapping("/example/stream/json")
public class StreamToJsonController {

    private static final String DEFAULT_PROMPT =
            """
            requirement: 你好，请以JSON格式介绍你自己;
            format: 以纯文本输出 json，请不要包含任何多余的文字——包括 markdown 格式;
            outputExample: {
                 "name": {name},
                 "version": {version},
                 "description": {description},
                 "abilities": {abilities},
                 "languages": {languages},
                 "company": {company},
                 "birthday": {birthday},
                 "location": {location}
            };
            """;

    private final ChatClient dashScopeChatClient;

    public StreamToJsonController(ChatModel chatModel) {
        DashScopeResponseFormat responseFormat = new DashScopeResponseFormat();
        responseFormat.setType(DashScopeResponseFormat.Type.JSON_OBJECT);

        this.dashScopeChatClient = ChatClient.builder(chatModel)
                .defaultOptions(
                        DashScopeChatOptions.builder()
                                .withTopP(0.7)
                                .withResponseFormat(responseFormat)
                                .build()
                )
                .build();
    }

    @GetMapping("/play")
    public String simpleChat(HttpServletResponse response) {
        response.setCharacterEncoding("UTF-8");
        String result = dashScopeChatClient.prompt(DEFAULT_PROMPT)
                .call()
                .content();
        log.info("LLMs 响应的 json 数据为：{}", result);
        return result;
    }
}

三、关键参数详解与配置规则

1. `DashScopeChatOptions`

topP: 控制采样概率分布的累积阈值，默认值为 0.7，表示只保留前 70% 的高概率词。
responseFormat: 指定返回格式，支持 TEXT_ONLY 和 JSON_OBJECT，用于控制输出是否为结构化 JSON。

2. `ChatClient`

prompt: 输入提示模板，通过 .text() 方法指定，支持占位符替换。
systemSpec: 系统角色指令，用于引导模型行为。
param(): 用于动态替换模板中的变量。

3. `TikaDocumentReader`

支持多种文档格式（PDF、DOCX、XLSX 等）的内容提取。
自动去除格式标签，仅保留纯文本内容。

四、测试验证与结果比对

1. 文件上传测试

输入文件： 包含一段长篇技术文章的 PDF 文档。
预期输出： 自动生成摘要，包含各段落摘要及全文摘要。

实际输出：

【段落一】介绍了深度学习的基本概念及其在图像识别中的应用...
【段落二】讨论了Transformer模型的优势及其在NLP任务中的表现...
【全文摘要】本文综述了当前主流的深度学习模型及其在多个领域的应用现状...

2. 结构化输出测试

请求路径： /example/stream/json/play

返回示例：

{
  "name": "通义千问",
  "version": "2.5",
  "description": "阿里巴巴集团旗下的超大规模语言模型",
  "abilities": ["问答", "写作", "编程", "翻译"],
  "languages": ["中文", "英文", "法语", "西班牙语"],
  "company": "阿里云",
  "birthday": "2023-04-07",
  "location": "杭州"
}