架构思维：构建高并发读服务_基于流量回放实现读服务的自动化测试回归方案

news2025/5/9 18:26:23

文章目录

  • 引言
  • 一、升级读服务架构，为什么需要自动化测试？
  • 二、自动化回归测试系统：整体架构概览
  • 三、日志收集
    • 1. 拦截方式
    • 2. 存储与优化策略
    • 3. 架构进化
  • 四、数据回放
    • 技术实现
    • 关键能力
  • 五、差异对比
    • 对比方式
    • 灵活配置
  • 六、三种回放模式详解
    • 1. 离线回放
    • 2. 实时回放（对比新旧服务）
    • 3. 无录制实时回放
  • 七、使用注意事项与最佳实践
  • 八、模拟核心Code
  • 九、小结

在这里插入图片描述

引言

在高并发读服务的架构优化过程中，我们往往关注系统如何抗压、如何缓存命中率更高，甚至在性能提升方案落实后迅速投入重构。然而，在这一过程中，容易被忽略的一环就是“测试回归”。

接下来我们将从实际落地角度，系统性地介绍一种支持读服务快速升级、业务稳定推进的「自动化测试回归系统架构」方案，构建一套覆盖全量场景、支持自助回归的自动化测试体系。

一、升级读服务架构，为什么需要自动化测试？

假设我们已落地了支持高并发的读服务架构，包括懒加载缓存、全量缓存、数据同步机制等。但读服务的升级改造带来的“回归压力”却是另一种挑战：

  • 架构重构往往影响范围广，测试周期按“月”计。
  • 日常需求中即便仅修改部分接口逻辑，也可能因底层复用代码影响其他未修改接口，造成线上 Bug。

新老版本的接口未变架构图

在这里插入图片描述

解决这类回归测试痛点，最优解是：自动化测试系统。这不仅提升了测试效率，也为系统升级提供了「安全缓冲带」。

二、自动化回归测试系统：整体架构概览

自动化测试回归系统的核心由三个模块组成：

  1. 日志收集：拦截线上请求，记录请求参数和响应数据，生成“真实用户用例”。
  2. 数据回放：基于收集的请求数据，自动向新旧服务发起请求，触发真实的业务流程。
  3. 差异对比：将新老版本的响应结果进行对比，捕捉潜在 Bug。

在这里插入图片描述

三、日志收集

基于过滤器的日志收集架构图

在这里插入图片描述

1. 拦截方式

  • HTTP 接口：基于 Spring 的 Interceptor 或 Servlet 的 Filter 拦截。
  • RPC 接口：拦截 RPC 框架底层通信逻辑（如 Dubbo 的 Filter）。

拦截的请求被封装为统一格式：

{
  "应用名": "XXX",
  "接口方法名": "/api/order/detail",
  "入参": "{...}",
  "出参": "{...}"
}

这些日志通过 MQ 推送至回归平台进行存储与处理。

2. 存储与优化策略

  • 接口元数据存储在关系型数据库
  • 大体量出入参数据存储在如 HBase 等高吞吐的 NoSQL
  • 提供去重、清洗、采样功能，避免数据爆炸性增长
  • 非业务环境如压测数据需剔除

3. 架构进化

单独进程的日志收集架构图

在这里插入图片描述

  • 同进程采集：轻量集成，但存在侵入性
  • 独立进程采集：将日志打印至文件，由单独进程监听并推送 MQ，降低业务系统资源占用

四、数据回放

数据回放模块模拟用户请求，通过原始日志数据中的入参信息，重放请求以获得当前版本的响应数据。

在这里插入图片描述

技术实现

  • HTTP 接口：使用 RestTemplate、OkHttp、Apache HttpClient 等发起请求
  • RPC 接口：基于 RPC 框架提供的泛化调用能力构造请求

关键能力

  • 多线程并发执行，支持批量回放
  • 回放任务可手动触发，也可通过策略定时运行
  • 支持失败重试与限流策略，避免压垮被测服务

五、差异对比

对比模块将原始接口返回值与当前版本的回放结果进行对比，判断是否存在行为变更。

对比方式

  • 文本对比（推荐）：将返回结果转为 JSON 结构，逐字段比对
  • 校验和对比（不推荐）：判断整体一致性但缺乏定位能力

灵活配置

  • 支持忽略字段配置（如 UUID、traceId）
  • 支持字段级别容差设置（如时间戳误差容忍 3s）

六、三种回放模式详解

不同业务阶段与环境下，可以灵活选择回放模式：

1. 离线回放

仅调用新版本服务，使用历史日志作为“期望值”。

在这里插入图片描述

优点：不影响线上系统
缺点：若数据发生变化，对比结果失效

2. 实时回放（对比新旧服务）

手动触发后，分别调用新旧版本，实时比较返回数据。

在这里插入图片描述

优点：规避数据变更问题，结果更真实
缺点：两次调用增加系统负载

3. 无录制实时回放

完全实时处理：日志一进入消费队列即触发双版本回放与对比。

在这里插入图片描述

优点：最强覆盖率，避免重要场景被采样遗漏
缺点：性能压力较大，需在资源允许下谨慎使用

七、使用注意事项与最佳实践

  • 屏蔽写接口：避免写接口等副作用操作回放引发业务混乱
  • 合理限流：对线上环境回放要设限流阈值
  • 数据存储生命周期：入参/出参数据定期清理，避免存储崩溃
  • 差异字段管控：灵活配置忽略项，避免误报
  • 自动告警机制：支持对比失败数据告警与可视化管理

八、模拟核心Code

package com.example.autotest;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class AutoTestApplication {
    public static void main(String[] args) {
        SpringApplication.run(AutoTestApplication.class, args);
    }
}

// 1. 日志收集 - Spring Interceptor
package com.example.autotest.interceptor;

import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import org.springframework.stereotype.Component;
import org.springframework.web.servlet.HandlerInterceptor;
import com.alibaba.fastjson.JSON;
import org.springframework.beans.factory.annotation.Autowired;
import com.example.autotest.mq.LogProducer;

@Component
public class LoggingInterceptor implements HandlerInterceptor {

    @Autowired
    private LogProducer logProducer;

    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) {
        // 记录请求时间、请求体等
        RequestContextHolder.start();
        return true;
    }

    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) {
        LogRecord record = new LogRecord();
        record.setAppName("order-service");
        record.setApi(request.getRequestURI());
        record.setRequestBody(RequestContextHolder.getRequestBody());
        record.setResponseBody(RequestContextHolder.getResponseBody());
        // 推送到 MQ
        logProducer.send(JSON.toJSONString(record));
    }
}

// 2. MQ 生产者
package com.example.autotest.mq;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

@Component
public class LogProducer {
    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;
    public void send(String message) {
        kafkaTemplate.send("auto-test-logs", message);
    }
}

// 3. 日志消费 & 回放触发
package com.example.autotest.consumer;

import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Service;
import com.alibaba.fastjson.JSON;
import com.example.autotest.model.LogRecord;
import com.example.autotest.replay.ReplayService;

@Service
public class LogConsumer {

    private final ReplayService replayService;

    public LogConsumer(ReplayService replayService) {
        this.replayService = replayService;
    }

    @KafkaListener(topics = "auto-test-logs")
    public void listen(String message) {
        LogRecord record = JSON.parseObject(message, LogRecord.class);
        // 异步触发回放
        replayService.submit(record);
    }
}

// 4. 回放服务
package com.example.autotest.replay;

import com.example.autotest.model.LogRecord;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import org.springframework.stereotype.Service;
import org.springframework.web.client.RestTemplate;
import com.alibaba.fastjson.JSON;

@Service
public class ReplayService {
    private final ExecutorService executor = Executors.newFixedThreadPool(20);
    private final RestTemplate restTemplate = new RestTemplate();

    public void submit(LogRecord record) {
        executor.submit(() -> {
            // 调用旧版接口
            String oldRes = restTemplate.postForObject(record.getApi(), record.getRequestBody(), String.class);
            // 调用新版接口（假设前缀不同）
            String newApi = record.getApi().replace("/v1/", "/v2/");
            String newRes = restTemplate.postForObject(newApi, record.getRequestBody(), String.class);
            // 对比结果
            DiffResult diff = JsonDiffComparator.compare(record.getResponseBody(), newRes);
            if (!diff.isEqual()) {
                // 记录差异或报警
                System.err.println("Data mismatch on API " + record.getApi() + ": " + diff.getDetails());
            }
        });
    }
}

// 5. 差异对比工具
package com.example.autotest.replay;

import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.flipkart.zjsonpatch.JsonDiff;

public class JsonDiffComparator {
    private static final ObjectMapper mapper = new ObjectMapper();

    public static DiffResult compare(String expectedJson, String actualJson) {
        try {
            JsonNode e = mapper.readTree(expectedJson);
            JsonNode a = mapper.readTree(actualJson);
            JsonNode patch = JsonDiff.asJson(e, a);
            if (patch.size() == 0) {
                return new DiffResult(true, null);
            }
            return new DiffResult(false, patch.toString());
        } catch (Exception ex) {
            throw new RuntimeException(ex);
        }
    }
}

// 6. 差异结果模型
package com.example.autotest.replay;

public class DiffResult {
    private final boolean equal;
    private final String details;

    public DiffResult(boolean equal, String details) {
        this.equal = equal;
        this.details = details;
    }

    public boolean isEqual() { return equal; }
    public String getDetails() { return details; }
}

九、小结

通过日志收集、数据回放和差异对比三大模块的组合，读服务的测试回归过程实现了自动化、精细化、可视化，彻底摆脱“人工全量测试回归”的低效流程，极大地提升了系统重构与业务迭代的安全性与效率。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2371691.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Qt实现车载多媒体项目，包含天气、音乐、视频、地图、五子棋功能模块，免费下载源文件！

Qt实现车载多媒体项目，包含天气、音乐、视频、地图、五子棋功能模块，免费下载源文件！

本文主要介绍项目&#xff0c;项目的结构&#xff0c;项目如何配置&#xff0c;项目如何打包。这篇文章如果对你有帮助请点赞和收藏&#xff0c;谢谢&#xff01;源代码仅供学习使用&#xff0c;如果转载文章请标明出处&#xff01;&#xff08;免费下载源代码&#xff09;&…
阅读更多...
【PostgreSQL】超简单的主从节点部署

【PostgreSQL】超简单的主从节点部署

1. 启动数据库 启动主节点 docker run --name postgres-master -e POSTGRES_PASSWORDmysecretpassword -p 5432:5432 -d postgres启动从节点 docker run --name postgres-slave -e POSTGRES_PASSWORDmysecretpassword -p 5432:5432 -d postgres需要配置挂载的存储卷 2. 数据…
阅读更多...
zotero pdf中英翻译插件使用

zotero pdf中英翻译插件使用

最近发现一个pdf中英翻译的神器zotero-pdf2zh&#xff0c;按照官方安装教程走一遍的时候&#xff0c;发现一些流程不清楚的问题&#xff0c; 此文就是整理一些安装需要的文件以及遇到的问题&#xff1a; 相关文件下载地址 Zotero 是一款免费的、开源的文献管理工具&#xff0…
阅读更多...
WSL（Windows Subsystem for Linux）入门

WSL（Windows Subsystem for Linux）入门

目录 1.简介2.安装与配置3.常用命令4.进阶使用4.1 文件系统交互4.2 网络互通4.3 配置代理4.4 运行 GUI 程序4.5 Docker 集成 1.简介 WSL 是 Windows 系统内置的 Linux 兼容层&#xff0c;允许直接在 Windows 中运行 Linux 命令行工具和应用程序&#xff0c;无需虚拟机或双系统…
阅读更多...
Python项目73：自动化文件备份系统1.0（tkinter）

Python项目73：自动化文件备份系统1.0（tkinter）

主要功能说明&#xff1a; 1.界面组件&#xff1a;源文件夹和目标文件夹选择&#xff08;带浏览按钮&#xff09;&#xff0c;备份间隔时间设置&#xff08;分钟&#xff09;&#xff0c;立即备份按钮&#xff0c;自动备份切换按钮&#xff0c;状态栏显示备份状态。 2.进度条显…
阅读更多...
C++:扫雷游戏

C++:扫雷游戏

一.扫雷游戏项目设计 1.文件结构设计 首先我们要先定义三个文件 ①test.c //文件中写游戏的测试逻辑 ②game.c //文件中写游戏中函数的实现等 ③game.h //文件中写游戏需要的数据类型和函数声明等 2.扫雷游戏的主体结构 使⽤控制台实现经典的扫雷游戏 •游戏可以通过菜单…
阅读更多...
使用xlwings将excel表中将无规律的文本型数字批量转化成真正的数字

使用xlwings将excel表中将无规律的文本型数字批量转化成真正的数字

之前我写了一篇文章excel表中将无规律的文本型数字批量转化成真正的数字-CSDN博客 是使用excel自带的操作&#xff0c;相对繁琐。 今天使用xlwings操作&#xff0c;表格如下&#xff08;有真正的数字&#xff0c;也有文本型数字&#xff0c;混在在一起&#xff09;&#xff1…
阅读更多...
文件包含 任意文件读取

文件包含 任意文件读取

文件处理漏洞--文件包含 - wizard骑士 - 博客园 1&#xff0c;什么是文件包含 程序开发人员一般会吧重复使用的函数写道单个文件中&#xff0c;需要使用某个函数时直接调用此文件&#xff0c;无需再次编写&#xff0c;文件调用的过程就是文件包含&#xff0c;所以将包含的文件…
阅读更多...
缓存套餐-01.Spring Cache介绍和常用注解

缓存套餐-01.Spring Cache介绍和常用注解

一.Spring Cache 要使用直接导入坐标即可。 如何选择底层的缓存实现呢&#xff1f;只要导入对应的缓存坐标即可。如果要使用redis作为缓存实现&#xff0c;那么只需要导入redis的maven坐标。 二.常用注解 Cacheable&#xff1a;不光往缓存中写缓存数据&#xff0c;而且会从缓…
阅读更多...
C++类与对象—下:夯实面向对象编程的阶梯

C++类与对象—下:夯实面向对象编程的阶梯

9. 赋值运算符重载 9.1 运算符重载 在 C 里&#xff0c;运算符重载能够让自定义类型的对象像内置类型那样使用运算符&#xff0c;这极大地提升了代码的可读性与可维护性。运算符重载本质上是一种特殊的函数&#xff0c;其函数名是 operator 加上要重载的运算符。 下面是运算…
阅读更多...
Linux中安装mysql8，转载及注意事项

Linux中安装mysql8，转载及注意事项

一、先前往官网下载mysql8 下载地址&#xff1a; https://dev.mysql.com/downloads/选择Linux 二、删除Linux中的mysql&#xff08;如果有的话&#xff09;&#xff0c;上传安装包 1、先查看mysql是否存在&#xff0c;命令如下&#xff1a; rpm -qa|grep -i mysql如果使用这…
阅读更多...
SpringBoot的汽车商城后台管理系统源码开发实现

SpringBoot的汽车商城后台管理系统源码开发实现

概述 汽车商城后台管理系统专为汽车4S店和经销商设计&#xff0c;提供全面的汽车管理系统解决方案。 主要内容 1. 核心功能模块 系统提供以下主要功能&#xff1a; ​​销售管理​​&#xff1a;记录销售信息&#xff0c;跟踪交易进度​​客户管理​​&#xff1a;维护客户…
阅读更多...
DeepSeek实战--手搓实现Agent

DeepSeek实战--手搓实现Agent

1.背景 要学习AI agent&#xff0c;只会用agent 框架&#xff0c;还不够&#xff0c;一旦框架出现问题&#xff0c;没法快速的排查出问题。 学习就应该“知其然&#xff0c;更应该知其所以然” &#xff0c;今天我们就用编码的方式实现一个简单的agent 。我们模拟一套AI学生评…
阅读更多...
线性代数——行列式⭐

线性代数——行列式⭐

目录 一、行列式的定义⭐ 1-1、三阶行列式练习 1-2、下面介绍下三角行列式、上三角行列式、对角行列式 ​编辑 二、行列式的性质 2-1、性质1&#xff0c;2&#xff0c;3&#xff0c;4&#xff0c;5&#xff0c;6 ​编辑 2-2、性质7 2- 3、拉普拉斯定理、克莱姆法则 三…
阅读更多...
iPhone手机连接WiFi异常解决方法

iPhone手机连接WiFi异常解决方法

iPhone手机连接WiFi异常解决方法 一、问题现象二、iPhone连不上可能的原因三、基础排查与快速修复第一步：重启大法第二步：忽略网络，重新认证第三步：关闭“私有无线局域网地址”第四步：修改DNS服务器第五步：还原网络设置四、路由器端排查及设置关闭MAC地址过滤或添加到白名…
阅读更多...
学习设计模式《八》——原型模式

学习设计模式《八》——原型模式

一、基础概念 原型模式的本质是【克隆生成对象】&#xff1b; 原型模式的定义&#xff1a;用原型实例指定创建对象的种类&#xff0c;并通过拷贝这些原型创建新的对象 。 原型模式的功能&#xff1a; 1、通过克隆来创建新的对象实例&#xff1b; 2、为克隆出来的新对象实例复制…
阅读更多...
疗愈服务预约小程序源码介绍

疗愈服务预约小程序源码介绍

基于ThinkPHP、FastAdmin和UniApp开发的疗愈服务预约小程序源码&#xff0c;这款小程序在功能设计和用户体验上都表现出色&#xff0c;为疗愈行业提供了一种全新的服务模式。 该小程序源码采用了ThinkPHP作为后端框架&#xff0c;保证了系统的稳定性和高效性。同时&#xff0c…
阅读更多...
【随笔】Google学术：but your computer or network may be sending automated queries.

【随笔】Google学术：but your computer or network may be sending automated queries.

文章目录 一、问题复述二、问题原因三、解决 前提&#xff1a;你的xxx是自己做的&#xff0c;你自己可以管理&#xff0c;而不是用的那些劣质✈场。 一、问题复述 &#x1f7e2;如下图所示&#xff1a;可以打开谷歌学术&#xff0c;但是一搜索就是这个界面。 二、问题原因 …
阅读更多...
长事务：数据库中的“隐形炸弹“——金仓数据库运维避坑指南

长事务：数据库中的“隐形炸弹“——金仓数据库运维避坑指南

引言&#xff1a;凌晨三点的告警 "张工&#xff01;生产库又告警了&#xff01;"凌晨三点的电话铃声总是格外刺耳。运维团队发现数据库频繁进入单用户模式&#xff0c;排查发现某核心表的年龄值&#xff08;Age&#xff09;已突破20亿大关。经过一夜奋战&#xff0c…
阅读更多...
ubuntu nobel + qt5.15.2 设置qss语法识别正确

ubuntu nobel + qt5.15.2 设置qss语法识别正确

问题展示 解决步骤 首选项里面的高亮怎么编辑选择都没用。如果已经有generic-highlighter和css.xml&#xff0c;直接修改css.xml文件最直接&#xff01; 在generic-highlighter目录下找到css.xml文件&#xff0c;位置是&#xff1a;/opt/Qt/Tools/QtCreator/share/qtcreator/…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023