C++ - 仿 RabbitMQ 实现消息队列（1）（环境搭建）

news2025/7/18 23:43:08

C++ - 仿 RabbitMQ 实现消息队列（1）（环境搭建）

  • 什么是消息队列
      • 核心特点
      • 核心组件
      • 工作原理
      • 常见消息队列实现
      • 应用场景
      • 优缺点
  • 项目配置
    • 开发环境
    • 技术选型
  • 更换软件源
  • 安装一些工具
    • 安装epel 软件源
    • 安装 lrzsz 传输工具
    • 安装git
    • 安装 cmake
    • 安装 SQLite3
    • 安装GTest
  • 安装高版本 gcc/g++编译器
      • 1. 确认可用的 GCC 工具集版本
      • 2. 安装默认的 GCC 工具集
      • 3. 正确的启用方式
      • 4. 永久启用（可选）
  • 安装Protobuf
      • 1. 解压源码包
      • 2. 进入源码目录
      • 3. 生成配置脚本
      • 4. 配置编译选项
      • 5. 编译源码
      • 6. 安装到系统
      • 7. 更新动态库缓存
      • 完整流程总结
      • 验证安装
  • 安装 Muduo

我们今天来开一个新的项目仿 RabbitMQ 实现消息队列，这个项目更加接近公司的开发流程，开发和测试各个方面都会涉及到。不过在这之前，我们先来了解一下什么是消息队列，消息队列是用来干嘛的。

什么是消息队列

消息队列（Message Queue）是一种用于在分布式系统或应用程序之间传递消息的通信机制，它通过一个中间存储结构（队列）来管理消息的传递，允许发送方和接收方以异步的方式交互。消息队列的核心作用是解耦生产者和消费者，提升系统的可扩展性、可靠性和性能。

核心特点

  1. 解耦性
    生产者（发送方）和消费者（接收方）无需直接通信，也无需知道彼此的存在。双方通过消息队列进行交互，降低了系统间的耦合度。

  2. 异步通信
    生产者将消息发送到队列后，无需等待消费者立即处理，可以继续执行其他任务。消费者可以按自己的节奏处理消息，提高系统响应速度。

  3. 削峰填谷
    在流量高峰时，消息队列可以缓冲大量请求，避免系统过载。消费者可以逐步处理队列中的消息，平稳系统负载。

  4. 可靠性
    消息队列通常提供持久化存储，即使消费者崩溃或网络中断，消息也不会丢失，确保数据不丢失。

核心组件

  1. 生产者（Producer）
    负责生成消息并将其发送到消息队列中。

  2. 消息队列（Message Queue）
    中间存储结构，用于临时存储消息，支持消息的持久化、排序和分发。

  3. 消费者（Consumer）
    从消息队列中获取消息并进行处理。

工作原理

  1. 生产者发送消息：生产者将消息发送到指定的队列中。
  2. 消息存储：消息队列将消息持久化存储，等待消费者处理。
  3. 消费者拉取或推送消息：消费者从队列中获取消息（拉取模式）或通过订阅机制接收消息（推送模式）。
  4. 消息处理：消费者处理消息，并可能返回处理结果。
  5. 消息确认（可选）：消费者处理完成后，向消息队列发送确认信号，队列可以删除或标记消息为已处理。

常见消息队列实现

  1. RabbitMQ

    • 基于AMQP协议的开源消息代理，支持多种消息模式（如发布/订阅、路由、主题）。
    • 适合需要灵活路由和复杂消息模式的场景。

  2. Kafka

    • 高吞吐量的分布式消息系统，常用于大数据和实时流处理。
    • 支持持久化日志、分区和副本，适合大规模数据处理。

  3. ActiveMQ

    • 基于JMS规范的开源消息代理，支持多种协议（如AMQP、STOMP、MQTT）。
    • 适合企业级应用和集成场景。

  4. Redis Stream

    • Redis 5.0引入的流数据结构，支持简单的消息队列功能。
    • 适合轻量级、低延迟的场景。

  5. Amazon SQS/Azure Service Bus

    • 云服务提供商提供的托管消息队列服务，适合云原生应用。

应用场景

  1. 异步任务处理
    例如：用户注册后发送欢迎邮件、订单处理后更新库存。

  2. 应用解耦
    例如：电商系统中，订单服务、支付服务和物流服务通过消息队列解耦。

  3. 流量削峰
    例如：秒杀活动中，将用户请求暂存到消息队列，后台服务逐步处理。

  4. 日志处理
    例如：将应用日志发送到消息队列，由日志收集服务统一处理。

  5. 事件驱动架构
    例如：微服务架构中，服务之间通过事件消息进行通信。

优缺点

优点：

  • 解耦生产者和消费者，降低系统复杂度。
  • 支持异步通信，提高系统响应速度。
  • 提供削峰填谷能力，增强系统稳定性。
  • 支持消息持久化，确保数据不丢失。

缺点：

  • 引入了额外的组件，增加了系统复杂度。
  • 消息顺序和重复消费等问题需要额外处理。
  • 消息队列本身可能成为性能瓶颈（需合理设计）。

我们这次的项目围绕着RabbitMQ 模拟实现一个简单的消息队列

项目配置

开发环境

组件版本/工具
操作系统CentOS9 / Ubuntu-22.04
代码编辑器VSCode / Vim
编译调试工具g++ / gdb
构建工具Makefile

技术选型

类别选择
开发主语言C++
序列化框架Protobuf 二进制序列化
网络通信方案自定义应用层协议 + muduo库（推荐，适用于TCP长连接及高并发场景）
或者自定义应用层协议 + 原生socket（复杂度较高）
数据库SQLite3
单元测试框架Gtest

更换软件源

首先，我们得要首先把软件源换成国内的，如果使用系统本身的软件源，就要访问国外的网站，速度会非常慢。

我们换成清华大学的镜像源：

https://mirrors.tuna.tsinghua.edu.cn/

在这里插入图片描述
执行以下的代码：

sudo tee /etc/yum.repos.d/CentOS-Stream.repo << 'EOF'
[baseos]
name=CentOS Stream 9 - BaseOS (Tsinghua)
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-stream/9-stream/BaseOS/x86_64/os/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficial

[appstream]
name=CentOS Stream 9 - AppStream (Tsinghua)
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-stream/9-stream/AppStream/x86_64/os/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficial

[extras]
name=CentOS Stream 9 - Extras (Tsinghua)
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-stream/SIGs/9-stream/extras/x86_64/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficial
EOF

这段代码是在配置 CentOS Stream 9 的 YUM 软件仓库（repository），具体作用如下：

  1. 使用 sudo tee 命令将后面的内容写入 /etc/yum.repos.d/CentOS-Stream.repo 文件（需要管理员权限）
  2. << 'EOF' 表示将后续内容作为标准输入，直到遇到 EOF 结束标记
  3. 文件内容配置了三个软件源仓库：
    • [baseos]：基础操作系统软件包
    • [appstream]：应用程序包
    • [extras]：额外软件包

每个仓库配置包含：

  • name：仓库描述名称（标明是清华镜像源）
  • baseurl：指定软件包的下载地址（使用清华大学开源镜像站）
  • gpgcheck=1：启用 GPG 签名验证
  • gpgkey：指定 GPG 密钥位置用于验证软件包

这样配置后，当你使用 yum 或 dnf 命令安装软件时，系统会从清华大学的镜像站点下载 CentOS Stream 9 的软件包，速度会比官方源更快（特别是在中国境内）。

注意：这段代码会覆盖同名的现有仓库配置文件，如果之前有其他配置会被替换。

大家注意一下三个部分的baseurl，如果路径不对，是会失败的，这里给大家指明一下路径：

baseos的baseurl：

https://mirrors.tuna.tsinghua.edu.cn/centos-stream/9-stream/BaseOS/x86_64/

在这里插入图片描述
appstream的baseurl：

https://mirrors.tuna.tsinghua.edu.cn/centos-stream/9-stream/AppStream/x86_64/os/

在这里插入图片描述
extras的baseurl：

https://mirrors.tuna.tsinghua.edu.cn/centos-stream/SIGs/9-stream/extras/x86_64/

在这里插入图片描述

安装一些工具

安装epel 软件源

sudo dnf install epel-release

安装 lrzsz 传输工具

sudo dnf install lrzsz

在这里插入图片描述

安装git

sudo dnf install git

在这里插入图片描述
在这里插入图片描述

安装 cmake

sudo dnf install cmake

在这里插入图片描述

安装 SQLite3

sudo dnf install sqlite-devel

在这里插入图片描述

安装GTest

sudo dnf install gtest gtest-devel

ls /usr/include/gtest/gtest.h

在这里插入图片描述

安装高版本 gcc/g++编译器

在 CentOS Stream 9 中，gcc-toolset-11 可能不再直接提供，或者它的包名称/仓库配置发生了变化。以下是解决方案：

1. 确认可用的 GCC 工具集版本

运行以下命令查看当前可用的 GCC 相关包：

dnf search gcc-toolset

在这里插入图片描述
我们这里选择12版本

2. 安装默认的 GCC 工具集

CentOS Stream 9 可能默认提供 GCC Toolset 12 或更高版本：

sudo dnf install gcc-toolset-12

3. 正确的启用方式

在 CentOS Stream 9 中，gcc-toolset-12 不再通过 module load 启用，而是通过 直接加载环境变量：

source /opt/rh/gcc-toolset-12/enable

然后验证 GCC 版本：

gcc --version

在这里插入图片描述

4. 永久启用（可选）

如果希望每次登录自动启用，可以将以下内容添加到 ~/.bashrc：

echo 'source /opt/rh/gcc-toolset-12/enable' >> ~/.bashrc
source ~/.bashrc

安装Protobuf

这里建议大家先在windows上下好了传到Linux上：
在这里插入图片描述

下载链接（如果有VPN，可以开一个，下得快）：

https://github.com/protocolbuffers/protobuf/releases/download/v3.2
0.2/protobuf-all-3.20.2.tar.gz

在这里插入图片描述
然后执行以下代码：

tar -xzf protobuf-all-21.12.tar.gz
cd protobuf-21.12
./autogen.sh
./configure
make -j$(nproc)
sudo make install
sudo ldconfig

这段代码是用于从源码编译并安装 Protocol Buffers (Protobuf) 的完整流程。Protobuf 是 Google 开发的一种高效的数据序列化格式，广泛用于网络通信和数据存储。以下是每一步的详细解释：

1. 解压源码包

tar -xzf protobuf-all-21.12.tar.gz
  • 作用：解压名为 protobuf-all-21.12.tar.gz 的压缩包。
  • 参数说明：
    • -x：解压文件。
    • -z：使用 gzip 解压（针对 .tar.gz 文件）。
    • -f：指定文件名。
  • 结果：生成 protobuf-21.12 目录，包含 Protobuf 的源码。

2. 进入源码目录

cd protobuf-21.12
  • 作用：切换到解压后的 Protobuf 源码目录，准备进行编译。

3. 生成配置脚本

./autogen.sh
  • 作用：运行 autogen.sh 脚本，生成 configure 文件（如果源码包未提供预生成的 configure 文件）。
  • 适用场景：
    某些开源项目（如 Protobuf）使用 autotools 构建系统，需要先运行 autogen.sh 生成 configure 脚本。

4. 配置编译选项

./configure
  • 作用：运行 configure 脚本，检测系统环境（如编译器、库路径等），并生成 Makefile。
  • 关键行为：
    • 检查系统是否安装了必要的依赖（如 g++、make、libtool 等）。
    • 生成针对当前系统的编译配置（如优化选项、安装路径等）。
  • 自定义选项：
    可以通过参数指定安装路径（如 ./configure --prefix=/usr/local/protobuf）。

5. 编译源码

make -j$(nproc)
  • 作用：使用 make 编译 Protobuf 源码。
  • 参数说明：
    • -j$(nproc)：启用多线程编译，$(nproc) 自动获取 CPU 核心数，加速编译过程。
  • 结果：生成可执行文件和库（如 protoc 编译器、libprotobuf.so 等）。

6. 安装到系统

sudo make install
  • 作用：将编译好的 Protobuf 文件安装到系统目录（如 /usr/local/bin、/usr/local/lib）。
  • 权限要求：需要 sudo 权限，因为安装到系统目录需要管理员权限。
  • 安装内容：
    • 可执行文件（如 protoc）安装到 /usr/local/bin。
    • 库文件（如 libprotobuf.*）安装到 /usr/local/lib。
    • 头文件安装到 /usr/local/include。

7. 更新动态库缓存

sudo ldconfig
  • 作用：更新系统的动态库缓存，使新安装的 Protobuf 库（libprotobuf.so）能被系统识别。
  • 必要性：
    如果不运行 ldconfig，程序在运行时可能找不到新安装的库，导致报错（如 libprotobuf.so: cannot open shared object file）。

完整流程总结

  1. 解压源码：tar -xzf protobuf-all-21.12.tar.gz
  2. 进入目录：cd protobuf-21.12
  3. 生成配置脚本：./autogen.sh
  4. 配置环境：./configure
  5. 编译代码：make -j$(nproc)
  6. 安装到系统：sudo make install
  7. 更新库缓存：sudo ldconfig

验证安装

安装完成后，可以通过以下命令验证 Protobuf 是否安装成功：

protoc --version  # 检查 protoc 版本

如果输出版本号（如 libprotoc 3.21.12），则安装成功。

安装 Muduo

先获取一下zip包：

wget https://gitee.com/hansionz/mq/raw/master/resource/muduo-master.zip

在这里插入图片描述

unzip muduo-master.zip
cd muduo-master

Muduo 需要以下依赖：

sudo dnf install -y gcc-c++ cmake make \
    boost-devel openssl-devel protobuf-devel \
    zlib-devel curl-devel

然后进行编译

# 进入 Muduo 源码目录
cd muduo-master

# 使用 CMake 构建
mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Release ..  # 推荐 Release 模式
make -j$(nproc)  # 并行编译

最后进行安装：

sudo make install

在这里插入图片描述

然后进入到bin目录我们可以来测试一下：
在这里插入图片描述
执行：

./protobuf_server 9091

在这里插入图片描述
然后复制SSH渠道，执行：

./protobuf_client 0.0.0.0 9091

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2373213.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

RK3568-OpenHarmony(1) : OpenHarmony 5.1的编译

RK3568-OpenHarmony(1) : OpenHarmony 5.1的编译

概述: 本文主要描述了&#xff0c;如何在ubuntu-20.04操作系统上&#xff0c;编译RK3568平台的OpenHarmony 5.1版本。 搭建编译环境 a. 安装软件包 sudo apt-get install git-lfs ruby genext2fs build-essential git curl libncurses5-dev libncursesw5-dev openjdk-11-jd…
阅读更多...
eFish-SBC-RK3576工控板外部RTC测试操作指南

eFish-SBC-RK3576工控板外部RTC测试操作指南

备注&#xff1a; 1&#xff09;测试时一定要接电池&#xff0c;否则外部RTC断电后无法工作导致测试失败&#xff1b; 2&#xff09;如果连接了网络&#xff0c;系统会自动同步NTP时钟&#xff0c;所以需要关闭自动同步时钟。 关闭自动同步NTP时钟方法&#xff1a; 先查看是…
阅读更多...
vue3的深入组件-组件 v-model

vue3的深入组件-组件 v-model

组件 v-model 基本用法​ v-model 可以在组件上使用以实现双向绑定。 从 Vue 3.4 开始&#xff0c;推荐的实现方式是使用 defineModel() 宏&#xff1a; <script setup> const model defineModel()function update() {model.value } </script><template>…
阅读更多...
【MySQL】数据库、数据表的基本操作

【MySQL】数据库、数据表的基本操作

个人主页&#xff1a;Guiat 归属专栏&#xff1a;MySQL 文章目录 1. MySQL基础命令1.1 连接MySQL1.2 基本命令概览 2. 数据库操作2.1 创建数据库2.2 查看数据库2.3 选择数据库2.4 修改数据库2.5 删除数据库2.6 数据库备份与恢复 3. 表操作基础3.1 创建表3.2 查看表信息3.3 创建…
阅读更多...
TCP的连接管理

TCP的连接管理

三次握手 什么是三次握手&#xff1f; 1. 第一次握手&#xff08;客户端 → 服务器&#xff09; 客户端发送一个 SYN 报文&#xff0c;请求建立连接。 报文中包含一个初始序列号 SEQ x。 表示&#xff1a;我想和你建立连接&#xff0c;我的序列号是 x。 2. 第二次握手&a…
阅读更多...
初识Linux · 传输层协议TCP · 下

初识Linux · 传输层协议TCP · 下

目录 前言&#xff1a; 滑动窗口和流量控制机制 流量控制 滑动窗口 1.滑动窗口如何移动 2.滑动窗口的大小如何变化的 3.如果发生了丢包如何解决&#xff08;快重传&#xff09; 拥塞控制 延迟应答 面向字节流 RST PSH URG 什么是 PSH&#xff1f; 什么是 URG&…
阅读更多...
什么是分布式光伏系统？屋顶分布式光伏如何并网？

什么是分布式光伏系统？屋顶分布式光伏如何并网？

政策窗口倒计时&#xff01;分布式光伏如何破局而立&#xff1f; 2025年&#xff0c;中国分布式光伏行业迎来关键转折&#xff1a; ▸ "430"落幕——抢装潮收官&#xff0c;但考验才刚开始&#xff1b; ▸ "531"生死线——新增项目全面市场化交易启动&…
阅读更多...
完整进行一次共线性分析

完整进行一次共线性分析

&#xff08;随便找个基因家族&#xff09; 1.数据收集 使用水稻、拟南芥、玉米三种作物进行示例 可以直接去ensemble去找最标准的基因组fasta文件和gff文件。 2.预处理数据 这里对于fasta和gff数据看情况要不要过滤掉线粒体叶绿体的基因&#xff0c;数据差异非常大&#…
阅读更多...
RabbitMQ--基础篇

RabbitMQ--基础篇

RabbitMQ 简介&#xff1a;RabbitMQ 是一种开源的消息队列中间件&#xff0c;你可以把它想象成一个高效的“邮局”。它专门负责在不同应用程序之间传递消息&#xff0c;让系统各部分能松耦合地协作 优势&#xff1a; 异步处理&#xff1a;比如用户注册后&#xff0c;主程序将发…
阅读更多...
Quorum协议原理与应用详解

Quorum协议原理与应用详解

一、Quorum 协议核心原理 基本定义 Quorum 是一种基于 读写投票机制 的分布式一致性协议&#xff0c;通过权衡一致性&#xff08;C&#xff09;与可用性&#xff08;A&#xff09;实现数据冗余和最终一致性。其核心规则为&#xff1a; W&#xff08;写成功副本数&#xff09; …
阅读更多...
vue搭建+element引入

vue搭建+element引入

vue搭建element 在使用Vue.js开发项目时&#xff0c;经常会选择使用Element UI作为UI框架&#xff0c;因为它提供了丰富的组件和良好的设计&#xff0c;可以大大提高开发效率。以下是如何在Vue项目中集成Element UI的步骤&#xff1a; 1. 创建Vue项目 如果你还没有创建Vue项…
阅读更多...
食物数据分析系统vue+flask

食物数据分析系统vue+flask

食物数据分析系统 项目概述 食物数据分析系统是一个集食物营养成分查询、对比分析和数据可视化于一体的Web应用。系统采用前后端分离架构&#xff0c;为用户提供食物营养信息检索、食物对比和营养分析等功能&#xff0c;帮助用户了解食物的营养成分&#xff0c;做出更健康的饮…
阅读更多...
SPDK NVMe of RDMA 部署

SPDK NVMe of RDMA 部署

使用SPDK NVMe of RDMA 实现多NVMe设备共享 一、编译、安装spdk 1.1、下载 1.1.1 下载spdk源码 首先&#xff0c;我们需要从GitHub上克隆SPDK的源码仓库。打开终端&#xff0c;输入以下命令&#xff1a; git clone -b v22.01 https://github.com/spdk/spdk.git cd spdk1.1.2…
阅读更多...
【Redis】缓存和分布式锁

【Redis】缓存和分布式锁

&#x1f525;个人主页&#xff1a; 中草药 &#x1f525;专栏&#xff1a;【中间件】企业级中间件剖析 一、缓存&#xff08;Cache&#xff09; 概述 Redis最主要的应用场景便是作为缓存。缓存&#xff08;Cache&#xff09;是一种用于存储数据副本的技术或组件&#xff0c;…
阅读更多...
OpenLayers 精确经过三个点的曲线绘制

OpenLayers 精确经过三个点的曲线绘制

OpenLayers 精确经过三个点的曲线绘制 根据您的需求&#xff0c;我将提供一个使用 OpenLayers 绘制精确经过三个指定点的曲线解决方案。对于三个点的情况&#xff0c;我们可以使用 二次贝塞尔曲线 或 三次样条插值&#xff0c;确保曲线精确通过所有控制点。 实现方案 下面是…
阅读更多...
大模型微调指南之 LLaMA-Factory 篇：一键启动LLaMA系列模型高效微调

大模型微调指南之 LLaMA-Factory 篇：一键启动LLaMA系列模型高效微调

文章目录 一、简介二、如何安装2.1 安装2.2 校验 三、开始使用3.1 可视化界面3.2 使用命令行3.2.1 模型微调训练3.2.2 模型合并3.2.3 模型推理3.2.4 模型评估 四、高级功能4.1 分布训练4.2 DeepSpeed4.2.1 单机多卡4.2.2 多机多卡 五、日志分析 一、简介 LLaMA-Factory 是一个…
阅读更多...
GLPK(GNU线性规划工具包)介绍

GLPK(GNU线性规划工具包)介绍

GLPK全称为GNU Linear Programming Kit(GNU线性规划工具包)&#xff0c;可从 https://sourceforge.net/projects/winglpk/ 下载源码及二进制库&#xff0c;最新版本为4.65。也可从 https://ftp.gnu.org/gnu/glpk/ 下载&#xff0c;仅包含源码&#xff0c;最新版本为5.0。 GLPK是…
阅读更多...
PCB设计实践（十三）PCB设计中差分线间距与线宽设置的深度解析

PCB设计实践（十三）PCB设计中差分线间距与线宽设置的深度解析

一、差分信号的基本原理与物理背景 差分信号技术通过两条等幅反相的传输线实现信号传输&#xff0c;其核心优势体现在电磁场耦合的对称性上。根据麦克斯韦方程组的对称解原理&#xff0c;两条线产生的电磁场在远场区域相互抵消&#xff0c;形成以下特性&#xff1a; 1. 共模噪…
阅读更多...
2025python学习笔记

2025python学习笔记

一.Python语言基础入门 第一章 01.初识Python Python的起源&#xff1a; 1989年&#xff0c;为了打发圣诞节假期&#xff0c;Gudio van Rossum吉多范罗苏姆&#xff08;龟叔&#xff09;决心开发一个新的解释程序&#xff08;Python维形&#xff09;1991年&#xff0c;第一个…
阅读更多...
【并发编程】基于 Redis 手写分布式锁

【并发编程】基于 Redis 手写分布式锁

目录 一、基于 Redis 演示超卖现象 1.1 Redis 超卖现象 1.2 超卖现象解决方案 二、Redis 的乐观锁机制 2.1 原生客户端演示 2.2 业务代码实现 三、单机部署 Redis 实现分布式锁 3.1 分布式锁的演变和升级 3.2 setnx 实现分布式锁 3.2.1 递归调用实现分布式锁 3.2.2 循…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023