RabbitMQ消息中间件概述

news2025/6/24 2:47:12

30b0801ee5254996b59f471e5d6cb455.jpg1.什么是RabbitMQ

 

RabbitMQ是一个由erlang开发的AMQP(Advanced Message Queue )的开源实现。AMQP 的出现其实也是应了广大人民群众的需求,虽然在同步消息通讯的世界里有很多公开标准(如 COBAR的 IIOP ,或者是 SOAP 等),但是在异步消息处理中却不是这样,只有大企业有一些商业实现(如微软的 MSMQ ,IBM 的 Websphere MQ 等),因此,在 2006 年的 6 月,Cisco 、Redhat、iMatix 等联合制定了 AMQP 的公开标准。 RabbitMQ是由RabbitMQ Technologies Ltd开发并且提供商业支持的。该公司在2010年4月被SpringSource(VMWare的一个部门)收购。在2013年5月被并入Pivotal。其实VMWare,Pivotal和EMC本质上是一家的。不同的是VMWare是独立上市子公司,而Pivotal是整合了EMC的某些资源,现在并没有上市。 RabbitMQ的官网是http://www.rabbitmq.com 百度百科amqp协议介绍https://baike.baidu.com/item/AMQP/8354716?fr=aladdin 注意:RabbitMQ是采用erlang语言开发的,所以必须有erlang环境才可以运行

 

2.为什么要使用MQ

 

 

3.常用消息中间件的对比

 

 

4.消息队列RabbitMq的五种形式队列

4.1.点对点(简单)的队列

点对点模式:一对一消费,一个生产者投递消息给队列,只能允许有一个消费者进行消费。

 

注意:如果消费集群的话,会进行均摊消费。前提是服务器的配置相同。

 

均摊消费的弊端:假如有2台服务器分别为A、B。如果每个消费处理消息的业务时间不相同的情况下,可能对消费者处理慢的服务器不公平(服务器压力大),A处理比B处理时间快,应该A处理的消息多一些,B处理的消息少一些才合理。

 

队列以先进先出原则进行存放消息集合。生产者投递消息到队列中。

 

 

 

当消费者启动的时候,会与队列服务器建立长连接,当生产者有消息投递到队列的时候,队列会立刻将消息通知给消费者进行消费。

 

长连接的好处:如果是短链接的话,每次访问都需要建立连接,比较占内存。建立长连接会减少三次握手,提高传输速度。

 

取消息队列与推送消息队列的区别:

取消息:生产者投递消息到队列中,队列服务器缓存消息。这时候当消费者启动的时候,消费者会去向队列服务器中获取消息。

 

推消息:当生产者和消费者都启动的时候,生产者向队列投递消息,这时候队列会将消息推送给消费者。

 

4.2.工作(公平性)队列模式

公平队列的原理:队列服务器向消费者发送消息的时候,消费者采用手动应答模式,队列服务器必须要收到消费者发送ack结果通知之后,才会继续发送下一个消息。

 

4.3.发布订阅模式

Direct exchange(直连交换机)是根据消息携带的路由键(routing key)将消息投递给对应队列的。

 

发布订阅实现流程:生产者投递消息给交换机,交换机根据路由策略(routignKey)转发到不同的队列服务器中缓存,然后队列服务器在推送消息给消费者进行消费或者消费者从队列服务器中拉取消息进行消费。

 

发布订阅实现原理:一对多。

 

这个队列模式是消息队列中最重要的队列了,其他的都是在它的基础上进行了扩展。 功能实现:一个生产者发送消息,多个消费者获取消息(同样的消息),包括一个生产者,一个交换机,多个队列,多个消费者。

 

思路解读(重点理解): 

 

1. 一个生产者,多个消费者

 

2. 每一个消费者都有自己的一个队列

 

3. 生产者没有直接发消息到队列中,而是发送到交换机 

 

4. 每个消费者的队列都绑定到交换机上

 

5. 消息通过交换机到达每个消费者的队列 该模式就是Fanout Exchange(扇型交换机)将消息路由给绑定到它身上的所有队列 以用户发邮件案例讲解

 

注意:交换机没有存储消息功能,如果消息发送没有绑定消费队列的交换机,消息则丢失。在消费者没有启动的情况下,生产者投递消息到交换机,这时候交换机不知道把消息转发给哪个消费者,所以消息会消失。因为交换机没有缓存功能,只做转发的功能。

 

使用场景:用户注册→发送邮件→发送短信。

 

 

 

 

 

4.4.路由模式RoutingKey

Direct exchange(直连交换机)是根据消息携带的路由键(routing key)将消息投递给对应队列的。

 

生产者发送消息到交换机并指定一个路由key,消费者队列绑定到交换机时要制定路由key(key匹配就能接受消息,key不匹配就不能接受消息)。

 

例如:我们可以把路由key设置为insert ,那么消费者队列key指定包含insert才可以接收消息,消费者队列key定义为update或者delete就不能接收消息。很好的控制了更新,插入和删除的操作。 采用交换机direct模式

 

 

 

流程说明:如果生产者投递消息到交换机(exchange),邮件队列和短信队列也都绑定了交换机(exchange)。但是当交换机的类型(type=direct)的时候,交换机的转发(路由)由routingKey决定转发给谁。如下如图所示,当交换机的rontingKey=email的时候,消息将转发到邮件队列服务然后由邮件消费者进行消费。而短信队列是都收不到消息的,因为短信的路由routingKey=msg。如果短信队列也想收到消息就需要修改routingKey=email才可以收到消息。

 

这就是交换机类型type=direct的用法及特性。

 

 

 

 

 

4.5.通配符模式Topics

说明:此模式实在路由key模式的基础上,使用了通配符来管理消费者接收消息。生产者P发送消息到交换机X,type=topic,交换机根据绑定队列的routing key的值进行通配符匹配;

 

符号#:匹配一个或者多个词lazy.# 可以匹配lazy.irs或者lazy.irs.cor

 

符号*:只能匹配一个词lazy.* 可以匹配lazy.irs或者lazy.cor

 

 

 

 

 

 

 

消息队列RabbitMQ应答模式

为了确保消息不会丢失,RabbitMQ支持消息应答。消费者发送一个消息应答,告诉RabbitMQ这个消息已经接收并且处理完毕了。RabbitMQ就可以删除它了。 如果一个消费者挂掉却没有发送应答,RabbitMQ会理解为这个消息没有处理完全,然后交给另一个消费者去重新处理。这样,你就可以确认即使消费者偶尔挂掉也不会丢失任何消息了。 没有任何消息超时限制;只有当消费者挂掉时,RabbitMQ才会重新投递。即使处理一条消息会花费很长的时间。 消息应答是默认打开的。我们通过显示的设置autoAsk=true关闭这种机制。现即自动应答开,一旦我们完成任务,消费者会自动发送应答。通知RabbitMQ消息已被处理,可以从内存删除。如果消费者因宕机或链接失败等原因没有发送ACK(不同于ActiveMQ,在RabbitMQ里,消息没有过期的概念),则RabbitMQ会将消息重新发送给其他监听在队列的下一个消费者。

 

RabbitMQ的公平转发

目前消息转发机制是平均分配,这样就会出现俩个消费者,奇数的任务很耗时,偶数的任何工作量很小,造成的原因就是近当消息到达队列进行转发消息。并不在乎有多少任务消费者并未传递一个应答给RabbitMQ。仅仅盲目转发所有的奇数给一个消费者,偶数给另一个消费者。 为了解决这样的问题,我们可以使用basicQos方法,传递参数为prefetchCount= 1。这样告诉RabbitMQ不要在同一时间给一个消费者超过一条消息。 换句话说,只有在消费者空闲的时候会发送下一条信息。调度分发消息的方式,也就是告诉RabbitMQ每次只给消费者处理一条消息,也就是等待消费者处理完毕并自己对刚刚处理的消息进行确认之后,才发送下一条消息,防止消费者太过于忙碌,也防止它太过去清闲。 通过 设置channel.basicQos(1);

 

消息队列RabbitMQ应答模式

案例: 生产者端代码不变,消费者端代码这部分就是用于开启手动应答模式的。 channel.basicConsume(QUEUE_NAME, false, defaultConsumer); 注:第二个参数值为false代表关闭RabbitMQ的自动应答机制,改为手动应答。 在处理完消息时,返回应答状态,true表示为自动应答模式。 channel.basicAck(envelope.getDeliveryTag(), false);

 

传统简单队列是如何实现的?

生产者生产消息直接投递给队列服务器,队列服务器在以推送消息到消费者或者消费者从队列服务器拉取消息进行消费。消费者启动的时候会与队列服务器建立长连接。

 

RabbitMQ关键名词

AMQP(高级消息队列协议)是一个异步消息传递所使用应用层协议规范,为面向消息中间件设计,基于此协议的客户端与消息中间件可以无视消息来源传递消息,不受客户端、消息中间件、不同的开发语言环境等条件的限制;

 

涉及概念解释: 

 

 Server(Broker):接收客户端连接,实现AMQP协议的消息队列和路由功能的进程;

 

 Virtual Host:虚拟主机的概念,类似权限控制组,一个Virtual Host里可以有多个Exchange和Queue。     

 

Exchange:交换机,接收生产者发送的消息,并根据Routing Key将消息路由到服务器中的队列Queue。

 

 ExchangeType:交换机类型决定了路由消息行为,RabbitMQ中有三种类型Exchange,分别是fanout、direct、topic; Message Queue:消息队列,用于存储还未被消费者消费的消息;

 

 Message:由Header和body组成,Header是由生产者添加的各种属性的集合,包括Message是否被持久化、优先级是多少、由哪个Message Queue接收等;

 

body是真正需要发送的数据内容;

 

BindingKey:绑定关键字,将一个特定的Exchange和一个特定的Queue绑定起来。

 

 

 

RabbitMQ交换机的作用

生产者发送消息不会像传统方式直接将消息投递到队列中,而是先将消息投递到交换机中,在由交换机转发到具体的队列,队列在将消息以推送或者拉取方式给消费者进行消费,这和我们之前学习Nginx有点类似。 交换机的作用根据具体的路由策略分发到不同的队列中。

 

交换机有四种类型:

 

Direct exchange(直连交换机):是根据消息携带的路由键;

 

routing key:将消息投递给对应队列的 Fanout exchange(扇型交换机)将消息路由给绑定到它身上的所有队列 ;

 

Topic exchange(主题交换机):队列通过路由键绑定到交换机上,然后,交换机根据消息里的路由值,将消息路由给一个或多个绑定队列;

 

Headers exchange(头交换机):类似主题交换机,但是头交换机使用多个消息属性来代替路由键建立路由规则。通过判断消息头的值能否与指定的绑定相匹配来确立路由规则。

 

 

 

 

 

RabbitMQ消息确认机制

问题产生背景: 生产者发送消息出去之后,不知道到底有没有发送到RabbitMQ服务器, 默认是不知道的。而且有的时候我们在发送消息之后,后面的逻辑出问题了,我们不想要发送之前的消息了,需要撤回该怎么做。

 

如果RabbitMQ服务器宕机了,消息会丢失吗?

 

  答案:RabbitMQ服务器支持消息持久化机制,会把消息持久化在硬盘上保存。代码设置 channel.queueDeclare(EMAIL_QUEUE, true, false, false, null); 方法第二个参数,默认情况下我们应该设置为true。

 

解决方案:

 

1.AMQP 事务机制

 

2.Confir

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1086160.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

皕杰报表中填报控件显示模式控制问题

填报报表是指能够向数据库上传数据的报表,皕杰报表填报单元格支持多种控件类型,包括文本框、文本域、下拉框、下拉树、单选框、复选框、时间、日期、日期时间… 这些控件类型在web页面上的显示模式在皕杰报表里设置了三种模式,只读、显式显示…

游戏反虚拟机检测方案

近年来,游戏市场高速发展,随之而来的还有图谋利益的游戏黑产。在利益吸引下,游戏黑产扩张迅猛,攻击趋势呈现出角度多样化的特点。 在这一趋势下,游戏安全防护的检测覆盖率显得尤为重要。如果游戏在某一环节出现被绕过…

小白网络安全学习手册

作为一个合格的网络安全工程师,应该做到攻守兼备,毕竟知己知彼,才能百战百胜。 谈起黑客,可能各位都会想到:盗号,其实不尽然;黑客是一群喜爱研究技术的群体,在黑客圈中,一…

毫末AI DAY的智驾弹药:上有「世界模型」,下有3000元方案

作者 | 张祥威 编辑 | 德新 「我们的感知能力可以说能做到识别万物了。」毫末智行在第九届毫末AI DAY上抛出这一豪言。 识别万物的底气,源于毫末的DriveGPT自动驾驶大模型引入了通用语义大模型,可以对交通参与者者、道路环境等做到全面感知。 今年是智…

python pip安装超时使用国内镜像

网络环境差的时候需要我们独立的进行相对应的包下载离线安装,或者给pip 加上 国内的镜像源比如加上清华的镜像源: 参考网址:pypi | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror https://mirrors.tuna.tsinghua…

简单写个JS插件替换网页上的文本

背景: 使用Grafana监控面板,随着项目迭代,页面上几百个图表了,相当一部分和错误码有关,逐个图表单替换维护过于繁琐,于是尝试一键替换grafana面板上的错误码(也就替换网页上特定的文本元素),原…

禅道如何编辑项目模块

禅道是一个用于项目管理和软件开发的开源工具,它的主要作用包括: 1. 项目管理:禅道可以帮助项目团队进行任务分配、进度跟踪、沟通协作、测试管理等方面的工作,以确保项目能够按时完成。 2. 缺陷追踪:禅道可以记录和…

钉钉数字校园小程序开发:开启智慧教育新时代

随着信息技术的快速发展和校园管理的日益复杂化,数字校园已成为现代教育的重要趋势。钉钉数字校园小程序作为一种创新应用,以其专业性、思考深度和逻辑性,为学校提供了全新的管理、教学和沟方式。本文从需求分析、技术实现和应用思考三个方面…

JAVA学习第一天,java的运行方式

对未来很迷茫,不知道以后能出去干什么,好像掌握的东西很少,从今天开始学习学习java吧,让自己充实起来,记录一下。 jav…

QT快速下载

官网下载安装包后,打开命令行CMD,将qt安装包拖入cmd中 添加–mirror https://mirrors.tuna.tsinghua.edu.cn/qt 回车 按安装步骤安装即可

大模型评测指标与方法

中文大模型评测和英文评测方法是不一致的,原因: 第一、数据集的差异性。中文和英文的文本数据集在种类、规模、质量等方面存在很大的差异,需要针对中文特点开发相应的数据集,以确保评测结果的准确性和公正性。 第二、语言结构和…

计算机毕业设计选什么题目好?springboot 航司互售系统

✍✍计算机编程指导师 ⭐⭐个人介绍:自己非常喜欢研究技术问题!专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流! ⚡⚡ Java实战 |…

M-LVDS收发器MS2111可pin对pin兼容SN65MLVD206

MS2111 是多点低压差分(M-LVDS)线路驱动器和接收器,经过优化可在高达 200 Mbps 的信令速率下运行。可pin对pin兼容SN65MLVD206。所有部件均符合 M-LVDS 标准 TIA / EIA-899。该驱动器输出已设计为支持负载低至 30Ω 的多点总线。 MS2111 的接收器属于 Type-2, 它们可…

一文拿捏对象内存布局及JMM(JAVA内存模型)

1 JMM(Java Memory Model) 1 概述 Java内存模型(Java Memory Model简称JMM)是一种抽象的概念,并不真实存在,它描述的一组规则或者规范。通过这些规则、规范定义了程序中各个变量的访问方式。jvm运行的程序的实体是线程,而每个线程运行时&am…

网页视频F12倍速看

首先在看视频的网页,点击F12,出现下方页面,其他页面不用管 方式一: document.querySelector("video").playbackRate"16"; 16指的是倍速,可随意修改 方式二: document.querySelecto…

203、RabbitMQ 之 使用 direct 类型的 Exchange 实现 消息路由 (RoutingKey)

目录 ★ 使用direct实现消息路由代码演示这个情况二ConstantUtil 常量工具类ConnectionUtil 连接RabbitMQ的工具类Publisher 消息生产者测试消息生产者 Consumer01 消息消费者01测试消费者结果: Consumer02 消息消费者02测试消费者结果: 完整代码&#x…

Centos8 openjdk升级

1、卸载旧版本 sudo dnf remove java-1.8.0-openjdk 2、搜索新版本 yum search java-11-openjdk3、安装新版本 dnf install java-11-openjdk.x86_644、验证新版本 java -version

Python+”高光谱遥感数据处理与机器学习深度应用丨高光谱数据预处理-机器学习-深度学习-图像分类-参数回归

涵盖高光谱遥感数据处理的基础、python开发基础、机器学习和应用实践。重点解释高光谱数据处理所涉及的基本概念和理论,旨在帮助学员深入理解科学原理。结合Python编程工具,专注于解决高光谱数据读取、数据预处理、高光谱数据机器学习等技术难题&#xf…

《UnityShader入门精要》学习2

UnityShader 基础 UnityShader 概述 一对好兄弟:材质和UnityShader 总体来说,在Unity中我们需要配合使用材质(Material)和Unity Shader才能达到需要的效果。一个最常见的流程是: (1)创建一个…