分布式异步任务处理组件(八)

news2025/6/2 8:31:10

分布式异步任务组件网络通信线程模型设计--

大概说一下功能场景:

  1. 从节点和主节点建立连接,负责和主节点的网络IO通信,通信动作包括投票,心跳,举证等,步骤为读取主节点的信息,写入IO队列中,然后从IO队列中读取解码,翻译成具体的协议命令,发送给上层线程处理;或者从上层线程接受命令,编码成字节流,写入IO队列,通信线程从IO队列中读取需要发送的字节buffer,通过网络发送给主节点;
  2. 主节点和多个从节点建立连接,负责每个从节点的网络IO通信,包括投票,心跳,举证操作,具体操作和从节点的操作相同,多了一个建立连接的步骤--如图

初期线程模型设计--

每条网络数据传输通道一条线程,即一条线程负责网络IO处理,另外一条线程处理数据编解码,整体使用同一个IOQueue--其实这里是两个;读写队列分开;但在线程模型里我们认为面对的是一个IOQueue即可;如图

首先说一下线程拆分的原则--

基于事件反应器设计下的原子性保证--

NIO中的一个socketchannel面对的是一个连接,底层可以理解为一个线程在处理数据IO,IO事件通过selector发布;这里一个selector可以处理多个Socket连接的多个事件,但是selector本身的设计实现是同步模式的,多线程读取selector中的事件需要阻塞,也就是说同一时刻只能有一个线程读取selector中的事件并消费;如果有多个线程同时监听selector中的事件未获取到锁的线程只能阻塞,所以这里对一个selector对象只使用一个线程处理IO事件(读写可以分开为两个事件);

对于同一个通信连接中的数据可能出现拆包和粘包的现象,所以这里对一个连接只使用一个IO队列;相对应的,对同一个读写队列也只使用一个线程来处理--但是这里读写队列是分开的;

对于同一个命令的处理也应该是原子的,所以对同一个命令也需要一个线程来操作;

主要关注一下可以线程拆分的几个点:

  1. JavaNIO实现的TCP是半双工通道,也就是同一个channel可以读也可写,但是同一时刻只能进行读或者写操作中的同一个,所以这点对于底层通信线程设计很重要;
  2. 同一个通信连接的读和写操作是否需要拆分:
    1. 一个线程负责读数据,一个线程负责写数据;
    2. 如果对一个Socketchannel的读写分开两个线程操作的话,有两种设计方案:一个socketchannel只注册到一个selector上,读写线程各自监听同一个selector的读写事件,分别处理读操作和写操作;
    3. 另一种是两个线程分别拥有自己的selector,每个线程从各自的selector上单独监听读事件或者写事件--这样其实已经违反了NIO设计的原则,--NIO核心是一个线程可以监听多个channel,如果一个channel使用多个线程监听的话反而不如使用BIO来处理,因为channel实际上是半双工实现,读和写操作都是同步进行的;
    4. --综上,读写同步进行的情况下,使用多线程读写并不能实际上增加并发度;因为如果读写分开的话,读线程必须等写线程写完数据才可以读取;反之一样;而读写数据本身的操作只不过是完成一个队列操作;
    5. 另外,如果多线程对同一IO队列并发读写要考虑顺序问题
  3. 这里实现为为每个IO连接维护命令队列,可以使用线程池进行编解码--具体那种效果最好要看后期压测结果;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/863666.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

yum 安装本地包 rpm

有时直接yum install 有几个包死活下不下来 根据网址,手动下载,下载后上传至 centos 然后运行 sudo yum localinstall xxx.rpm 即可安装 参考 https://blog.csdn.net/weiguang1017/article/details/52293244

【Nginx】Nginx网站服务

国外主流还是使用apache;国内现在主流是nginx(并发能力强,相对稳定) nginx:高新能、轻量级的web服务软件 特点: 1.稳定性高(没apache稳); 2.系统资源消耗比较低&#xf…

40G光模块在高速网络中的关键角色

40G光模块在高速网络中扮演着关键的角色。它是用于传输数据的光纤通信设备,具备高速数据传输能力,广泛应用于数据中心、电信运营商、企业网络等领域。本文我们来看看40G光模块在高速网络中是如何发挥它的作用的! 一、认识40G光模块 为实现4…

vue手写多对多关联图,连线用leader-line

效果如图 鼠标滑动效果 关联性效果 <template ><div class="main" ref="predecessor"><div class="search"><div class="search-item"><div class="search-item-label">部门</div><…

多用户一体化建设跨境电商小程序、app开发

跨境电商是指通过互联网技术&#xff0c;进行国际贸易的电子商务活动。随着跨境电商的快速发展&#xff0c;许多企业开始关注开发跨境电商小程序和app&#xff0c;以扩大其国际业务。下面是多用户一体化建设跨境电商小程序和app的开发步骤。 第一步&#xff1a;需求分析和规划…

tomcat的多实例,动静分离(web服务基础结束)

多实例 多实例就是在一台服务器上有多个tomcat的服务&#xff08;核心是改端口&#xff09; 实验&#xff1a;多实例 安装步骤 1.安装好 jdk 2.安装 tomcat cd /opt tar zxvf apache-tomcat-9.0.16.tar.gz mkdir /usr/local/tomcat mv apache-tomcat-9.0.16 /usr/local/tomca…

IDEA项目实践——Spring集成mybatis、spring当中的事务

系列文章目录 IDEA项目实践——创建Java项目以及创建Maven项目案例、使用数据库连接池创建项目简介 IDEWA项目实践——mybatis的一些基本原理以及案例 IDEA项目实践——动态SQL、关系映射、注解开发 IDEA项目实践——Spring框架简介&#xff0c;以及IOC注解 IDEA项目实践—…

python爬虫实战(1)——网站小说

整本小说的爬取保存 目标大致思路页面的爬取解析—XPath请求网页内容解析网页内容正文爬取与解析单个页面数据获取爬取所有页面 数据清洗 经过学习基础&#xff0c;我们学以致用一下子&#xff0c;爬取小说&#xff0c;注意这个小说本身是免费的哦&#xff0c;以后再进阶。 本次…

工作中的方法论总结

1、SMART SMART原则是目标管理的一种方法&#xff0c;通过有效地进行成员的组织与目标的制定和控制以达到更好的工作绩效。大到业务规划&#xff0c;小到个人项目开发计划都比较适用。 SMART的具体含义如下&#xff1a; S&#xff08;Specific&#xff09;&#xff1a;目标是确…

阿里发布财报,电商业务重回增长

KlipC报道&#xff1a;8月10日阿里巴巴集团发布了最新财报&#xff0c;据数据显示该公司一季度营收同比上涨14%&#xff0c;达2341.6亿元人民币&#xff0c;超市场预期。净利润为330亿元较去年同期增长63%达202.98亿元&#xff0c;财报发布后&#xff0c;阿里美股一度涨超5%&am…

动力节点|Spring6框架学习教程,从基础到手撕源码一套打通

Spring框架已广泛应用于诸多Java应用程序的开发中&#xff0c;它提供了很多解决方案及最佳实践&#xff0c;简化了Java应用程序的开发过程并加速了开发。 Spring6.0版本是下一个十年的新开端&#xff0c;动力节点老杜精心打造全新升级版Spring6教程&#xff0c;手把手教学&…

vue插槽slots

一、默认插槽&#xff1a; vue组件能够接收任意类型的 JavaScript 值作为 props&#xff0c;也可以为子组件传递一些模板片段&#xff0c;让子组件在它们的组件中渲染这些片段。 例如&#xff1a;有一个<FancyButton>组件 在父组件中引用 最终渲染出来的dom 插槽内容可…

Live800:客服中心数字化转型的5个关键点,你知道吗?

数字化转型的浪潮中&#xff0c;客服中心也不例外。传统的在线客服中心需要经历数字化转型&#xff0c;才能更好地适应用户需求&#xff0c;提高工作效率以及质量。然而&#xff0c;数字化转型并不仅仅是将传统客服系统搬到数字平台上&#xff0c;还要符合用户习惯和新技术趋势…

三、MySql表的操作

文章目录 一、创建表&#xff08;一&#xff09;语法&#xff1a;&#xff08;二&#xff09;说明&#xff1a; 二、创建表案例&#xff08;一&#xff09;代码&#xff1a;&#xff08;二&#xff09;说明&#xff1a; 三、查看表结构&#xff08;一&#xff09;语法&#xff…

产品经理如何突破职业瓶颈,杀出重围?

随着社会的进步和科技的发展&#xff0c;互联网行业从未停止过发展的脚步。而在这个充满机遇和挑战的赛道上&#xff0c;互联网产品经理的角色显得尤为重要。然而&#xff0c;随着互联网产品经理的数量逐年增加&#xff0c;内卷化现象也日益严重。那么&#xff0c;产品经理应该…

10个问题,带你重新认识smardaten企业级无代码

很多新客户在接触数睿数据&#xff0c;或者在初步认识smardaten企业级无代码的时候&#xff0c;大家更多地以为只是个普通的无代码工具。在交流过程中&#xff0c;大家也提出了很多疑惑&#xff1a; smardaten无代码平台包括哪些能力&#xff1f; 适合开发哪些应用&#xff1f…

鲁大师电动车智能化测评报告第二十一期:峰值功率20kW,九号E300P极速破圈

简介&#xff1a;第二十一期参与测评的电动车是九号E300P、雅迪冠能探索E10、绿源Moda7、台铃超能S塞北、新日幻影F9、小牛G400六款车型 鲁大师第二十一期智能化电动车测评排行榜数据来源于鲁大师智慧实验室&#xff0c;测评的车型均为市面上主流品牌的主流车型。截止目前&…

19 | 首尔自行车共享需求预测

文章目录 首尔自行车共享需求预测1. 问题陈述2. 数据描述3. 项目的业务用途是什么?4. 模型构建步骤5. 数据可视化1)热力图2)按季节分的租赁自行车数量3)假日和非假日租赁自行车数量4)太阳辐射与租赁自行车数量5)租赁自行车数量和一天的小时数6)特征重要性首尔自行车共享…

allure测试报告

使用pytest结合Allure进行测试报告生成的简单教程 allure测试报告 Allure基于Java开发&#xff0c;因此我们需要提前安装Java 8或以上版本的环境。 ◆安装allure-pytest插件在DOS窗口输入命令“pip3 install allure-pytest”&#xff0c;然后按“Enter”键。 下载安装Allure…

网站SSL安全证书是什么及其重要性

网站SSL安全证书具体来说是一个数字文件&#xff0c;是由受信任的数字证书颁发机构&#xff08;CA机构&#xff09;进行审核颁发的&#xff0c;其中包含CA发布的信息&#xff0c;该信息表明该网站已使用加密连接进行了安全保护。 网站SSL安全证书也被称为SSL证书、https证书和…