惊人!Postgres 扩展性超预期,单服务器每秒可处理 43000 个工作流

news2026/5/1 9:00:43
DBOS 相关信息5 月 7 日 DBOS 用户组提到每秒能实现 40,000 个工作流。DBOS 有多种产品包括开源持久执行库 DBOS Transact、代理和工作流的控制平面 DBOS Conductor 等还有相关资源和文档。产品DBOS Transact开源持久执行库DBOS Conductor代理和工作流的控制平面定价资源关于 DBOS认识致力于简化可靠性的团队DBOS 客户了解使用 DBOS 的用户及其原因视频演示、深度剖析等 DBOS 相关内容合作伙伴探索 DBOS 生态系统文档快速入门数分钟内启动首个工作流文档分步指南和实际用例示例应用程序可直接运行的代码激发项目灵感博客还有一些探索相关的链接dbos/dbos-transact-ts持久执行库 - TypeScriptdbos/dbos-transact-py持久执行库 - Pythondbos-inc/dbos-transact-go持久执行库 - Godbos-inc/dbos-transact-java持久执行库 - Javadbos-inc/dbos-demo-appsDBOS 演示应用程序查看所有仓库登录 开始使用7 月 24 日有 DBOS 用户组会议链接为 7 月 24 日DBOS 用户组会议。之后又提到了产品包括 DBOS Transact开源持久执行库、DBOS Cloud一键部署扩展至数百万规模还有 客户案例 定价 博客 文档。资源关于 DBOS了解我们的故事认识我们的团队视频DBOS 概念和最佳实践启动项目登录还有一些链接登录启动项目返回洞察页面Postgres 能扩展吗作者是 Peter Kraft日期为 2026 年 4 月 23 日。基准测试在基于 Postgres 构建持久工作流执行系统时常有人问“Postgres 能扩展吗”。很多顶级技术团队发文称 Postgres 可以扩展但并非所有文章都展示了实际性能扩展情况。此次对单个 Postgres 服务器的可扩展性进行了基准测试重点关注 Postgres 写入性能因为写入是工作流执行的瓶颈。先在理想环境下测量了 Postgres 的原始写入吞吐量然后分析了两种持久工作流工作负载的性能一种是在本地启动工作流另一种是使用 Postgres 支持的队列。结果发现Postgres 的扩展性比预期还好单个服务器可以维持每秒 144,000 次写入的吞吐量或者每秒处理 43,000 个工作流相当于每天 120 亿次写入或 40 亿个工作流能满足大多数用例需求。所有基准测试代码都是开源的可在 此处 查看。所有实验均在 AWS RDS db.m7i.24xlarge 实例上进行该实例拥有 96 个 vCPU、384 GB 内存以及在 io2 卷上配置的 120,000 个 IOPS。Postgres 单点写入性能先测量了 Postgres 对单个表能够维持的最大写入吞吐量使用了一个简单的三列表包含一个 UUIDv7 主键、一个 TEXT 数据字段和一个时间戳。然后通过大量异步 Python 客户端对每秒可以插入的行数进行了基准测试每行数据都在单独的事务中插入。总体而言Postgres 服务器每秒最多可以处理 144,000 次这样的写入相当于每天 120 亿次写入。为确保达到了 Postgres 可扩展性的极限分析了限制进一步性能提升的瓶颈。先检查了 CPU 和 IOPS 等关键指标发现它们并未被充分利用。为找到真正的瓶颈查询了内置的 Postgres pg_stat_activity 表以检查每个 Postgres 后端进程在每个时刻的操作。发现瓶颈在于将 Postgres 预写日志 (WAL) 刷新到磁盘。执行写入操作时Postgres 先将写入描述追加到 WAL 中然后将 WAL 刷新到磁盘使用 fsync 系统调用最后向客户端确认提交实际的数据文件会在后台稍后更新。查看 Postgres 进程活动时发现任何时刻都恰好有一个进程正在将 WAL 刷新到磁盘以 组提交 的方式刷新整个缓冲区包括其他进程的数据而绝大多数其他进程都在等待 WAL 锁以便将其数据刷新。性能瓶颈在于 Postgres 通过将 WAL 条目刷新到磁盘来提交写入事务的速度这是高度写入密集型工作负载常见的瓶颈因为 Postgres 只有一个 WAL每个写入操作都必须经过它。持久工作流性能接着测量了由 Postgres 支持的持久工作流的性能。一个持久工作流恰好执行两次 Postgres 写入一次是在启动时创建其数据库条目并记录其输入和初始状态一次是在完成时记录其结果和最终状态。如果工作流包含步骤还会为每个步骤执行一次写入以检查点该步骤的结果。在这个基准测试中评估了没有步骤的简单无操作工作流。通过多个异步 Python 客户端同时启动了许多工作流。总体而言单个 Postgres 服务器每秒最多可以处理 43,000 个工作流为每秒执行 43,000 个工作流的应用程序添加 Postgres 支持的持久性不会成为其性能瓶颈。与之前的基准测试一样寻找限制进一步性能提升的瓶颈发现瓶颈还是在于 WAL即 Postgres 通过将工作流的 INSERT 和 UPDATE 操作的 WAL 条目刷新到磁盘来提交这些操作的速度。有两个因素解释了原始 Postgres INSERT 性能和工作流性能之间的差异一是一个工作流需要两次写入因此每秒 43,000 个工作流实际上相当于每秒 86,000 次 Postgres 写入二是 workflow_status 表比简单写入基准测试表大得多31 列对 3 列9 个索引对 1 个索引因此对该表的更新需要刷新更多的数据。持久队列性能然后测量了由 Postgres 支持的队列的可扩展性。与之前的基准测试类似但客户端不是直接执行工作流而是将它们排入 Postgres 队列然后工作者从队列中取出并执行这些工作流。每个工作流需要四次 Postgres 写入一次写入用于将工作流排入队列创建其数据库条目并记录其输入和初始状态一次写入用于从队列中取出工作流更新其状态此写入与同一执行器在同一时间取出的所有其他工作流一起批量处理一次写入是在取出的工作流启动时更新其状态一次写入是在工作流完成时记录其结果和最终状态。总体而言单个 Postgres 服务器每秒最多可以处理 12,100 个排队的工作流。寻找性能瓶颈时发现这次的瓶颈不是在 WAL而是在 workflow_status 表中的锁争用。所有客户端进程都在队列头部的相同几行上进行入队或出队操作它们之间的争用限制了性能尽管有 SKIP LOCKED 等优化措施。推测 Python 是一种相对低效的语言加剧了这个问题因为需要大量客户端才能使 Postgres 达到饱和状态。如果使用像 Go 这样更快的语言所需的客户端数量会更少从而减少出队争用。为消除争用瓶颈测试了将工作分布到多个队列或者等效地同一队列的多个分区发现可实现的最大工作流吞吐量随着队列数量的增加而增加但收益递减。最终通过足够多的队列或分区排队工作流的吞吐量达到了每秒 30,600 个工作流大约是直接启动工作流时实现的每秒 43,000 个工作流的三分之二这是合理的因为排队工作流需要更多的写入操作三次非批量写入和一次批量写入而直接启动工作流只需要两次非批量写入。在这个规模下数据库瓶颈再次转移到了 WAL。总体而言这个基准测试表明Postgres 的扩展性非常出色。在一秒内单个 Postgres 服务器可以执行 144,000 次小写入操作或者处理 43,000 个持久工作流相当于每天 120 亿次写入或 40 亿个工作流足以满足大多数应用程序的需求。如果需要更高的性能可以将工作负载分布到多个 Postgres 服务器上以处理几乎任何负载。了解更多如果喜欢构建可扩展、可靠的系统DBOS 很乐意听取意见。DBOS 的目标是让持久工作流尽可能简单和高效。可查看以下内容快速入门https://docs.dbos.dev/quickstartGitHubhttps://github.com/dbos-incDiscord 社区https://discord.gg/eMUHrvbu67分享此文章洞察近期文章持久执行、AI 工作流等领域的最新动态。基准测试2026 年 4 月 23 日Postgres 能扩展吗对单个 Postgres 服务器的工作流执行和工作流排队可扩展性进行基准

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2571525.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…