接手一个烂摊子之后:金仓数据库开发规范实战笔记

news2026/4/28 15:32:21
接手一个烂摊子之后金仓数据库开发规范实战笔记从一个凌晨三点的故障说起去年接手一个电商中台项目上线才两个月就开始频繁出问题。最严重的一次是凌晨三点订单创建接口大面积超时。排查到最后发现是一张订单表三个月的数据量不到一千万条但每秒钟几百个INSERT操作加上十几个索引的维护开销把服务器的IO完全打满了。打开那张表的定义我惊呆了67个字段其中15个是VARCHAR(500)以上13个索引有一半从来没有被查询用过没有主键用的一个联合唯一索引代替表的fillfactor是默认的100意味着UPDATE会产生大量版本链这不是个案是开发规范缺失的典型后果。接手之后我花了两周时间梳理了一套针对金仓数据库的开发规范现在拿出来分享一下。一、整体设计原则先把大方向定下来1.1 字符集统一金仓支持多种字符集但同一个实例里混用UTF8和GBK会在跨库查询时出现乱码或转换开销。我们的规矩是所有实例统一用UTF8。-- 创建数据库时明确指定字符集CREATEDATABASEorder_db ENCODINGUTF8;1.2 每个应用独立SCHEMA不要把所有表都扔在public里。不同应用、不同模块用独立的SCHEMA隔离权限管理也方便。-- 为订单服务创建独立SCHEMACREATESCHEMAorder_svcAUTHORIZATIONorder_app;-- 设置默认SCHEMASETsearch_pathTOorder_svc,public;1.3 表的硬性约束单表列数不超过80列必须有主键或唯一约束外键必须建索引主外键类型要一致触发器能不用就不用-- 正确的建表示例CREATETABLEorder_svc.t_orders(order_id BIGSERIAL,order_noVARCHAR(32)NOTNULL,user_idINTEGERNOTNULL,amountDECIMAL(12,2)NOTNULL,statusSMALLINTDEFAULT0,created_timeTIMESTAMPDEFAULTCURRENT_TIMESTAMP,updated_timeTIMESTAMPDEFAULTCURRENT_TIMESTAMP,CONSTRAINTpk_orders_order_idPRIMARYKEY(order_id),CONSTRAINTuk_orders_order_noUNIQUE(order_no));1.4 大表处理策略金仓官方建议单表超过5000万条或100GB就要考虑分区或归档。我们在实践中把阈值定得更保守一些——2000万条就触发评估。-- 按月分区示例CREATETABLEorder_svc.t_orders_202501PARTITIONOForder_svc.t_ordersFORVALUESFROM(2025-01-01)TO(2025-02-01);1.5 大对象字段的处理图片、文件不要直接存数据库。金仓虽然支持BLOB/CLOB但大对象和业务数据混在一起IO会成为瓶颈。我们定的规则是文件存OSS或NAS数据库只存路径实在要存LOB单独建一张表存放通过外键关联-- 大对象单独存储CREATETABLEorder_svc.t_order_attachments(attach_id BIGSERIALPRIMARYKEY,order_idBIGINTNOTNULL,file_pathVARCHAR(256)NOTNULL,file_sizeINTEGER,-- 不要在大对象字段上建索引file_contentBLOB);二、命名规范让代码可读可维护命名混乱是很多项目的通病。一套清晰的命名规范能让新人接手时少花一半时间。2.1 表命名格式TB_ 应用名 模块名 表描述-- 示例TB_SHOP_ORDER-- 订单表TB_SHOP_PRODUCT-- 商品表TB_SHOP_USER-- 用户表2.2 索引命名-- 普通索引IDX_表名_字段1_字段2CREATEINDEXidx_order_user_idONt_orders(user_id);-- 唯一索引UID_表名_字段CREATEUNIQUEINDEXuid_order_order_noONt_orders(order_no);-- 主键PK_表名_主键列ALTERTABLEt_ordersADDCONSTRAINTpk_orders_order_idPRIMARYKEY(order_id);2.3 其他对象命名对象类型前缀示例视图V_v_order_summary序列SEQ_seq_order_id函数FUNC_func_calc_amount存储过程P_p_refresh_order临时表TMP_tmp_order_import_20250417_zhang一个重要提醒所有对象名长度不要超过30个字符。金仓对长对象名虽然支持但会给后续维护带来麻烦。三、字段设计选对类型比什么都重要3.1 类型选择的几个原则原则一用对类型别用字符存数字-- 错误用字符存日期create_timeVARCHAR(20)-- ❌-- 正确用DATE类型create_timeDATE-- ✅-- 错误用字符存金额amountVARCHAR(20)-- ❌-- 正确用DECIMALamountDECIMAL(12,2)-- ✅原则二选最小的够用类型-- 状态字段用SMALLINT2字节别用INTEGER4字节statusSMALLINTDEFAULT0-- 年龄用SMALLINT就够了ageSMALLINT-- 定长字符串用CHAR变长用VARCHARcountry_codeCHAR(2)-- 固定2位addressVARCHAR(200)-- 长度不固定原则三能用数值不用字符数值类型比较效率比字符串高得多。这个差异在大表关联查询时特别明显。3.2 填坑经验fillfactor的设置金仓有一个很实用的参数叫fillfactor控制每个数据页的填充率。默认是100表示写满。对于频繁UPDATE的表建议设为80CREATETABLEorder_svc.t_order_status_log(log_id BIGSERIAL,order_idBIGINTNOTNULL,old_statusSMALLINT,new_statusSMALLINT,change_timeTIMESTAMPDEFAULTCURRENT_TIMESTAMP)WITH(fillfactor80);为什么金仓的UPDATE本质上是标记旧行插入新行。如果页面满了新行只能放到其他页面导致读取时需要扫描多个页面。预留20%的空间可以让新行留在同一个页面内这就是HOT更新Heap-Only Tuple性能会好很多。3.3 冗余字段用空间换时间大表关联查询代价很高。适当冗余一些字段可以减少JOIN。-- 订单表里冗余用户姓名避免每次都要关联用户表CREATETABLEt_orders(order_id BIGSERIAL,user_idINTEGERNOTNULL,user_nameVARCHAR(64),-- 冗余字段amountDECIMAL(12,2));代价是更新用户姓名时要同步更新订单表。需要在设计时权衡。四、索引设计少而精4.1 索引数量的控制金仓官方建议单表索引不超过5个。我们内部的标准更严——核心表不超过3个。为什么每个索引都会增加INSERT、UPDATE、DELETE的开销。订单表每插入一条记录要维护主键索引、唯一索引、普通索引…索引越多写入越慢。4.2 索引字段的选择选择性原则把过滤效果最好的字段放前面。假设有两个字段status只有3种值每个值占30%user_id唯一值很多每个值占0.01%那么索引应该是(user_id, status)而不是(status, user_id)。避免冗余索引-- 已经有联合索引CREATEINDEXidx_user_statusONt_orders(user_id,status);-- 这个单字段索引就是冗余的因为联合索引已经能覆盖CREATEINDEXidx_user_idONt_orders(user_id);-- ❌ 不需要4.3 外键必须建索引这是金仓官方特别强调的如果子表外键没有索引父表删除记录时会锁住子表所有记录。-- 子表CREATETABLEt_order_items(item_id BIGSERIAL,order_idBIGINTNOTNULL,product_idINTEGERNOTNULL);-- 外键索引必须建CREATEINDEXidx_order_items_order_idONt_order_items(order_id);4.4 分区表的索引策略金仓的分区索引有个重要原则分区索引必须包含分区列且分区列要放在索引末尾。-- 按月分区的订单表CREATETABLEt_orders(order_id BIGSERIAL,order_noVARCHAR(32),created_dateDATENOTNULL-- 分区键)PARTITIONBYRANGE(created_date);-- 正确的分区索引分区键在最后CREATEINDEXidx_orders_order_noONt_orders(order_no,created_date);4.5 不同索引类型的使用场景金仓支持B-tree、Hash、GIN、GiST、BRIN等多种索引类型。日常开发中B-tree覆盖了90%的场景但有几种情况值得留意BRIN索引适合时间序列表日志、流水索引很小但查询效率不错。-- 日志表用BRIN索引几GB的数据索引可能只有几十MBCREATEINDEXidx_log_createdONt_logUSINGBRIN(created_date);GIN索引适合数组、JSONB字段和全文检索。-- JSONB字段的GIN索引CREATEINDEXidx_products_attrsONt_productsUSINGGIN(attributes);五、SQL编写规范5.1 绑定变量必须用高并发场景下不用绑定变量会导致SQL每次都要硬解析CPU会被占满。-- 错误拼接SQLEXECUTEIMMEDIATESELECT * FROM t_orders WHERE order_id ||v_id;-- 正确用绑定变量EXECUTEIMMEDIATESELECT * FROM t_orders WHERE order_id $1USINGv_id;5.2 避免隐式类型转换-- 假设user_id是INTEGER类型-- 错误传入字符串触发隐式转换SELECT*FROMt_ordersWHEREuser_id123;-- 正确传入数值SELECT*FROMt_ordersWHEREuser_id123;隐式转换会让索引失效这个坑踩一次就记住了。5.3 SELECT只取需要的列-- 错误SELECT *SELECT*FROMt_ordersWHEREorder_id12345;-- 正确只取需要的字段SELECTorder_no,amount,statusFROMt_ordersWHEREorder_id12345;在订单这种宽表上SELECT *会多读大量不需要的数据网络传输和内存占用都更大。5.4 COUNT(*) vs COUNT(列)-- 统计行数用COUNT(*)SELECTCOUNT(*)FROMt_ordersWHEREstatus1;-- 统计某列非NULL值数量用COUNT(列)SELECTCOUNT(user_id)FROMt_orders;COUNT(*)在金仓里优化得很好不要自己写成COUNT(1)或COUNT(主键)。六、连接池管理那些容易被忽视的坑6.1 连接数不是越多越好一个常见的误区并发高就调大max_connections。实际上连接数超过CPU核心数的10倍系统就会开始抖动。因为CPU大部分时间花在上下文切换上而不是真正处理请求。我们定的规则每个CPU核心不超过10个连接。32核的服务器连接数控制在300以内。6.2 防止会话泄漏会话泄漏是开发规范里最容易忽视的问题。异常处理不当连接没释放积少成多把连接池占满。// Java代码示例必须用try-with-resources或finally释放连接try(ConnectionconndataSource.getConnection();PreparedStatementstmtconn.prepareStatement(sql)){// 执行SQL}catch(SQLExceptione){// 记录日志确保连接被关闭log.error(Database error,e);}6.3 登录/注销策略不要为每个SQL请求都创建新连接。连接建立的开销很大TCP握手、认证、分配内存。正确做法使用连接池让连接复用。七、写在最后这套规范推行了半年效果很明显P1级故障从每月3-4次降到了半年1次新人接手项目的上手时间也从2周缩短到了3天。规范的目的是统一认知、减少踩坑不是给开发设障碍。每一条规则的背后都对应着一次真实的线上故障。希望这份总结对你有帮助。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2537086.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…