SQL调优实战手册:索引、并行、参数调优一站式解决方案

news2026/3/29 10:30:54
做企业级业务开发久了都会碰到同一个难题数据量越积越多原本跑得顺畅的SQL慢慢开始变慢轻则接口响应延迟重则整个系统卡顿甚至影响核心业务流转。尤其是用KingbaseES这款国产企业级数据库Oracle兼容版的项目很多时候不是数据库本身性能不行而是SQL写法、索引设计、参数配置没做到位白白浪费了硬件资源。这份调优指南全是基于官方调优手册提炼的实战干货没有虚头巴脑的理论全是落地能用的优化方法。不管是刚接触KingbaseES的开发还是负责运维的DBA都能照着一步步操作把慢SQL的性能拉回来。一、基础优化索引用好调优就成功了一半做SQL调优最先下手、见效最快的一定是索引。索引就像是书本的目录有了目录找内容不用一页页翻没目录就只能逐页查找。但索引也不是越多越好多了反而会拖慢数据插入、更新的速度毕竟每次写数据都要同步维护索引一定要按需设计。1. 常用索引类型选对比建多更重要KingbaseES自带了多种索引类型每种都有对应的适用场景乱建索引不仅没用还会增加运维成本日常用到的这几种吃透就够了Btree 索引这是数据库默认的索引类型基于B树实现也是日常业务最常用的索引。等值查询、范围查询、排序、MIN/MAX聚合查询它都能完美适配绝大多数业务表的索引优先选Btree准没错。-- 创建Btree索引 create table t1 (id int, info text); insert into t1 values(generate_series(1,100000), md5(random()::text)); create index i_btree on t1 using btree(id); -- 适配等值、范围查询执行速度提升极其明显 explain analyze select * from t1 where id 10; explain analyze select min(id) from t1;Hash 索引依靠哈希算法实现等值查询的速度极快理论上一次检索就能定位数据。但短板也很明显只支持等值匹配但凡涉及范围查询、排序索引直接失效只会走全表扫描适合纯等值查询的场景。create table t2 (id int, info text); insert into t2 values(generate_series(1,100000), md5(random()::text)); create index i_hash on t2 using hash(id); -- 等值查询效率拉满 explain analyze select * from t2 where id 10; -- 范围查询直接失效走全表扫描 explain analyze select * from t2 where id 10;Bitmap 索引用位图结构存储索引数据特别适合字段值重复率极高的场景比如性别、状态、类型这类字段。支持多条件AND/OR组合查询数据压缩比高OLAP分析类场景用它很合适。create table test(a int4, b int4); create index idx_t on test using bitmap(a); insert into test select round(random()*3), round(random()*100) from generate_series(1,1000000); analyze test; -- 多条件组合查询性能提升显著 explain analyze select count(*) from test where a 1 and b 50;GIN 索引通用倒排索引专门针对数组、全文检索这类多值字段设计依靠关键字匹配位置能快速筛选出目标数据模糊查询、全文搜索场景离不开它。create table t3(id int, info text); insert into t3 values(generate_series(1,10000), md5(random()::text)); create index i_t3_gin on t3 using gin(to_tsvector(english,info)); analyze t3; -- 全文检索专属普通索引根本没法比 explain analyze select * from t3 where to_tsvector(english, info) plainto_tsquery(hello);BRIN 索引块范围索引体积特别小维护成本也低只会存储连续数据块的取值范围。适合按时间顺序插入的流水表、日志表数据连续存储的场景用它性价比极高。create table t5(id int, name text); insert into t5 values(generate_series(1,100000), md5(random()::text)); create index i5_brin on t5 using brin(id); -- 流式数据、连续数据范围查询首选 explain analyze select * from t5 where id 10;2. 索引高级用法避开常见坑光知道建索引还不够很多时候索引失效都是因为没掌握这些实用技巧实战中经常用到表达式索引平时写查询经常会在字段上加函数这时候普通索引直接失效这时候就需要给计算后的结果建索引从根源解决索引失效问题。create table t1(name text); -- 针对大小写不敏感查询建表达式索引 create index idx_t1 on t1(upper(name)); explain select * from t1 where upper(name) ADA; -- 复杂拼接表达式记得加括号包裹 create table t1(id int, first_name text, last_name text); create index idx_t1_fullname on t1((first_name || || last_name)); explain select * from t1 where (first_name || || last_name) Ada B;联合索引多字段查询的时候一定要遵循最左前缀原则把筛选性强、查询频率高的字段放在前面少字段能命中索引才不会白建索引。create table student(id int, name text, school text); create index idx_student on student(id, name, school); -- 命中索引匹配最左前缀、前两个字段 select * from student where id 1; select * from student where id 1 and name 张三; -- 无法命中跳过最左字段直接查后面的字段 select * from student where name 张三;局部索引不用给全表数据都建索引只给常用查询范围内的数据建索引既能缩小索引体积又能减少维护成本针对性极强。create table t1(id int); insert into t1 values(generate_series(1,1000000)); -- 只给常用查询的id区间建索引 create index idx_t1_partial on t1(id) where id 500; -- 命中索引 explain select * from t1 where id 400; -- 超出范围不走索引 explain select * from t1 where id 400;模糊查询优化普通like %xxx%很难走索引针对不同模糊匹配方式用对应的索引写法就能解决慢查询问题。-- 前缀匹配Btree索引直接生效 create table t1(id int, name text collate C); create index idx_t1 on t1(name); explain select * from t1 where name like abc%; -- 后缀匹配用反转函数建索引 create index idx_t1_reverse on t1(reverse(name) collate C); explain select * from t1 where reverse(name) like cba%; -- 中间模糊匹配开启TRGM扩展建索引 create extension sys_trgm; create table t2(id int, name varchar(20)); create index idx_t2_trgm on t2 using gin(name gin_trgm_ops); explain select * from t2 where name like %abc%;3. 索引日常维护别建完就不管索引不是一劳永逸的后期不维护照样会变慢这几点运维一定要记牢定期清理无用索引通过系统视图查看索引调用次数长时间没被使用、idx_scan为0的索引直接删掉留着只会占用资源、拖慢写操作。select relname as 表名, indexrelname as 索引名, idx_scan as 扫描次数 from sys_stat_user_indexes order by idx_scan;及时重建索引大批量删除、更新数据后索引会产生大量碎片查询效率直线下降重建索引就能恢复性能操作前建议先做VACUUM清理。-- 单表索引重建 reindex table t1; -- 单个索引重建 reindex index idx_t1;控制索引数量写入频繁的业务表少建索引一般一张表索引不超过5个数据量小于1000行的小表不用建索引全表扫描比走索引更快。二、进阶优化看懂执行计划用HINT精准干预KingbaseES自带查询优化器会自动生成SQL执行计划但如果表统计信息不准、数据分布不均匀优化器很容易选错执行路径导致SQL变慢。这时候就得学会看懂执行计划实在不行再用HINT手动干预精准解决问题。1. 执行计划怎么看抓重点就行不用死记执行计划的所有细节抓准四个核心点就能快速定位慢SQL瓶颈基础查看explain命令只会生成预估执行计划不会真正执行SQL适合初步排查。explain select * from t1 join t2 on t1.id t2.id where t1.id 1000;实战排查explain analyze会真正执行SQL返回真实执行耗时、扫描行数排查问题最精准。explain analyze select * from t1 join t2 on t1.id t2.id where t1.id 1000;重点关注项大表有没有走索引、是不是全表扫描多表连接方式是否合适预估行数和实际行数偏差大不大排序、聚合有没有用到磁盘临时文件。2. 执行计划常见问题一招解决统计信息不准这是最常见的问题优化器误判数据量选错执行计划只需要更新表统计信息就能解决。-- 执行analyze更新统计信息 analyze student; -- 重新查看执行计划行数预估恢复正常 explain select * from student where sno 2;缺少索引导致全表扫描千万级大表全表扫描耗时轻轻松松几秒建完对应索引耗时直接降到毫秒级。-- 建适配索引 create index idx_t1_name on t1(name text_pattern_ops); analyze t1; -- 索引扫描替代全表扫描性能大幅提升 explain analyze select * from t1 where name like test99%;内存不足排序变慢大表排序、聚合时work_mem内存不够数据库会用到磁盘文件速度极慢临时调大内存参数即可解决。-- 会话级调大排序内存 set work_mem 64MB; explain analyze select * from big order by id;3. HINT手动干预慎用但要会用只有优化器明显选错执行计划时再用HINT干预不要上来就强行指定。使用前需要在配置文件开启enable_hint on语法用/* 指令 */格式即可。指定扫描方式强制走索引或者全表扫描适配特殊场景。-- 强制索引扫描 explain select/*IndexScan(t1 idx_t1)*/ * from t1 where id 10; -- 强制全表扫描 explain select/*SeqScan(t1)*/ * from t1 where id 20;指定连接方式小表用嵌套循环大表用哈希连接数据有序用归并连接。-- 强制哈希连接适配大数据量 explain select/*HashJoin(t1 t2)*/ * from t1 join t2 on t1.id t2.id;指定并行、连接顺序针对复杂查询手动优化执行逻辑。-- 指定并行worker数量 explain analyze select/*Parallel(t2 2)*/ t2.id from t2,t3 where t2.idt3.val group by t2.id; -- 指定表连接顺序 explain select/*leading(t3 t2 t1)*/ * from t1,t2,t3 where t1.idt3.id and t3.valt2.id;4. HINT使用注意能通过更新统计信息、调参数解决的就别用HINTHINT只对当前SQL生效不会影响其他业务表结构、数据大变后记得重新检查HINT是否还适用避免反而拖慢SQL。三、高级优化参数调优并行查询榨干硬件性能索引和执行计划优化完还有性能瓶颈就该从数据库参数、并行查询下手充分利用服务器CPU、内存资源突破单线程性能限制。1. 核心性能参数按需调整参数不是盲目调大要结合服务器配置、业务类型修改重点改这几类成本参数优化器判断执行计划的依据SSD硬盘可以适当调低随机访问成本让优化器更倾向于走索引。参数名默认值说明调整建议seq_page_cost1.0全表扫描单数据块成本SSD硬盘可调至0.5random_page_cost4.0索引扫描单数据块成本SSD硬盘可调至2.0内存参数直接影响排序、连接、缓存性能是优化重点。work_mem排序、哈希操作专用内存默认1MB太小大查询容易落磁盘会话级可调至16MB-64MBshared_buffers数据库共享缓冲区建议设为物理内存的20%-80%别超过系统可用内存一半maintenance_work_mem索引创建、数据清理的维护内存大批量操作时可调大。-- 会话级临时调整 set work_mem 16MB; -- 全局调整需重启数据库生效 alter system set work_mem 16MB;节点开关参数临时禁用不合理执行节点规避优化器缺陷不到万不得已不轻易修改。-- 禁用哈希聚合 set enable_hashagg off; -- 谨慎使用禁用全表扫描无索引会直接报错 set enable_seqscan off;2. 并行查询多核CPU提速大数据量查询、全表扫描、聚合统计单线程跑太慢开启并行查询把任务分给多个CPU核心同时处理速度能成倍提升。核心参数配置先调整系统后台进程数再配置并行worker数量根据CPU核心数合理设置别过度占用资源。-- 系统最大后台进程需重启 alter system set max_worker_processes 16; -- 单查询最大并行worker数 alter system set max_parallel_workers_per_gather 4;使用注意小表别开并行启动进程的成本比执行还高高并发场景少用并行避免CPU、内存争抢worker数量不是越多越好超过4个性能提升就不明显了反而会占用资源。四、实战技巧SQL改写物化视图懒人优化法很多时候SQL慢不是索引和参数的问题而是写法太笨拙稍微改改写法或者用物化视图就能轻松解决问题。1. SQL语句改写这几条必改UNION转UNION ALL确认数据没有重复一定要用UNION ALLUNION会多一步去重排序极其消耗性能。-- 低效 select * from t1 union select * from t2; -- 高效 select * from t1 union all select * from t2;清空表别用DELETEDELETE是逐行删除速度慢还产生垃圾数据清空全表直接用TRUNCATE秒级完成。truncate table t1;杜绝隐式类型转换索引字段类型和查询参数不一致索引直接失效一定要保证类型匹配。相关子查询转连接查询子查询逐行执行效率极低改成JOIN连接一次扫描就能出结果。严禁无连接条件多表查询极易产生笛卡尔积数据量爆炸式增长直接卡死查询。2. 物化视图复杂查询救星报表统计、多表聚合这类复杂查询每次执行都要耗时很久而且基表数据更新不频繁就用物化视图提前把查询结果存起来查询的时候直接读结果不用重复计算。-- 创建物化视图 create materialized view mv_school_student as select school, count(*) as student_count, avg(age) as avg_age from student group by school; -- 基表数据更新后刷新视图 refresh materialized view mv_school_student; -- 直接查询速度极快 select * from mv_school_student where school 一中;五、调优工具与监控持续优化不反弹SQL调优不是一次性工作必须借助工具实时监控及时发现新的慢SQL才能保证系统长期稳定运行。1. SQL监控工具开启内置的SQL监控功能实时跟踪SQL执行耗时、CPU消耗快速定位TOP慢查询。先在配置文件加载对应插件再创建扩展就能查看监控数据、生成监控报告。shared_preload_libraries plsql, sys_stat_statements, sys_sqltune sql_monitor.track all-- 创建监控扩展 create extension sys_sqltune; -- 查询耗时最长的TOP10 SQL select sql_text, duration, cpu_time from V$SQL_MONITOR order by duration desc limit 10;2. 索引推荐与调优报告不用自己瞎猜索引怎么建通过系统插件数据库能自动分析查询条件给出索引建议还能直接生成调优报告包含索引优化、SQL改写方案新手也能照着优化。-- 查看索引推荐 select * from index_recommendation_by_qual; -- 生成SQL调优报告 select PERF.QUICK_TUNE_BY_SQL(select * from t1 where id 1);六、实战调优流程照着做不出错实战调优别盲目下手按照这个步骤来一步步定位解决效率最高先抓TOP慢SQL通过监控视图、工具找出执行频繁、耗时最长的问题SQL收集基础信息查看表结构、现有索引更新表统计信息分析执行计划用explain analyze定位瓶颈是全表扫描、索引失效还是内存不足分层优化先改索引、优化SQL写法再调参数、用HINT最后上并行、物化视图验证效果对比优化前后执行耗时确认性能提升长期监控防止后续数据变化、业务改动导致SQL再次变慢。最后总结KingbaseES SQL调优从来不是靠某一个绝招而是层层递进的系统性工作。先把基础的索引、SQL写法优化到位就能解决80%以上的慢SQL问题剩下的复杂场景再通过执行计划分析、参数调优、并行查询来解决。日常业务里OLTP高并发短查询重点放在索引设计、SQL规范、参数微调OLAP大数据量分析侧重并行查询、物化视图、SQL改写。调优的时候切记循序渐进改一项验证一项别一次性批量修改避免引发新的问题。只要把这些实战方法用到位KingbaseES的性能完全能满足企业级业务需求再也不用被慢SQL困扰。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2461133.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…