针对PostgreSQL中pg_wal目录占用过大的系统性解决方案

news2025/6/4 9:37:52

一、问题现象与根本原因

pg_wal目录占用超过预期(如数十GB甚至占满磁盘),通常由以下原因导致

  1. 长事务未提交​:未完成的事务会阻塞WAL日志清理。
  2. 复制槽未释放​:逻辑复制或流复制槽未及时清理,导致WAL文件保留。
  3. 检查点配置不合理​:checkpoint_timeout时间过长或max_wal_size设置过大。
  4. 归档失败​:若启用归档模式但archive_command执行失败,WAL文件无法归档和清理。
  5. 逻辑复制延迟​:备库未及时同步主库数据,导致主库保留冗余WAL。

以下是针对PostgreSQL中pg_wal目录占用过大的系统性解决方案,适合整理成CSDN技术博客:


一、问题现象与根本原因

pg_wal目录占用超过预期(如数十GB甚至占满磁盘),通常由以下原因导致

2

4

  1. 长事务未提交​:未完成的事务会阻塞WAL日志清理。
  2. 复制槽未释放​:逻辑复制或流复制槽未及时清理,导致WAL文件保留。
  3. 检查点配置不合理​:checkpoint_timeout时间过长或max_wal_size设置过大。
  4. 归档失败​:若启用归档模式但archive_command执行失败,WAL文件无法归档和清理。
  5. 逻辑复制延迟​:备库未及时同步主库数据,导致主库保留冗余WAL。

二、诊断方法

1. 检查WAL占用情况
-- 查看当前WAL日志总量(单位GB)
SELECT pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), '0/0')::bigint);
2. 定位未完成的复制槽
SELECT slot_name, active, restart_lsn FROM pg_replication_slots;

若存在未使用的复制槽(activefalse),需手动清理

3. 检查长事务
SELECT pid, query, now() - xact_start AS duration 
FROM pg_stat_activity 
WHERE state IN ('idle in transaction', 'active') 
ORDER BY duration DESC;

终止超过1小时未提交的事务

三、解决方案

1. 调整WAL保留策略

修改postgresql.conf参数:

max_wal_size = 4GB        -- 控制WAL最大空间(默认1GB)
min_wal_size = 1GB        -- 最小保留空间(默认80MB)
checkpoint_timeout = 5min -- 触发检查点的时间间隔(默认5分钟)
wal_keep_segments = 0     -- 禁用冗余WAL保留(默认0)

修改后执行pg_ctl reload生效

2. 清理复制槽
-- 删除无效复制槽
SELECT pg_drop_replication_slot('slot_name');
3. 强制触发检查点
CHECKPOINT; -- 手动触发检查点,回收旧WAL文件
4. 归档模式下的清理

若启用归档(archive_mode = on):

此命令会删除比指定文件名更早的所有归档文件

5.windows下面执行删除wal记录

定期清理pg事务日志
SELECT pg_walfile_name_offset(pg_current_wal_lsn());
CHECKPOINT;
"D:\PostgreSQL\bin\pg_archivecleanup.exe" "D:\postgresql\data\pg_wal" 0000000100002A28000000C4

6.linux下执行删除记录

# 停止数据库
pg_ctl stop

# 定位可删除的WAL文件(基于检查点)
pg_controldata $PGDATA | grep "Latest checkpoint's REDO WAL file"
# 示例输出:0000000100000001000000A2

# 删除该文件之前的所有WAL(谨慎操作!)
cd $PGDATA/pg_wal
rm -f 0000000100000001000000A1  # 仅示例,实际需按文件名顺序删除

# 重启数据库
pg_ctl start

四、自动化清理脚本

脚本示例​(每日清理15天前的归档):

#!/bin/bash
ARCHIVE_DIR="/path/to/archive"
RETENTION_DAYS=15
LATEST_WAL=$(pg_controldata $PGDATA | grep "Latest checkpoint's REDO WAL file" | awk '{print $6}')

# 清理旧归档
pg_archivecleanup $ARCHIVE_DIR $LATEST_WAL
find $ARCHIVE_DIR -name "000*" -mtime +$RETENTION_DAYS -exec rm -f {} \;

定时任务​(通过crontab):

0 2 * * * /path/to/cleanup_script.sh >> /var/log/pg_wal_clean.log 2>&1

五、注意事项

  1. 监控工具建议​:
    • 部署Prometheus+Alertmanager监控pg_wal目录大小。
  2. 测试环境验证​:所有参数调整和清理操作需先在非生产环境验证。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2396339.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

秋招Day12 - 计算机网络 - 网络综合

从浏览器地址栏输入URL到显示网页的过程了解吗? 从在浏览器地址栏输入 URL 到显示网页的完整过程,并不是一个单一的数据包从头到尾、一次性地完成七层封装再七层解析的过程。 而是涉及到多次、针对不同目的、与不同服务器进行的、独立的网络通信交互&a…

QT-JSON

#include <QJsonDocument>#include <QJsonObject>#include <QJsonArray>#include <QFile>#include <QDebug>void createJsonFile() {// 创建一个JSON对象 键值对QJsonObject jsonObj;jsonObj["name"] "John Doe";jsonObj[…

IP 风险画像技术略解

IP 风险画像的技术定义与价值 IP 风险画像通过整合 IP 查询数据与 IP 离线库信息&#xff0c;结合机器学习算法&#xff0c;为每个 IP 地址生成多维度风险评估模型。其核心价值在于将传统的静态 IP 黑名单升级为动态风险评估体系&#xff0c;可实时识别新型网络威胁&#xff0…

秋招Day12 - 计算机网络 - 基础

说一下计算机网络体系结构 OSI七层模型&#xff0c;TCP/IP四层模型和五层体系结构 说说OSI七层模型&#xff1f; 应用层&#xff1a;最靠近用户的层&#xff0c;用于处理特定应用程序的细节&#xff0c;提供了应用程序和网络服务之间的接口。表示层&#xff1a;确保从一个系…

【网络安全】——Modbus协议详解:工业通信的“通用语言”

目录 一、初识Modbus&#xff1a;工业通信的基石 1.1 协议全称 1.2 协议简史 二、核心特性解析 2.1 架构设计 2.2 典型应用场景 三、协议族全景图 3.1 协议栈分类 3.2 版本演进对比 四、协议报文深度解析 4.1 Modbus RTU帧结构 4.2 Modbus TCP报文 五、通信机制实…

【GlobalMapper精品教程】095:如何获取无人机照片的拍摄方位角

文章目录 一、加载无人机照片二、计算方位角三、Globalmapper符号化显示方向四、arcgis符号化显示方向一、加载无人机照片 打开软件,加载无人机照片,在GLobalmapperV26中文版中,默认显示如下的航线信息。 关于航线的起止问题,可以直接从照片名称来确定。 二、计算方位角 …

小提琴图绘制-Graph prism

在 GraphPad Prism 中为小提琴图添加显著性标记(如*P<0.05)的步骤如下: 步骤1:完成统计检验 选择数据表:确保数据已按分组排列(如A列=Group1,B列=Group2)。执行统计检验: 点击工具栏 Analyze → Column analyses → Mann-Whitney test(非参数检验,适用于非正态数…

[GHCTF 2025]SQL???

打开题目在线环境&#xff1a; 先尝试注入&#xff1a; id1;show databases; 发现报错&#xff0c;后来看了wp才知道这个题目是SQLite注入。 我看的是这个师傅的wp: https://blog.csdn.net/2401_86190146/article/details/146164505?ops_request_misc%257B%2522request%255Fid…

【科研绘图系列】R语言绘制GO term 富集分析图(enrichment barplot)

禁止商业或二改转载,仅供自学使用,侵权必究,如需截取部分内容请后台联系作者! 文章目录 介绍加载R包数据下载导入数据数据预处理画图code 2code 3系统信息介绍 本文介绍了使用R语言绘制GO富集分析条形图的方法。通过加载ggplot2等R包,对GO term数据进行预处理,包括p值转换…

Laravel单元测试使用示例

Date: 2025-05-28 17:35:46 author: lijianzhan 在 Laravel 框架中&#xff0c;单元测试是一种常用的测试方法&#xff0c;它是允许你测试应用程序中的最小可测试单元&#xff0c;通常是方法或函数。Laravel 提供了内置的测试工具PHPUnit&#xff0c;实践中进行单元测试是保障代…

Kotlin委托机制使用方式和原理

目录 类委托属性委托简单的实现属性委托Kotlin标准库中提供的几个委托延迟属性LazyLazy委托参数可观察属性Observable委托vetoable委托属性储存在Map中 实践方式双击back退出Fragment/Activity传参ViewBinding和委托 类委托 类委托有点类似于Java中的代理模式 interface Base…

基于 HT for Web 轻量化 3D 数字孪生数据中心解决方案

一、技术架构&#xff1a;HT for Web 的核心能力 图扑软件自主研发的 HT for Web 是基于 HTML5 的 2D/3D 可视化引擎&#xff0c;核心技术特性包括&#xff1a; 跨平台渲染&#xff1a;采用 WebGL 技术&#xff0c;支持 PC、移动端浏览器直接访问&#xff0c;兼容主流操作系统…

精英-探索双群协同优化(Elite-Exploration Dual Swarm Cooperative Optimization, EEDSCO)

一种多群体智能优化算法&#xff0c;其核心思想是通过两个分工明确的群体——精英群和探索群——协同工作&#xff0c;平衡算法的全局探索与局部开发能力&#xff0c;从而提高收敛精度并避免早熟收敛。 一 核心概念 在传统优化算法&#xff08;如粒子群优化、遗传算法&#xf…

解决Ubuntu20.04上Qt串口通信 QSerialPort 打开失败的问题

运行Qt串口通信 open(QIODevice::ReadWrite) 时&#xff0c;总是失败。 1、打印失败原因 QString QSerialHelper::openSerail() {if(this->open(QIODevice::ReadWrite) true){return this->portName();}else{return "打开失败";//return this->errorStri…

设计模式——观察者设计模式(行为型)

摘要 本文详细介绍了观察者设计模式&#xff0c;包括其定义、结构、实现方式、适用场景以及实战示例。通过代码示例展示了如何在Spring框架下实现观察者模式&#xff0c;以及如何通过该模式实现状态变化通知。同时&#xff0c;对比了观察者模式与消息中间件在设计理念、耦合程…

【计算机系统结构】习题2

目录 1.有一条静态多功能流水线由5段组成&#xff0c;加法用1、2、4、5段&#xff0c;乘法用1、3、5段&#xff0c;第3段时间为&#xff0c;其余各段为&#xff0c;且流水线的输出可直接返回输入端或暂存器&#xff0c;若计算&#xff0c;试计算吞吐量、加速比、效率 2.有一动…

用户资产化视角下开源AI智能名片链动2+1模式S2B2C商城小程序的应用研究

摘要&#xff1a;在数字化时代&#xff0c;平台流量用户尚未完全转化为企业的数字资产&#xff0c;唯有将其沉淀至私域流量池并实现可控、随时触达&#xff0c;方能成为企业重要的数字资产。本文从用户资产化视角出发&#xff0c;探讨开源AI智能名片链动21模式S2B2C商城小程序在…

机器学习实验七--SVM垃圾邮件分类器

SVM垃圾邮件分类器 一、什么是SVM二、实例&#xff1a;垃圾邮件分类器1.实验要求2.原理解释2.1 数据预处理流程2.2 特征提取方法2.3 SVM分类器 3.代码实现4.实验结果5.实验总结 一、什么是SVM 支持向量机(Support Vector Machine, SVM)是一种监督学习算法&#xff0c;主要用于…

C++23 std::fstreams基础回顾

文章目录 引言1.1 std::fstreams概述1.2 std::fstreams的主要功能和常用操作 2. 独占模式 (P2467R1) 的详细介绍2.1 独占模式的定义和背景2.2 独占模式的作用和优势 3. C23 std::fstreams支持独占模式 (P2467R1) 的具体实现方式3.1 代码示例3.2 实现步骤解释 4. 使用该特性可能…

Git初识Git安装

目录 1. Git初识 1.1 提出问题 1.2 如何解决--版本控制器 1.3 注意事项 2 Git安装 2.1 Centos 2.2 Ubuntu 2.3 Windows 1. Git初识 1.1 提出问题 不知道你工作或学习时&#xff0c;有没有遇到这样的情况&#xff1a;我们在编写各种文档时&#xff0c;为了防止文档丢失…