流复备机断档处理

news2025/5/22 17:57:13

文章目录

  • 环境
  • 症状
  • 问题原因
  • 解决方案

环境

系统平台：UOS（海光）,UOS （飞腾）,UOS（鲲鹏）,UOS（龙芯）,UOS （申威）,银河麒麟svs（X86_64）,银河麒麟（飞腾）svs,银河麒麟（龙芯）svs,银河麒麟 （X86_64）,银河麒麟 （飞腾）,银河麒麟 （鲲鹏）,银河麒麟 （海光）,银河麒麟 （龙芯）,中科方德 （海光）,中科方德 （X86_64）,中科方德（海光）SVS,中科方德（兆芯）,普华Linux（龙芯）,银河麒麟（龙芯）R系 V4,银河麒麟（飞腾）U系 V4,中标麒麟 （鲲鹏）,中标麒麟 (x86-64) 6
版本：9.0,6.0,5.1,5.6.5,14,13,12,11,10.4,5.6.4,5.6.3,5.6.1,4.5.9,4.5.8,4.5.7,4.5.6

症状

HGDB流复制环境，备库与主库数据不一致 数据库报错日志如下：

2024-05-28 14:17:18.707 CST,,,7820,,665576ee.1e8c,1,,2024-05-28 14:17:18 CST,,0,日志,00000,"在时间点: 0/BA000000 (时间安排6)启动日志的流操作",,,,,,,,,""
2024-05-28 14:17:18.707 CST,,,7820,,665576ee.1e8c,2,,2024-05-28 14:17:18 CST,,0,致命错误,XX000,"无法从WAL流中获得数据: 错误:  所要求的WAL段0000000600000000000000BA已经被删除",,,,,,,,

问题原因

数据库备节点所需wal日志已被删除，导致备节点接收不到相应日志，流复制断连

解决方案

流复制集群出现主备数据库因断档导致数据不同步的问题，均可使用以下第一种方式解决，此解决方法若是数据量较大的情况下要选择在夜间业务不繁忙时重做备库，因为重做过程可能会对资源占用较大，对数据库运行有一定影响。第二种方法适用于备库所需wal日志已被删除，但归档还在的情况，优先使用此种方式解决，两种方案的具体解决步骤如下所示：

一、主节点没有归档的情况

主备断档时间较久，备库需要的wal日志，或者归档日志已经被删除；

此情况只能选择使用pg_basebackup重做备库，示例步骤如下：

示例环境

IP数据目录
主节点x.x.2.49/data/highgo/data
备节点x.x.2.50/data/highgo/data
  1. 停掉备节点数据库
[root@HGDB-458 highgo]# pg_ctl stop
  1. 重命名备节点data目录
[root@HGDB-458 highgo]# mv /data/highgo/data /data/highgo/databak
  1. 备节点使用pg_basebackup重新同步数据目录
[root@HGDB-458 highgo]# pg_basebackup -h x.x.2.49 -p 5866 -U sysdba -D /data/highgo/data -Fp -P -Xs -R -v
  1. 创建复制槽
    创建复制槽可以确保主从数据库之间的数据一致性。主数据库产生的 WAL 日志在从数据库处理之前不会被删除，但若出现备节点异常宕机或断档情况会导使主节点wal日志累积严重会导致磁盘爆满，需要权衡其优缺点，并根据具体情况来选择是否使用，具体配置步骤如下：

主节点：

[root@HGDB-458 highgo]# psql highgo sysdba
highgo=# select * from pg_create_physical_replication_slot('node_1');
highgo=# select * from pg_replication_slots;          # 检查是否创建成功

备节点：

修改postgresql.auto.conf配置文件，添加复制槽相关配置：

vim /data/highgo/data/postgresql.auto.conf
## 添加以下参数值
primary_slot_name = 'node_1'
  1. 启动备节点数据库，检查流复制状态
[root@HGDB-458 highgo]# pg_ctl start
[root@HGDB-458 highgo]# psql -d highgo -U sysdba
highgo=# select * from pg_stat_replication ;
 pid  | usesysid | usename | application_name | client_addr  | client_hostname | client_port |         backend_start         | backend_xmin |   state   |  sent_lsn  | write_lsn  | fl
ush_lsn  | replay_lsn |    write_lag    |    flush_lag    |   replay_lag    | sync_priority | sync_state |          reply_time           
------+----------+---------+------------------+--------------+-----------------+-------------+-------------------------------+--------------+-----------+------------+------------+---
---------+------------+-----------------+-----------------+-----------------+---------------+------------+-------------------------------
 1651 |     9999 | sysdba  | walreceiver      | x.x.2.50 |                 |       58026 | 2024-05-28 11:08:15.038853+08 |              | streaming | 0/B9000000 | 0/B9000000 | 0/
B9000000 | 0/B9000000 | 00:00:00.101506 | 00:00:00.101506 | 00:00:00.101506 |             0 | async      | 2024-05-28 11:08:14.512443+08
(1 行记录)

二、主节点有归档的情况

主备流复制断档，由于未配置复制槽，wal已被删除，查询数据库日志，某wal日志文件已被删除，但在主节点归档目录中查询到此wal日志文件

此情况可通过拷贝归档日志到备节点恢复流复制

具体示例步骤如下：

示例环境：

IP数据目录归档目录
主节点x.x.2.49/data/highgo/data/data/highgo/hgdbbak/archive
备节点x.x.2.50/data/highgo/data/data/highgo/hgdbbak/archive

1、通过数据库日志查询备节点所需wal日志# 相关文档

vim  /data/highgo/data/hgdb_log/highgodb_28.csv
## 相关日志如下所示
2024-05-28 14:17:18.707 CST,,,7820,,665576ee.1e8c,1,,2024-05-28 14:17:18 CST,,0,日志,00000,"在时间点: 0/BA000000 (时间安排6)启动日志的流操作",,,,,,,,,""
2024-05-28 14:17:18.707 CST,,,7820,,665576ee.1e8c,2,,2024-05-28 14:17:18 CST,,0,致命错误,XX000,"无法从WAL流中获得数据: 错误:  所要求的WAL段0000000600000000000000BA已经被删除",,,,,,,,

2、在主节点归档目录中找到查询出的wal日志

[root@HGDB-458 pg_wal]# cd /data/highgo/hgdbbak/archive
[root@HGDB-458 pg_wal]# ls -l 0000000600000000000000BA
-rw------- 1 root root 16777216 5月  28 13:30 0000000600000000000000BA

3、将此归档日志及之后的所有归档打包并拷贝到备节点中

[root@HGDB-458 archive]# cd /data/highgo/hgdbbak/archive
[root@HGDB-458 archive]# find . -type f -newermt '2024-05-28 13:30' -exec tar -zcvf hgdb_archive_bak0528.tar.gz {} +
# 将当前目录下修改时间在 '2024-05-28 13:30' 及之后的所有文件打包为hgdb_archive_bak0528.tar.gz
[root@HGDB-458 archive]# scp hgdb_archive_bak0528.tar.gz root@x.x.2.50:/data/highgo/
# 拷贝到备节点/data/highgo/目录下，也可以用其他方式

4、恢复wal日志(备节点操作)
解压归档日志到数据目录pg_wal文件夹下

[root@HGDB-458 archive]# tar -zxvf hgdb_archive_bak0528.tar.gz -C /data/highgo/data/pg_wal/

5、检查流复制是否恢复
主节点执行

[root@HGDB-458 opt]# psql highgo sysdba
highgo=# select * from pg_stat_replication ;
 pid  | usesysid | usename | application_name | client_addr  | client_hostname | client_port |         backend_start         | backend_xmin |   state   |  sent_lsn  | write_lsn  | flush_ls
n  | replay_lsn | write_lag | flush_lag | replay_lag | sync_priority | sync_state |          reply_time           
------+----------+---------+------------------+--------------+-----------------+-------------+-------------------------------+--------------+-----------+------------+------------+---------
---+------------+-----------+-----------+------------+---------------+------------+-------------------------------
 3716 |     9999 | sysdba  | walreceiver      | x.x.2.50 |                 |       58918 | 2024-05-28 14:17:24.354824+08 |              | streaming | 0/C3000000 | 0/C3000000 | 0/C30000
00 | 0/C3000000 |           |           |            |             0 | async      | 2024-05-29 05:22:51.494491+08
(1 行记录)
# 流复制已恢复正常

6、配置复制槽功能
创建复制槽可以确保主从数据库之间的数据一致性。主数据库产生的 WAL 日志在从数据库处理之前不会被删除，但若出现备节点异常宕机或断档情况会导使主节点wal日志累积严重会导致磁盘爆满，需要权衡其优缺点，并根据具体情况来选择是否使用，具体配置步骤如下：

主节点：

[root@HGDB-458 highgo]# psql highgo sysdba
highgo=# select * from pg_create_physical_replication_slot('node_1');
highgo=# select * from pg_replication_slots;          # 检查是否创建成功

备节点：

修改postgresql.auto.conf配置文件，添加复制槽相关配置：

vim /data/highgo/data/postgresql.auto.conf
## 添加以下参数值
primary_slot_name = 'node_1'

配置完成后重启备节点数据库使修改生效

[root@HGDB-458 highgo]# pg_ctl restart

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2383292.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

局部放大maya的视图HUD文字大小的方法

局部放大maya的视图HUD文字大小的方法

一、问题描述： 有网友问：有办法局部放大maya的字体吗比如hud中currenttime打开之后画面右下角有个frame 想放大一下能做到吗？ 在 Maya 中，可以通过自定义 HUD（Heads-Up Display）元素的字体大小来局部放大特…
阅读更多...
初识Linux · NAT 内网穿透 内网打洞 代理

初识Linux · NAT 内网穿透 内网打洞 代理

目录 前言： 内网穿透和打洞 NAPT表 内网穿透 内网打洞 正向/反向代理 前言： 本文算是网络原理的最后一点补充，为什么说是补充呢，因为我们在前面第一次介绍NAT的时候详细介绍的是报文从子网到公网，却没有介绍报文…
阅读更多...
STM32接收红外遥控器的遥控信号

STM32接收红外遥控器的遥控信号

经过几天早晨的学习，终于把遥控器的红外信号给搞通了，特此记录一下；其实说白了，红外遥控就是高低电平的信号，用时间来区分是二进制的0还是1；然后把这些0或1，在组装成一个32位的数基本就算是完事…
阅读更多...
Redis从入门到实战 - 高级篇（下）

Redis从入门到实战 - 高级篇（下）

一、Redis键值设计 1. 优雅的key结构 Redis的Key虽然可以自定义，但最好遵循下面几个最佳实践约定： 遵循基本格式：[业务名称]:[数据名]:[id]长度不超过44字节不包含特殊字符 例如：我们的登录业务，保存用户信息&…
阅读更多...
GUI实验

GUI实验

题目： 编程包含一个标签和一个按钮，单击按钮时，标签的内容在"你好"和"再见"之间切换。 分析： 导入所需的Java库：程序使用了 javax.swing 包中的一些类来创建图形用户界面。 创建一个 JFrame 对象…
阅读更多...
量子计算 | 量子密码学的挑战和机遇

量子计算 | 量子密码学的挑战和机遇

量子计算在密码学中的应用现主要体现在对现有加密算法的威胁上。最著名的例子是Shor算法，该算法能够在多项式时间内分解大整数，从而威胁到基于大数分解的加密算法，如RSA加密。此外，量子计算还可以加速某些类型的密码分析&#xff…
阅读更多...
分享一些多模态文档解析思路

分享一些多模态文档解析思路

多模态文档解析思路小记 作者：Arlene 原文：https://zhuanlan.zhihu.com/p/1905635679293122466 多模态文档解析内容涉及：文本、表格和图片 解析思路v1 基于mineru框架对pdf文件进行初解析 其具备较完整的布局识别和内容识别，并将…
阅读更多...
AI知识梳理——RAG、Agent、ReAct、LangChain、LangGraph、MCP、Function Calling、JSON-RPC

AI知识梳理——RAG、Agent、ReAct、LangChain、LangGraph、MCP、Function Calling、JSON-RPC

AI技术I AI技术II RAG 📌 高度凝练表达 RAG （检索增强生成）是一种结合信息检索与生成式人工智能的技术框架，旨在提升大型语言模型（LLM）的输出准确性和实用性。通过在生成响应前引入外部知识库的信息&#…
阅读更多...
【实用教程】如何快速搭建一套私有的埋点系统？

【实用教程】如何快速搭建一套私有的埋点系统？

这篇教程将基于开源项目-ClkLog，教大家快速搭建一套自有的埋点系统，从0开始完成数据采集、分析与展示，全流程掌控用户行为数据。 ClkLog是一款支持私有化部署的全开源用户行为数据采集与分析系统，兼容Web、App、小程序多端埋点&am…
阅读更多...
深入解析 Uniswap：自动做市商模型的数学推导与智能合约架构

深入解析 Uniswap：自动做市商模型的数学推导与智能合约架构

目录 1. 自动做市商（AMM）模型的数学推导1.1 恒定乘积公式推导1.2 价格影响与滑点 2. Uniswap 智能合约架构解析2.1 核心合约（Core）2.1.1 工厂合约（Factory）2.1.2 交易对合约（Pair） 2…
阅读更多...
React 19版本refs也支持清理函数了。

React 19版本refs也支持清理函数了。

文章目录 前言一、refs 支持清理函数二、案例演示1.useEffect写法2.React 19改进 的ref写法 总结 前言 React 19版本发布了ref支持清理函数了，这样就可以达到useEffect一样的效果了。为啥需要清理函数呢，这是因为节约内存。 清理事件监听（避…
阅读更多...
阿尔泰科技助力电厂——520为爱发电！

阿尔泰科技助力电厂——520为爱发电！

当城市的霓虹在暮色中亮起，当千万个家庭在温暖中共享天伦，总有一群默默的 "光明守护者" 在幕后坚守 —— 它们是为城市输送能量的电厂，更是以科技赋能电力行业的阿尔泰科技。值此 520 爱意满满的日子，阿尔泰科技用硬核技…
阅读更多...
C#语法篇 ：基类子类转换，成员变化情况

C#语法篇 ：基类子类转换，成员变化情况

在C#中，会有从子类对象到基类对象的转换，这属于C#中的向上扩容，一般可以默认转换。 方法的转换 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks;namespace ex3._4 …
阅读更多...
【漫话机器学习系列】264.内距（又称四分位差）Interquartile Range

【漫话机器学习系列】264.内距（又称四分位差）Interquartile Range

深入理解内距（Interquartile Range，IQR）——数据分析中的异常值利器 在日常的数据分析中，我们经常需要识别和处理异常值（Outliers），而内距（Interquartile Range，简称 IQR…
阅读更多...
海外盲盒系统开发：重构全球消费体验的科技引擎

海外盲盒系统开发：重构全球消费体验的科技引擎

当盲盒文化席卷全球，海外盲盒系统开发已成为重构消费体验的核心赛道。数据显示，2025年全球盲盒市场规模突破120亿，东南亚市场年增长率达4540。我们开发的海外盲盒系统，以技术创新为驱动，打造覆盖全链路的全球化解决方案…
阅读更多...
高噪声下扩展边缘检测算子对检测边缘的影响

高噪声下扩展边缘检测算子对检测边缘的影响

目录 一、常见的边缘检测算子 二、扩展边缘检测算子对检测边缘的影响 三、结论 一、常见的边缘检测算子 Sobel 算子： Prewitt算子;
阅读更多...
vuejs处理后端返回数字类型精度丢失问题

vuejs处理后端返回数字类型精度丢失问题

标题问题描述 后端返回数据有5.00和3.30这种数据，但是前端展示的时候返回对应分别为5和3.0，小数点后0都丢失了。 接口返回数据展示network-Response： 接口返回数据展示network-Preview： 错误数据效果展示 发现问题 浏览器接口…
阅读更多...
mysql数据库-中间件MyCat

mysql数据库-中间件MyCat

1. MyCat简介 在整个 IT 系统架构中，数据库是非常重要，通常又是访问压力较大的一个服务，除了在程序开发的本身做优化，如： SQL 语句优化、代码优化，数据库的处理本身优化也是非常重要的。主从、热备、分表分…
阅读更多...
手搓四人麻将程序

手搓四人麻将程序

一、麻将牌的表示 在麻将游戏中，总共有一百四十四张牌，这些牌被分为多个类别，每个类别又包含了不同的牌型。具体来说，麻将牌主要包括序数牌、字牌和花牌三大类。序数牌中，包含有万子、条子和筒子，每种花色…
阅读更多...
PotPlayer 安装 madVR、LAV Filters 以提升解码能力和视频音频效果

PotPlayer 安装 madVR、LAV Filters 以提升解码能力和视频音频效果

PotPlayer自带的解码器并不是最好，如下两张截图都是出自 TOP GUN: Maverick 较暗、灰蒙蒙的一张，是安装插件之前明亮的一张，是安装插件之后 详细安装参考 https://www.bilibili.com/video/BV1UV5qzuE74?spm_id_from333.788.videopod.sectio…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023