Postgresql: 流复制出现delay

postgresql在流复制模式（stream）时，slave侧log出现以下错误： record with zero length at XXX FATAL:terminating walreceiver process due to administrator command 错误 ...

从备用服务器读取数据的应用程序可能会遇到过时的数据。在故障转移过程中，备用服务器可能需要更多时间追上主服务器，导致停机时间增加。如果主服务器发生故障，未复制的事务可能会丢失。高复制延迟会降低备用服务器的整体性能。

复制延迟是指数据写入主数据库和复制到备用数据库之间的时间延迟。在PostgreSQL中，复制延迟可能是由各种原因造成的，如网络延迟、缓慢的磁盘I/O、长时间运行的事务等。在使用备用数据库进行故障转移的高可用性系统中，复制延迟可能会产生严重的后果。如果复制延迟太长，可能会导致故障转移时数据丢失。最常见的方法是在主节点中运行引用该视图的查询。

基础知识：复制和WAL 复制是一种机制，将来自一个数据库（“主”）的数据复制到另一个辅助数据库（“副本”或“备用数据库”），使其保持同步。 大多数数据库都具有支持此功能的内置机制。 为服务配置主PostgreSQL数据库后，应创建一个或多个副本数据库，以防丢失主数据库或决定从主数据库卸载某些操作。 通常，使用主数据库快照初始化副本，然后通过获取和重放主数据库事务来保持最新状态 PostgreS...

问题 MySQL的复制存在一个回放延迟的问题，即备机回放的速度赶不上主机SQL执行的速度，导致延迟越来越厉害。原因在于MySQL的binlog回放是单线程，主机的SQL执行是多线程，单线程的回放速度跟不上。这个问题，BAT的工程师们在公开场合讲过N次了，印象很深刻。而对于这个问题，各路高手也对MySQL做了各种优化。比如备机回放也使...

主从复制的两种形式 1）基于文件的日志传送 创建一个高可用性（HA）集群配置可采用连续归档，集群中主服务器工作在连续归档模式下，备服务器工作在连续恢复模式下（1台或多台可随时接管主服务器），备持续从主服务器读取WAL文件。连续归档不需要对数据库表做任何改动，可有效降低管理开销，对主服务器的性能影响也相对较低。直接从一个数据库服务器移动WAL记录到另一台服务器被称为日志传送，PostgreSQL通过一次一文件（WAL段）的WAL记录传输实现了基于文件的日志传送。日志传送所需的带宽取根据主服务器的事务率而变化；

主机：172.21.98.130 从机：172.21.98.131 前面安装按照安装手册实行，并启动主数据服务，从数据库安装好不启动； 在主机上执行； /var/lib/pgsql/12/data/ 修改postgresql.conf wal_level = hot_standby # 这个是设置主为wal的主机 max_wal_senders = 5 # 这个设置了可以最多有几个流复制连接，差不多有几个从，就设置几个 wal_keep_segments = 128 # 设置流复制保留的

PostgreSQL数据库流复制主库和备库之间的延迟时间是多少，无论对HA还是负载均衡来说都应该做个评估。比如单纯的HA架构，当主库发生故障时，我们允许多少时间内的数据丢失。不废话，直接进入本次实验测试。测试环境：主库：内存：32G，CPU：8核，IP：192.168.122.101备库：内存：32G，CPU：8核，IP：192.168.122.102数据库配置：默认测试准备：在两台服务器上安装好...

Mysql的逻辑复制性能虽然被诟病的比较久了,但是功能多,延迟复制,级联复制,多源复制. 尤其MYSQL的复制的灵活性有种被玩坏了感觉. POSTGRESQL 的复制方式其实也是支持延迟...

语法很简单，意义却很重大！16.3.10Delayed ReplicationMySQL 5.7 supports delayed replication such that a slave server deliberately lags behind the master by at least a specified amount of time. The default delay is...

为什么80%的码农都做不了架构师？>>> ...

1.问题描述： 两PostgreSQL节点采用异步流复制对数据进行同步，由于需要测试一些东西，对主库设备进行了频繁的重启操作，结果导致流复制中断，且无法自行恢复，主、备库开始产生数据差。 2.解决思路： 删除备库数据目录下所有文件，使用PostgreSQL自带的备份工具pg_basebackup，把主库数据库目录下所有文件拉取到备库数据目录下，然后直接启动备库服务即可。 3.处理过程： 3.1.查看主库状态，保证主库服务处于运行状态； 字符f表示该节点为主库，字符t表示备库，流复制中断后，角色并不会被影响；

先看日志错误： #发布端报错如下： 2022-04-01 10:18:23.812 CST,"postgres","hank",4666,"10.4.9.250:49138",624660ef.123a,1,"idle",2022-04-01 10:18:23 CST,10/0,0,ERROR,55006,"replication slot ""sub"" is active for PID 4575",,,,,,,,,"sub" 2022-04-01 10:18:28.826 CST,"postgres"

当hot_standby参数设置为on时，备库可以支持读操作。但有时你会发现，查询执行着突然遇到 terminating connection due to conflict with recovery 报错，这就是所谓的流复制冲突。

PostgreSQL延迟备库是指可以配置备库和主库的延迟时间，这样备库始终和主库保持指定时间的延迟，例如设置备库和主库之间的延迟时间为1小时 ，理论上备库和主库的延时始终保持在一小时左右；...

1.背景项目中，业务反馈说插入的数据不能及时查看到。于是查看pg_stat_replication视图，发现主备之间的replay_lag延迟很大，平均15分钟左右的延迟，导致目前业务看到的数据还是15分钟以前的数据，亟需解决。2.定位业务使用的是TBase，TBase的架构是CN + DN + GTM的这种经典架构业务整体延迟情况类似如下，并且replay_lag持续上升，在备机查看进...