自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(271)
  • 收藏
  • 关注

原创 中电科金仓支持在线修改同步范围解析或过滤指定表对象DML语句功能介绍与配置使用说明

开启同步服务后,当用户需要在不中断同步业务的情况下,在线修改同步的范围,对指定表对象的DML语句进行解析或过滤时,可采用该命令进行实现。

2025-02-12 17:45:43 729

原创 中电科金仓KFS支持指定断点位置同步数据功能介绍与配置使用说明

知道断点位置(如Oracle的SCN号),并且需要从该位置开始解析。

2025-02-12 17:45:11 349

原创 中电科金仓KFS支持整模式校验功能介绍与配置使用说明

在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,需要确认两端数据的一致性的场景。

2025-02-12 17:44:39 317

原创 中电科金仓KFS支持异构数据库校验功能介绍与配置使用说明

在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,需要确认两端数据的一致性的场景。

2025-02-12 17:41:55 330

原创 中电科金仓KFS支持以离线状态启动同步服务功能介绍和使用说明

中电科金仓、KingbaseFlySync、KFS、同步服务、安装系统服务、开机自启KFS支持以离线(offline)状态启动同步服务。同步服务启动时,默认以在线(online)状态启动,在某些场景下,需要在启动同步服务后,让同步服务保持离线(offline)状态。replicator start offline1) KFS已安装部署;2) 同步服务未启动命令行执行:replicator start offline查看同步服务状态,可以看出同步服务启动后保持离线(offline)状态《Kingbase Fl

2025-02-12 17:41:05 177

原创 中电科金仓KFS支持校验增量数据功能介绍与配置使用说明

中电科金仓、KingbaseFlySync、KFS、KFSMC、电科金仓、数据校验、数据比对、校验增量数据、增量校验KFS增量校验是数据校验与增量数据实时同步并行,仅校验增量部分数据是否一致的方式。校验解析到源端的增量数据与目标端数据库中数据,不需要连接源端数据库查询数据,对源端业务无影响。在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,源端业务不停机,且存量数据大,数据校验耗时长,仅校验增量数据一致性的场景。1.参考《Kingbase FlySync 安装部署手册》部署金仓数据同步管理平台(KF

2025-02-12 17:40:30 252

原创 中电科金仓KFS支持同构数据库校验功能介绍与配置使用说明

在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,需要确认两端数据的一致性的场景。

2025-02-08 16:20:16 402

原创 中电科金仓KFS支持同步服务开机自启功能介绍和使用说明

1)仅安装系统服务2)安装系统服务并启动同步服务3)卸载系统服务。

2025-02-08 16:19:43 420

原创 中电科金仓KFS支持跳过单事务中指定SQL功能介绍与配置使用说明

同步过程中,由于某些原因,同一个事务中的个别SQL入库时有冲突需要跳过。

2025-02-08 16:19:11 278

原创 中电科金仓KFS支持双机热备高可用自动切换(KFS-HA)功能介绍与配置说明(下)

当运行KFS-replicator的机器故障时,KFS-replicator能自动切换到其他节点运行。

2025-02-08 16:18:38 814

原创 中电科金仓KFS支持双机热备高可用自动切换(KFS-HA)功能介绍与配置说明(中)

当运行KFS-replicator的机器故障时,KFS-replicator能自动切换到其他节点运行。

2025-02-08 16:17:45 933

原创 中电科金仓KFS支持双机热备高可用自动切换(KFS-HA)功能介绍与配置说明(上)

当运行KFS-replicator的机器故障时,KFS-replicator能自动切换到其他节点运行。

2025-02-08 16:17:15 922

原创 中电科金仓KFS支持删除指定 SEQ 号范围内 kufl 信息功能介绍及配置使用说明

当我们需要清空或删除指定 SEQ 号范围内的所有 kufl 信息时,可通过使用命令行工具kufl中的purge参数来实现。

2025-02-08 16:16:43 488

原创 中电科金仓KFS支持全量数据校验功能介绍与配置使用说明

在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,需要确认两端数据的一致性的场景,通过校验表的全量数据,确认详细数据是否一致。参考《Kingbase FlySync 安装部署手册》部署金仓数据同步管理平台(KFSMC)、同步程序(KFS),并启动服务KFSMC的部署管理-节点管理,添加KFS节点。登录KFSMC点击部署管理-节点管理-新建,添加KFS源端、目标端节点点击数据校验-任务管理,新建校验任务点击数据校验-调度管理,新建调度任务,关联校验任务。

2025-01-17 16:17:59 368

原创 中电科金仓KFS支持启用指定模式下的所有触发器功能介绍与配置使用说明

当源端或目标端需要启用指定模式下的触发器时,可通过参数 trigger-enable来实现上述操作。

2025-01-17 16:05:06 777

原创 中电科金仓KFS支持过滤DDL与DML混合事务中DML功能介绍与配置使用说明

同一个事务中既有DDL也有DML,但是需要过滤掉该事务中的DML。如复制表的操作(CREATE TABLE AS)不仅有DDL,复制数据时的操作也会被数据库日志记录下来,从而被解析,此时就需要将DML过滤,避免目标端数据冲突或重复。源端KFS已安装完成源端Oracle或KingbaseES V8配置方式:在开启同步 DDL 后生效,主要针对 create tableas 类型语句,同时产生 DDL 和 DML,来确认是否保留 DML,true 为保留,false 为不保留。

2025-01-17 15:58:09 372

原创 中电科金仓KFS支持多表校验功能介绍与配置使用说明

在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,需要确认两端数据的一致性的场景。参考《Kingbase FlySync 安装部署手册》部署金仓数据同步管理平台(KFSMC)、同步程序(KFS),并启动服务KFSMC的部署管理-节点管理,添加KFS节点。登录KFSMC点击部署管理-节点管理-新建,添加KFS源端、目标端节点点击数据校验-任务管理,新建校验任务点击数据校验-调度管理,新建调度任务,关联校验任务点击数据校验-调度管理-立即执行,或等待校验任务定时自动调起。

2025-01-17 15:51:39 299

原创 中电科金仓KFS支持单表校验功能介绍与配置使用说明

在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,需要确认两端数据的一致性的场景。参考《Kingbase FlySync 安装部署手册》部署金仓数据同步管理平台(KFSMC)、同步程序(KFS),并启动服务KFSMC的部署管理-节点管理,添加KFS节点。登录KFSMC点击部署管理-节点管理-新建,添加KFS源端、目标端节点点击数据校验-任务管理,新建校验任务点击数据校验-调度管理,新建调度任务,关联校验任务点击数据校验-调度管理-立即执行,或等待校验任务定时自动调起。

2025-01-17 15:43:45 287

原创 中电科金仓KFS支持查询当前同步的断点位置功能介绍与配置使用说明

查询源端解析到的位置或目标端入库的情况。

2025-01-15 18:18:56 380

原创 中电科金仓KFS支持不停业务校验存量数据功能介绍与配置使用说明

Oracle-Kingbase ES数据库组合,不停机迁移完成后,源端有增量业务的情况下,校验迁移的存量数据的场景。

2025-01-15 18:14:09 744

原创 中电科金仓KFS支持本地记录断点信息功能介绍与使用说明

KingbaseFlySync、KFS、电科金仓、本地记录断点、 heartbeat、flysync.ini、file_metadata。

2025-01-15 18:03:27 433

原创 OpenGauss安装部署金仓KFS同步程序—OpenGauss作为源端时的安装部署

Kingbase FlySync 支持OpenGauss B模式(即sql_compatibility=’B’)作为源端进行数据同步,通过解析 OpenGauss的 xlog 来 进行数据的增量解析。下面将介绍 OpenGauss作为源端进行部署的方式.

2025-01-15 17:59:51 354

原创 中电科金仓KFS支持MD5模式数据校验功能介绍与配置使用说明

在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,需要快速校验两端数据一致性的场景,通过校验每行数据的生成的 MD5 摘要值确认两端数据的一致性,提升数据校验的效率。

2025-01-15 17:43:59 276

原创 中电科金仓KFS数据校验能力介绍

在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,需要确认两端数据的一致性的场景。精简模式主要针对场景仅校验源端、目标端数据条目数是否一致。主要用于大数据量表粗略判断数据是否存在差异的场景。详细模式1)全量校验主要针对场景校验表的全量数据,确认详细数据是否一致。2)抽样校验主要针对场景仅校验表中符合条件的数据,如按时间筛选,校验筛选结果的详细数据是否一致3)分片校验主要针对场景大表详细校验一次性查询数据量大,可能导致校验异常。

2025-01-14 15:15:55 810

原创 中电科金仓KFS支持本地记录断点信息功能介绍与使用说明

需要在同步服务配置文件flysync.ini中添加参数,具体配置参数如下所示:# 配置源端过滤器。

2025-01-13 18:15:27 282

原创 中电科金仓KFS查看KUFL文件内容功能介绍和使用说明

直接查看2. 输出到文件中查看。

2025-01-13 18:12:19 232

原创 中电科金仓KFS查看KUFL文件列表和存储SEQ号范围功能介绍和使用说明

中电科金仓、KingbaseFlySync、KFS、命令行工具、KUFL列表、SEQ号KFS支持使用命令行工具查看KUFL文件的列表和存储的SEQ号范围。源端使用命令行工具查看源端KFS从源端数据库解析出来的KUFL文件列表和存储的SEQ号范围,目标端使用命令行工具查看目标端KFS从源端获取后存储到本地的KUFL文件列表和存储的SEQ号范围。kufl -service xxx index命令行执行:kufl -service xxx list其中,每一行对应一个KUFL文件,KUFL 文件后面括号内的数字为

2025-01-13 18:10:22 271

原创 中电科金仓KFSMC支持由外部文件导入节点信息功能介绍及使用说明

当客户在KFSMC需要管理多个同步程序节点时,如果在界面上一个节点一个节点的添加,操作步骤繁琐且效率低下。此时,可以通过外部文件导入的方式批量导入节点信息,减少添加节点的工作量,提高添加效率。进入管控台--部署管理--节点管理,点击导入/导出按钮,并选择模板下载得到一个节点信息导入模板excel文件:文件内容如下:修改上述内容为自己想要导入的节点信息。2. 进入管控台--部署管理--节点管理,点击导入/导出按钮,点击导入选择节点导入文件,并打开:节点信息导入成功。

2025-01-13 18:05:24 383

原创 中电科金仓KFS 双轨并行命令工具repswitch功能介绍及使用说明

中电科金仓KFS 双轨并行命令工具简称repswitch,在KFS双轨并行同步场景下,进行主从角色切换,启停和显示同步集群等。[node1]rmi_port=XXX #机器1的KFS同步服务端口rmi_host=XX.XX.XX.XX #机器1的IP地址[node2]rmi_port=XXX #机器2的KFS同步服务端口rmi_host=XX.XX.XX.XX #机器2的IP地址注:该配置文件配置在一台机器上即可。

2025-01-13 17:59:03 333

原创 中电科金仓KFS replsntrans工具功能介绍及使用说明

KFS replsntrans工具可以将KFS实时同步过程中记录的断点信息转换为数据库中记录的日志序列号,并给出该日志点所在的日志文件名。无。

2025-01-09 18:30:23 412

原创 中电科金仓KFS repkeyclean工具功能介绍及使用说明

KFS repkeyclean是一个无主键表辅助工具,可自动为无主键的表生成custompkey.json和skipeventbytype.json;生成的custompkey.json用于KFS实时同步时对无主键表的update、delete操作指定生成的kufl带的key值列;skipeventbytype.json用于对指定表的DML操作(insert、update、delete)进行过滤。

2025-01-09 18:28:36 716

原创 解决中电科金仓KFS同步GIS类型异常问题

从图3、图4、图5以及图6中可以看出,此时gis数据类型能够正常同步至oracle数据库中,这有力地证实了配置geometrytypecheck过滤器参数后KFS能够解决gis数据类型同步异常的问题。在目标端为oracle数据库时,通过KFS同步服务将gis类型同步至oracle数据库场景下,此时目标端同步服务在入库阶段将不能识别该数据类型和值,从而目标端同步服务会报错。注:如果是无主键表情况,另需配置custompkey过滤器(源端目标端都可以),否则同步失败。或者表名可以直接写为 “*”

2025-01-09 18:25:11 995

原创 中电科金仓KingbaseFlysync(KFS)支持源端SQLServer的rowversion、timestamp列同步功能介绍及使用说明

在flysync.ini中新增如下配置:dropcolumn.json配置文件示例2. 在KingbaseFlySync的replicator安装包中执行安装/更新,使配置生效注1、该过滤器配置后,将指定列从解析出的sql中删除注2、该过滤器需要对表名、列名进行配置,如果数据库中rowversion类型使用频繁,此处可能会产生一定的工作量。

2025-01-09 18:22:19 782

原创 中电科金仓KingbaseFlysync(KFS)支持源端SQLServer的rowversion、timestamp列同步功能介绍及使用说明

在flysync.ini中新增如下配置:dropcolumn.json配置文件示例2. 在KingbaseFlySync的replicator安装包中执行安装/更新,使配置生效注1、该过滤器配置后,将指定列从解析出的sql中删除注2、该过滤器需要对表名、列名进行配置,如果数据库中rowversion类型使用频繁,此处可能会产生一定的工作量。

2025-01-09 18:18:50 476

原创 中电科金仓KingbaseFlysync(KFS)支持SQLServer Always On故障转移时平滑切换到新主节点的配置说明

对每张业务表,系统会自动生成cdc.dbo_Department_CT系统更改表(CT代表Capture Table),并且自动生成的系统更改表会自动同步到集群的其它所有备节点KFS会在master库生成一个登录名(不会同步到备节点),并在对应数据中生成对应的用户(会同步到备节点)SQLServer在主节点的SQLServer Agent中自动生成两个作业:捕获作业和清理作业,且这两个作业不会同步到备节点。

2025-01-09 18:18:06 338

原创 中电科金仓KingbaseFlysync(KFS)使用SQLServer作源端注册CDC时关于文件组的配置使用说明

关键字:中电科金仓、KingbaseFlySync、KFS、同步程序、replicator、数据同步、数据解析、SQLServer、filegroup、CDCSQLServer新建数据库时,会自动创建PRIMARY文件组,并默认使用该文件组来存储数据。SQLServer作为源端进行数据同步时,需要先对数据库开启CDC,并且使用文件组存储相关数据。在实际的项目中,用户基于不同的立场,会对文件组的使用进行限制,主要分为两类:使用数据库默认的文件组、使用KFS自己创建的文件组property = replicat

2025-01-09 18:17:36 319

原创 中电科金仓KingbaseFlysync(KFS)使用SQLServer作源端时自增列同步功能介绍及使用说明

在flysync.ini中新增如下配置:## sqlserver源端存在自增列且需要显式的在目标端插入时,目标端需要配置如下参数:## 配置下列相关的参数,将会对源端生成的、符合条件的sql进行整改:## 例如配置了dropUpdateSet=true且假设ID列是自增列## 会将:update tablename set ID=1,A=2 where ID=1 and A=1## 整改为:update tablename set A=2 where ID=1 and A=1。

2025-01-09 18:15:57 880

原创 中电科金仓KingbaseFlysync(KFS)使用SQLServer作源端时DDL自动注册CDC功能介绍及使用说明

管理员登录KFSMC;使用【部署管理】-【拓扑配置】界面,拖入源端SQLServer图标和相关目标端数据源图标,然后对源端SQLServer进行相关配置。

2025-01-09 18:14:49 397

原创 中电科金仓KFS支持跳过多个事务功能介绍与配置使用说明

目标端存在其他业务,导致从源端同步到目标端的一批数据入库时出错,经过排查发现需要跳过多个连续的事务。

2025-01-08 18:11:43 365

原创 中电科金仓KFS支持数据校验任务指定部分表自动修复功能介绍与配置使用说明

用于部分表不关心差异数据具体内容,仅需要保持两端数据一致,而部分表需要人工介入判断是否修复的场景。

2025-01-08 18:11:03 346

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除