- 博客(36)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 实时数据同步方案
本方案基于数据库日志解析技术，实时捕获源库交易事务中的数据DML变更操作，并将变更操作根据实际情况进行过滤转换后在目标库执行，实现同构或异构数据库间的实时数据同步，满足数据共享或数据分析需求。
2025-04-15 14:58:28
2020
原创 数据分布&数据质量&数据统计
灵蜂数据集成软件BeeDI提供数据分布、数据质量、数据统计功能。1 可查看任意数据库、文件或Hadoop数据分布情况。2 支持数据唯一性、完整性（非空、取值合规、引用一致）质量分析，支持数据分布下钻查看具体记录。3 提供记录总数、算术和、平均值、最大值、最小值、方差及标准差指标统计分析，支持一维、二维、三维数据度量，按照维度特征自动输出饼图、趋势图、及直方图。
2025-03-02 15:32:14
3691
原创 OceanBase到MySQL实时数据同步方案
本方案基于OceanBase Binlog服务，采用数据库实时复制软件Beedup订阅捕获OceanBase数据库的Binlog事件，复制软件将Binlog事件还原为MySQL支持的DML或DDL，然后交由MySQL数据库执行。
2025-01-02 20:16:03
5366
原创 Oracle到DM实时数据同步实施方案
将Oracle 11g RAC生产环境数据同步到DM8分析环境，Oracle数据库大小1.5T，日增归档100G，DM数据库为新建库。初始同步表数70多张，其中10张表记录数过千万，最大表记录数上亿，后续根据需要增加其它同步表。数据同步正常延时不超过5秒。在Oracle中，非空列允许存入长度为0的字符串（空串），而在DM中长度为0的字符串不允许写入非空列，由此导致部分非空列包含空串的数据无法同步写入DM库。
2023-08-10 11:19:52
7336
原创 Kafka实时数据同步
支持Oracle、DB2、SQL Server、MySQL、达梦等交易数据库实时数据捕获（日志解析），支持SAP Hana、GreenPlum、ClickHouse、Hbase、Hive等分析数据库批量数据写入。支持实时捕获业务系统变化数据并将其发步到Kafka，也支持从Kafka订阅实时数据并写入数仓或大数据平台。
2023-05-22 23:41:13
5977
原创 异构数据库同步方案
除用于双活容灾外，凭借异构（主从库不同类型、主从对象不同属主模式）数据处理能力，也可应用于数据同步、数据迁移及数据汇聚项目，在同类或异类库间同步数据，目标数据可选择与源端不同的属主模式存储
2023-02-16 17:19:35
11115
原创 ETL性能优化
BeeDI内置多种机制用于ETL性能优化，可选择同步、异步、并发、缓冲更新等不同数据载入方式或调整提交缓冲记录数优化单一ETL任务性能，也可调整任务并发数优化多任务运行性能。BeeDI提供性能监测功能，可输出ETL各项操作与内存关系变化曲线，通过性能监测，确定ETL性能瓶颈，最终实现ETL性能优化。
2022-09-03 23:38:45
10070
原创 OPC数据采集
目录一 概述二 配置1 定义OPC接口2 定义存储接口3 采集项目浏览4 项目值预览5 存储格式定义6 过滤加工定义7 已采集数据预览Beeload提供OPC数据采集功能，支持OPC DA（Data Access）及OPC UA（Unified Architecture）通信标准访问OPC设备，软件按照设定的采集频率持续读取OPC设备数据，支持对采集的数据进行过滤加工处理，处理完成的数据可选择存入各类主流数据库（MySQL、SQL Server、PostgreSQL等）或文本文件。以下内容包含 Beeloa
2022-06-17 19:06:21
4713
1
原创 ETL集群部署
目录一 概述二 配置1 主备资源管理器配置2 作业服务器配置三 操作1 登录资源管理器2 调度执行作业3 作业服务器故障任务迁移4 后备RM接管一 概述BeeDI 提供集群部署调度功能，支持ETL任务在多台服务器上的自由迁移，BeeDI集群部署包含客户端、资源管理器、作业服务器。客户端登录资源管理器发布调度任务，资源管理器负责将任务动态加载到可用的作业服务器运行。当某一作业服务器出现故障，其上运行的任务将被加载到其它作业服务器上继续运行。BeeDI集群组件交
2022-03-18 11:02:23
4109
原创 数据同步 模式汇总
目录1 全量同步1.1 全表覆盖1.2差异更新2 增量同步2.1时间戳2.2触发器2.3日志解析BeeDI支持全量及增量数据同步功能，可定时或实时保持目标与源端数据一致。1 全量同步将源表全部数据（或满足特定过滤条件的部分数据）同步到目标表，当源表数据量较大时，同步时间较长。依据同步前是否删除目标表已有数据可选择全表覆盖或差异更新方式。1.1 全表覆盖在同步数据前首先删除目标表已有数据（或依据过滤条件删除特定数据），然后将源表数据批量写入目标表。全....
2021-12-24 18:11:17
4276
原创 跨库合并数据（数据联邦）
概述BeeDI支持跨库合并数据功能（数据联邦），多个数据源（异构数据库或文本、Xml、Excel文件）数据无需落地到某一数据库，直接在内存进行关系运算产生合并后的数据，相较于传统落地方式，数据联邦提供更快捷、更高效的数据处理能力。操作下面对分布于MySQL、SQL Server、文本文件中的数据分片进行合并，形成统一的主题数据定义数据接口在BeeDI中新建ETL任务，定义需要合并的数据接口（涉及MySQL、SQL Server、文本文件）。选择合并数据依次从各个数据接口中选择将要
2021-08-21 17:59:02
5373
原创 数据库实时同步方案
一 原理Beedup采用数据库逻辑复制技术，通过实时解析主库日志还原执行的DML及DDL并按照事务单元重新在从库执行，实现主从库的数据完全一致。目前支持Oracle、SQL Server、DB2、MySQL、PostgreSQL等数据库实时同步。二 配置采用Beedup实现数据同步，主库必须开启归档日志，主库连接用户需授予读取日志及系统字典的权限。Beedup采用JDBC连接主库及从库，软件配置十分简单，默认指定主库及从库的连接参数即可。复制任务启动后，自动设置当前主库时间为日志捕获
2021-07-05 15:20:10
7743
原创 数据探查分析
1.概述BeeDI提供任意数据的探查分析功能，通过探查可快速了解数据属性取值分布状况（有效值数，空值数、不同属性值数量百分比等），优化改善数据质量。通对数据量化分析可多维显示数据总数、算术和、平均值、最大值、最小值、方差及标准差等统计指标。2界面操作选择BeeDI[工具]菜单下的[数据分析]命令，弹出[数据分析]对话框，依次选择分析接口，分析表、分析行列信息，点击[导入]按钮开始导入将要分析的数据，界面如下：分析数据导入后，以柱形图显示属性值分布情况。对于标称属性，按照属性值统.
2021-05-27 16:06:48
3026
原创 异构数据比对
1.概述BeeDI提供任意数据库间（Oracle、SQL Server、MySQL、PostgreSQL、DB2、Elasticsearch、Cassandra、MongoDB、Solr、HBase等）表的数据一致性校验比对功能，具体特点如下：支持异构表的比对（不同表名，目标表字段可多于源表）. 支持无主键表的比对。 支持海量数据比对。2界面操作选择BeeDI[工具]菜单下的[数据比对]命令，弹出[数据比对]对话框，依次选择主从表数据接口，从接口资源窗口拖拽将要比对的表节点到比对面板，界面
2021-04-05 17:24:14
2137
原创 多源异构数据库实时同步解决方案
1 需求概述将企业多个业务系统产生的交易数据流实时同步到数据仓库或大数据平台，通过对交易数据的联机实时分析，快速制定或调整商业计划，提升企业的核心竞争力。需求关键点：同步过程不可影响或中断业务系统正常运行、同步延时3级以内。2 技术原理采用灵蜂数据集成软件BeeDI在异构库间进行实时数据同步，通过ETL全量同步历史数据，通过日志解析方式实时同步增量数据，BeeDI提供Oracle、SQL Server、M.
2021-03-07 16:15:15
7648
原创 MySQL 实时同步 解决方案
目录1 需求概述2 技术原理3 MySQL环境配置3.1 创建用户3.2 启用BinLog4 BeeDI同步操作4.1 配置全量同步任务4.2 配置实时日志解析任务4.3 执行全量同步任务4.4 执行实时日志解析任务4.5 添加更多同步表5 效验同步数据一致性1 需求概述将MySQL5.6生产库多张表的数据实时同步到Oracle11g数据仓库，MySQL历史数据700G，平均每天产生50G左右日志文件，MySQL日志空间50G，超过后滚动删除日志文件。
2021-02-16 00:27:23
5352
2
原创 跨数据库数据一致性校验
1.概述BeeDI提供任意数据库之间（Oracle、SQL Server、MySQL、PostgreSQL、Elasticsearch、Cassandra、MongoDB、Solr等）表的数据比对功能，具体特点如下：支持异构表的比对（不同表名，目标表字段可多于源表）. 支持无主键表的比对。 支持海量数据比对。 支持脚本实时或定时比对、也可通过图形界面实时比对。2.脚本比对通过脚本实现数据比对时，在BeeDI脚本窗口输入主从库连接参数、循环调用内置API isSync对多张主从表进行比对。
2020-12-07 10:01:08
2710
原创 SQL Server 同步方案 对比
以下表格对SQLServer数据库同步的多种方案进行横向功能对比，便于用户根据项目实际需求选择最佳的适配方案.
2020-10-19 09:22:54
969
原创 MySQL 实时同步到 ES 轻松配置
目录1 基本概述2 环境配置2.1 创建用户2.2 启用BinLog3 BeeDI同步操作3.1 创建同步作业3.2创建测试数据3.3 预览MySQL变化数据3.4 同步数据到ES1 基本概述本文介绍采用灵蜂数据集成软件BeeDI将MySQL数据实时同步到ElasticSearch的配置操作过程。BeeDI支持时间戳、触发器、日志解析、差异比对等多种同步模式，对于实时同步需要采用日志解析模式2 环境配置2.1 创建用户在主库创建同步用户，以用户syn.
2020-09-25 02:00:27
1380
原创 PostgreSQL 实时复制+CDC
1 基本概念PostgreSQL数据库复制功能是指实时保持PostgreSQL主从库数据一致，同时从库可以提供查询服务降低主库负载。CDC(Change Data Capture)变化数据捕获的简称，用于实时捕获PostgreSQL数据库变化数据，并将捕获的数据向其它数据库（同构或异构）或应用系统同步。Beedup提供PostgreSQL数据库复制与CDC一体化方案，通过解析PostgreSQL数据库的wal日志，将解析的结果数据封装为DML或DDL并按照事务单元在目标库执行，实时保持主从库数据
2020-09-17 00:29:11
4154
原创 BeeDI Post表单数据
BeeDI支持基于Http Post方式传递表单数据，既可采用名值对的参数方式上传表单项，也可通过Json格式封装表单数据上传。下面以Solr为例介绍BeeDI 的Post表单操作。1 启动Solr在命令行模式执行Solr启动命令solr start -e cloud然后全部采用默认设置，solr启动完毕，界面如下：2 创建集合在Microsoft Edge地址栏输入http://127.0.0.1:8983/solr，打开Solr管理页面，在其中创建集合person,然后.
2020-09-11 13:26:41
224
原创 数据库 复制+审计
随着企业信息化的不断发展，企业业务量迅速增加，业务种类日益复杂。为了保障业务系统的可用性，企业通常购置存储备份产品去备份数据到本地或异地，当数据库设备发生故障后，可以通过还原备份数据来恢复业务系统。但是这种传统备份恢复机制存在严重的缺陷，一旦数据库服务器出现故障，由于设备维修及还原备份数据需要较长时间，业务系统将长时间停止响应。灵蜂Beedup采用数据库逻辑复制技术，通过解析还原主库日志，将还原产生的DML及DDL按照事务单元重新在从库执行，实现主从库的数据完全一致。当主库发生故障时，通过IP地址切
2020-07-26 20:09:45
279
原创 ETL任务调度
ETL任务用于定义数据的抽取，转换及装载规则。而ETL任务调度（简称ETL调度）用于控制ETL任务的启动运行（启动时间、运行周期及触发条件），实现数据的传输转换操作。ETL调度按照功能复杂度分为简单定时调度和工作流调度二种方式。定时调度用于控制ETL任务按照某一时间属性周期运行，如在每个工作日的19点启动交易数据采集任务或每月1号启动报表数据汇总任务。定时调度难以处理多个相关ETL任务间的依赖关系，也无法有效处理ETL异常。对于某些不具备定时调度功能的ETL软件可以采用操作系统提供的定时功能，如Li
2020-06-16 15:25:45
5728
原创 Oracle RAC+ASM 数据库实时同步
采用Beedup对某省交警数据库实施数据同步，主库环境Oracle RAC+ASM，内存64G，历史数据19T，日增归档100G，从库单实例环境，内存192G。以下是项目实施过程遇到的主要问题：1 历史数据同步启用Beedup批量复制功能（通过数据库链接主从库直接复制表数据），但在复制BLOB表时由于表记录数太多(6000万)导致执行周期太长而失败。尝试Oracle导入导出方式（IMP...
2020-04-06 15:54:52
1679
原创 Oracle双向同步测试方案
1. 测试目标2. 测试环境2.1 测试数据库2.2 创建测试表2.3 开启数据库归档2.4 s3建立同步用户2.5 配置同步任务2.5.1 安装BeeDI2.5.2 全量任务2.5.3 增量任务 3. 测试步骤 3.1 全量同步 3.2 实时同步3.2.1 增删改合并...
2020-01-26 16:46:03
3383
原创 MySQL高可用双活方案
1 需求概述2 技术方案 2.1 双活同步条件 2.1.1 自增主键 2.1.2 同步用户 2.1.3 启用BinLog 2.2 配置复制任务 2.2.1 单向复制任务 2.2.2 反向复制任务 2.3 启动复制任务1 需求概述多地业务系统直接读写某地A的MySQL中心数据库数据...
2019-12-02 18:11:10
11210
原创 大数据环境数据追溯
业务数据在生产库产生后，依据集成需求向其它系统传递（如CRM、DW、Hadoop等），数据从产生到最终的使用中间需要跨越多个系统，经历多次加工处理。随着集成需求的变化，数据加工处理环节越来越多，了解某一数据如何处理变得越来越困难。通过数据追溯，用户可以精确了解数据处理的每一环节，确保数据正确使用。 灵蜂数据集成软件BeeDI内置数据追溯功能，支持对集成环境涉及的任意表...
2019-11-11 12:20:52
3131
原创 批量文件同步方案
批量文件同步用于将本地或异地服务器指定目录下的文件定时或实时同步到异地或本地，保持目录文件内容一致。进行批量文件同步需要考虑以下问题：1 网络带宽及稳定性。2 文件内容保密性。3 同步模式，点对点单向或双向、一对多、多对一。4 部署及维护成本。采用灵蜂数据集成软件BeeDI实施批量文件同步，具有如下特点：1 软件内置FTP/FTPS传输协议，可按照文件大小及修改时间仅传送...
2019-10-28 12:47:57
778
1
原创 多源数据汇聚方案
也称数据上报、数据集中，采用N+1模式，将地理上分布于多点的下辖部门日常产生的业务数据同步汇聚到数据中心，汇聚后的数据包含原始业务数据所有信息，用于集中共享或向大数据平台提供输入数据。该类项目具有以下特点：1 部门众多，每个部门包含多个业务系统，不同业务系统采用不同类型数据库。2 同一类业务系统在各个部门间存在数据库类型、表结构不一致等情况。3 业务数据库与中心数据库类型不同导致的数据...
2019-10-24 23:07:05
9301
原创 启用MySQL SSL安全连接
1 查看MySQL SSL环境登录MySQL服务器，输入以下命令mysql -u root -p -h 127.0.0.1连接会话建立后，输入以下命令SHOW VARIABLES LIKE '%ssl%';如果have_openssl和have_ssl字段显示DISABLE，表示当前mysql拥有ssl的功能，但是ssl功能未启动。检查当前连接状态\s如果显示SSL: Not in...
2019-10-22 15:41:05
1640
原创 启用Oracle SSL安全连接
1 创建Wallet认证请求 打开Oracle Wallet Manager，选择Wallet菜单新建命令，输入Wallet用户名及密码，Wallet类型选择【标准】，点击【确定】按钮，在弹出的创建证书请求确认对话框选择【是】，在创建证书请求对话框输入【公用名称】、组织单位、选择【国家地区】，点击【确定】按钮。 鼠标右键点击证书:[已请求]节点，在快捷菜单选择【导出证书...
2019-10-22 14:34:46
7765
原创 SQL Server双活环境配置
在使用SQL Server数据库日志解析方式复制数据库前，需要首先启用数据库完整日志并对数据库进行完整备份。随着业务系统的持续运行，数据库在线日志文件会变得越来越大，需要定期备份收缩在线日志。1 启用数据库完整日志 打开SQL Server Management Studio，右键点击将要复制的数据库，在弹出的快捷菜单中选择【属性】命令，弹出【数据库属性】对话框，...
2019-08-31 15:23:19
4649
4
原创 数据库容灾软件测试计划
测试目的验证Beedup对SQL Server2008及以上版本的数据库实时复制、数据容灾功能。 了解Beedup技术实现方式，依赖的运行环境，为制定容灾方案提供参考。测试目标Beedup全量初始化复制、实时增量复制功能 DDL复制支持，支持角色、用户、架构、登录用户、表 (列定义 主外键 索引)、视图、存储过程、函数、触发器等对象复制 Beedup对主库的无侵入部署运行，不影响生产库...
2019-08-23 10:07:45
974
原创 数据集成方案
也称ETL、对跨部门的业务数据进行抽取、合并、清洗标准化，处理后的数据可以存入主数据存储库向各个业务系统提供一致的数据视图（主数据管理），也可按照主题数据格式存入大数据平台进行数据分析、挖掘（数据仓库、大数据）。数据集成常见问题如下：1 涉及部门众多，数据接口类型多样化。2 顶层设计缺失或历史原因，数据缺乏统一标准，信息孤岛、数据碎片化现象严重。3 数据冗余、数据不一致、错误数据等系列...
2019-08-23 09:27:02
4750
原创 数据库容灾方案
也称数据库双活、数据库复制，即在本地或异地部署一个与生产库完全相同的灾备数据库，当生产库由于各种原因（错误操作、系统软件错误、病毒、硬件故障、断电、火灾、地震等）发生故障时，灾备数据库可以立刻接管原有应用，对外正常提供服务。进行数据库容灾需要考虑以下问题：1 本地容灾还是异地容灾，异地容灾的网络带宽及稳定性。2 灾备数据库是否需要在线查询，是否需要效验比对某些核心数据是否与生产库一致。...
2019-08-23 09:19:39
8830
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人