- 博客(1012)
- 资源 (9813)
- 收藏
- 关注
RSS订阅原创 国产化新标杆：TiDB 助力广发银行新一代总账系统投产上线
随着全球金融市场的快速发展和数字化转型的深入推进，金融科技已成为推动银行业创新的核心力量。特别是在当前复杂多变的经济环境下，银行业务的高效运作和风险管理能力显得尤为重要。总账系统作为银行会计信息系统的核心，承载着记录、处理和汇总全行财务数据的关键职能，其性能和可靠性直接关系到银行的运营效率和决策质量。广发银行紧跟时代步伐，全面升级新一代总账系统，旨在提供更高效、更安全的账务服务。新一代总账系统采用全栈式国产化技术栈。系统自上线以来，运行稳定，各项指标均符合设计预期。
2025-04-08 17:19:04
483
原创 从分销转向零售，TCL实业是如何考虑中台建设和数据库选型的？
2019 年，TCL 完成资产重组，集团正式拆分为 TCL 实业和 TCL 科技两部分。其中，TCL 实业聚焦智能终端产品及服务，涉及电视、空调、白家电等多个产品，在业务模式上，逐渐从分销走向零售，和消费者的距离越走越近。少了渠道商这道“缓冲”，直接面对千人千面的终端消费者提供产品和服务，意味着过去粗放式、千篇一律的模式也就难以为继。TCL 实业内部亟需一个精细化、精准化的业务平台做支撑，数字化转型迫在眉睫。
2025-04-08 17:14:07
829
原创 两种快照模式cow和row
假设创建20个快照，回滚到第10个时，需要把第10个之前的增量分片和源数据全部组合起来，这会对系统性能造成一定影响。快照指向源文件，当修改源文件时，会重新复制与源文件一样的新文件，并将快照指针指向新的文件，修改源文件内容。创建的第一个快照指向源文件，修改文件时，保留原数据，新文件写入新划分的区域中，并将指针指向新的区域；1.由于没有完整的快照卷，读取时要把源文件和修改的增量分片合并。2.由于创建时复制，所以要考虑环境中的剩余空间是否充足。1.修改快照时要先复制一份源数据，再进行写，影响写性能。
2025-04-07 11:42:04
620
原创 申威服务器3108RAID卡配置
megacli -PDList -aALL | egrep 'Adapter|Enclosure Device ID|CoercSize|Drive Temperature|PD Type|Slot|Inquiry' #查看控制器solt信息。megacli -AdpGetProp -enablejbod -aALL #查看JBOD是否开启。megacli -AdpSetProp -EnableJBOD -0 -aALL #开启JBOD。
2025-04-07 11:20:21
289
原创 vcenter由于目标计算机积极拒绝，无法连接
出现了常规系统错误: PBM error occurred during PreCloneCheckCallback: 由于目标计算机积极拒绝，无法连接。1.在服务列表中，检查 VMware vSphere Profile-Driven Storage Service 服务状态，启动后即可解决问题。当 Profile-Driven Storage Service 未在运行或不授受连接时，会出现此错误。注意：此服务也称为基于策略的管理 (PBM)。后来发现克隆的时候也发生了该错误。
2025-04-07 11:17:31
332
原创 限制服务器访问IP
使用高级ACL以及在接口启用IP地址与MAC地址绑定。在这之前需要先确认需要绑定的MAC地址与IP。3、在接口下应用ACL与MAC绑IP。以华为千兆交换机为例，步骤如下。2、绑定MAC地址与IP地址。
2025-04-07 11:12:39
222
原创 查看H3C交换机是否存在拥塞丢包
命令查看存在丢包计数的端口的基于队列的流量统计信息，若发现Dropped字段存在计数，则说明该接口上存在由于队列拥塞而导致的丢包。，即端口在非常短的时间（毫秒级别）内收到非常多的突发数据，以至于瞬时突发速率达到平均速率的数十倍、数百倍，甚至超过端口带宽。加剧耗费大量的网络资源（特别是存储资源），不合理的资源分配甚至可能导致系统陷入资源死锁而崩溃。或 dis packet-drop interface。对于设备上出现了队列拥塞而导致的丢包，可以通过。使网络的有效吞吐率降低，造成网络资源的损害；
2025-04-07 11:12:02
416
原创 华为交换机配置远程连接与升级
在工作中通过Telnet\ssh方式登录交换机进行设备登录管理能更加便利，不需要到机房里直接用console线直连设备进行高度，只要在能连接到交换机管理网络的电脑上使用远程连接管理即可。准备：交换机有管理ip；电脑和交换机管理ip之间网络互通。一，配置交换机管理地址，配置交换机管理接口ip address 10.10.204.50 255.255.0.0 //根据需要配置IP地址，如果有需要可以配置上路由二，开启telnet，并创建用户或者。
2025-04-07 11:09:49
367
原创 ESXI开启混杂模式
需要针对下面的虚拟交换机修改，而不是修改标准交换机。不修改也可能出现能通网络但是个别虚拟机网速特别慢的情况。在网络切换过程中，ESXI虚拟化需要在安全中开启混杂模式，才可以获取到交换机vlan，通过trunk模式通信。
2025-04-07 11:07:28
257
原创 Centos7.x多网卡策略路由
一台Linux主机，在配置多个网络平面的情况下，使用传统的静态路由，只能基于目标网段进行配置，会造成外部ip总是只能与一个内部ip互通。策略路由可以解决不同网段使用不同ip进行通讯的问题。#原路由rt_table中默认有三个路由条目，编号为253-255，新增路由条目编号在1-252任意选择一个值，越小优先级越高；#如果需要自启动生效可以写进配置文件也可以加入rc.local，需要给文件执行权限。#在rt_table中新增1个路由表条目。另外在network文件中添加。
2025-04-07 11:05:14
275
原创 TiKV Raft 快照全流程丨TiKV 源码解读（二十二）
Raft Leader 生成一份快照，记录下 Raft 和 RocksDB 在当前时间点的状态。Raft Leader 通过网络把快照发送给 Follower。Raft Follower 接收快照并暂时存储。Raft Follower 将快照应用到 Raft 状态机和 RocksDB 数据中。以下图表更详细地描述了快照过程:图 2. TiKV 中的 Raft 快照过程以上便是 TiKV 中与快照相关的代码路径概览。
2025-04-07 09:51:36
652
原创 从 MySQL 迁移到 TiDB：使用 SQL-Replay 工具进行真实线上流量回放测试 SOP
1.1 工具简介SQL-Replay 工具是一个设计用于回放 MySQL 慢查询文件和 parse-tshark 抓包文件的 GitHub 开源项目，目的是帮助评估数据库兼容性和性能。这个工具支持多种操作模式，包括解析慢查询日志、回放这些日志、将回放结果加载到数据库中以及生成报告。1.2 原理概述a. MySQL 的慢日志文件以及通过 parse-tshark 抓包生成的文件，这些日志中包括 SQL 执行时间、SQL 文本。
2025-04-07 09:49:28
1059
原创 SHOPLINE x TiDB丨集群成本降低 50%！跨境电商 SHOPLINE 交易、商品管理等核心业务的数据库升级之路
SHOPLINE 是一家提供一站式跨境电商解决方案的公司，专注于帮助企业和个人在全球范围内建立和发展他们的在线业务。SHOPLINE 提供的服务包括但不限于在线商店搭建、多渠道销售、库存管理、支付系统整合、物流跟踪、营销工具以及客户关系管理等。通过这些服务，SHOPLINE 旨在帮助商家轻松管理他们的在线销售和客户关系，同时提供必要的技术支持和数据分析，以优化业务运营和提高转化率。随着业务量的增长，选择合适的技术栈，尤其是数据库和后端服务，成为一大挑战。需要确保所选技术能够处理大规模数据并支持高并发访问。
2025-04-07 09:46:51
931
原创 基于 TiDB 资源管控 + TiCDC 实现多业务融合容灾测试
本文通过模拟环境测试验证，基于 TiDB 的资源管控能力可以实现多业务融合方案，通过给不同的业务系统分配不同的资源组，实现多套业务共享一套集群资源并且相互之间资源隔离的效果。基于 TiCDC 同步工具可以实现 TiDB 主备集群容灾，通过给不同的业务创建不同的同步链路，多个业务之间的主备同步流程互不干扰。结合资源管控及 TiCDC，我们可以实现一套多业务融合的容灾解决方案，能够满足企业客户尤其是金融机构同时具有多业务融合、容灾能力以及支持单体应用容灾切换演练等方面的需求。
2025-04-06 10:52:50
837
原创 分布式数据库系统环境的“无感”升级
所有节点的连接平衡后，再进行下一组节点的操作。其间，使用数据库管理工具可添加准备下线存储节点的 Leader 角色的排斥调度，当同一数据分片 Raft 组的 Leader 角色切换到其他存储节点的数据副本后，计算节点的读写流量会随之调拨。多副本组成的 Raft 组可容忍少数派的副本成员下线，所以仅有 Follower 角色数据分片的节点进行升级重启时对业务无影响，且同一副本成员节点恢复后，将自动保持副本同步状态，管理员可通过管理工具恢复 Leader 角色的调度能力。图 2 计算节点滚动式重启的连接状态。
2025-04-06 10:52:00
496
原创 TiDB 扩容过程中 PD 生成调度的原理及常见问题丨TiDB 扩缩容指南（一）
我们期望是将 store-3 上的 follower 迁移到 store-4 上，因此，在这一步骤，我们会将 store-4 和 store-3 上的副本的角色互换，最终 store-3 上的老副本会变成 learner, 而新节点上的副本角色变成 voter 也就是 follower.这个过程为了保证数据的安全性，实际情况分为两条调度指令执行。在扩容后，要做到整个集群的资源的快速均匀，一般跟我们 region 的数量、size 有直接关系，当然与我们集群的繁忙程度也有关系。
2025-04-06 10:51:24
593
原创 知乎 PB 级别 TiDB 数据库在线迁移实践
通过三个月的迁移，我们将几十套 TiDB 集群，总量 PB 级数据，通过以上各种方式，安全稳定的迁移到了新机房，在此期间，我们根据迁移方案，也开发了平台化的 DTS ，以及机房迁移模块跟进迁移进度。
2025-04-06 10:50:37
903
原创 瓜子二手车 x TiDB 丨平均耗时降低 30%，TiDB HTAP 在瓜子二手车财务中台结账核心系统的深度实践
财务中台是连接业务系统与账务系统的中间枢纽，上游对接集团所有业务系统，将业务数据转化为财务视角的数据，从而实现集团层面的业财一体化。同时财务中台可以对线上财务数据进行统一管理与输出，不仅提升了财务月结工作时效，还可以通过财务视角对企业经营状况进行分析，支撑业务决策。系统架构财务中台分为数据接入、标准单据、核心计算、数据输出四个主模块，整体以配置为主，通过配置形式应用上下游业务变化，同时解放技术人员，完全由业务或者运营人员负责业务的对接和数据的转换。
2025-04-06 10:49:49
594
原创 分布式数据库的进度管理：TiDB 备份恢复工具 PiTR 的原理与实践
如果某个 TiKV 的 Checkpoint 因为种种原因一直没有成功推进，就会阻塞住 Global Checkpoint 的推进，进而可能阻塞住 GC，无法正确清除已经完成备份的冗余数据。对于单个 Region，可以通过记录已备份数据的时间戳来实现进度管理：当数据被刷盘时，记录当前时间戳，这个时间戳就是该 Region 完成备份的最小时间节点，即 Checkpoint。同时，我们需要了解到，需要备份的数据并不会永恒的保留。如果我们希望管理备份工作的具体进度，首先需要了解的是，备份工作究竟是怎样完成的。
2025-04-06 10:49:10
584
原创 TiDB 优化器丨执行计划和 SQL 算子解读最佳实践
在数据库系统中，查询优化器是数据库管理系统的核心组成部分，负责将用户的 SQL 查询转化为高效的执行计划，因而会直接影响用户体感的性能与稳定性。优化器的设计与实现过程充满挑战，有人比喻称这是数据库技术要持续攀登的珠穆朗玛峰，永远没有最优的止境。在一般的数据库系统中，查询优化涉及复杂的算法和数据结构，需要综合考虑多种因素，如数据分布、索引选择、连接顺序等，这些因素直接影响查询的性能和资源利用率。优化器在 HTAP（Hybrid Transactional and Analytical Processing）系
2025-04-06 10:48:28
584
原创 TiDB 缩容过程中调度生成原理及常见问题丨TiDB 扩缩容指南（二）
PD 作为整个集群的大脑，时刻关注集群的状态，当集群出现非健康状态时产生新的 operator(调度单元) 指导 tikv 进行修复。文章首先解释了缩容的概念和重要性，然后深入探讨了调度生成的原理，包括资源均衡的考量和调度指令的生成过程。接下来，我们简单从 PD 的角度，看一下 operator 的执行速度，帮助我们从 PD 侧来判断下线具体卡在了哪一步。TiKV 会定期将自己的状态通过心跳的方式上报给 PD，PD 则根据 TiKV 的状态，产生相应的调度，让整个集群的资源调度能够均衡起来。
2025-04-06 10:47:13
664
原创 升级就是最好的调优：TiDB 用户收益与实践总结报告
v5.4-v6.0 版本中，TiDB 引入了对物理备份影响的优化、集群部署和升级的稳定性提升，以及全新的成本估算模型和 TiDB Dashboard 的引入，这些都极大地增强了 TiDB 的运维和管理能力。TiDB 在 v7 版本已经完成产品稳定性的改善，增强缓存池、内存限制等内核优化，降低热点数据、低效 SQL 对整个 TiDB 集群影响，同时为了提升 TiDB 各行各业业务场景的覆盖能力，发布资源管控、行级别 TTL 的关键特性，可以满足大集群多业务融合，提升产品稳定的同时达到降本增效目的。
2025-04-06 10:46:14
895
原创 数据规模超 1PB ！揭秘网易游戏规模化 TiDB SaaS 服务建设
针对多样化的业务场景，我们提供定制化的服务套餐，以满足不同计算和存储需求。我们的 SaaS 服务根据具体的业务需求，设计了多种专属套餐。高并发请求的 OLTP 场景，如游戏服务，我们推出了高性能套餐。例如，18 核 CPU 和 180GB 内存的配置，专为满足高并发业务需求而设。高存储套餐，主要针对大型业务场景的数据归档需求，同时兼容 OLAP 业务需求。普通套餐适用于常规业务场景，常规的的 TP 和 AP 业务。测试套餐，采用较小规格 6C 主机或云虚拟机，以支持业务的测试和验证环境。
2025-04-06 10:45:14
936
原创 TiDB 字符集原理和最佳实践
为了保证不会出现乱码情况，我们最好保证数据库的库、表、列、字符串字符集和会话的配置（character_set_client，character_set_results，character_set_connection）一致。如果不能保证上述条件，建议数据库的库、表、列、字符串字符集要是会话相关字符集的超集，这样可以保证字符集的无损转换。
2025-04-06 10:44:30
879
原创 多点DMALL x TiDB：从 100+ 套 MySQL 到一套 TiDB，资源管控让多库整合后顾无忧
两个能力可以单独或者同时开启，TiDB 提供用户、会话级、语句级别设置资源组，可将压力大的应用绑定到某个资源组后，TiDB 层会根据用户所绑定资源组设定的配额对用户的读写请求做流控，TiKV 层会根据配额映射的优先级来对请求做调度。鉴于 TiDB 在处理大量数据合并时，相较于传统的 MySQL 到 MySQL 合并，展现出更高的效率和灵活性，并且能够通过其资源管控特性，在有限的系统资源下保障业务的平稳运行，我们决定利用现有的 TiDB 集群，借助其动态扩缩容和高效压缩存储的能力，进一步优化数据库合并流程。
2025-04-06 10:43:38
831
原创 证券 HTAP 混合业务场景的难点问题应对
债权开放信息平台是该公司推出的特色服务，为客户提供国债、地方债等利率债以及经专业信用评级审核的高等级公司债等信用债的直接买卖渠道。该业务平台面向机构、企业、个人等客户，支持客户自主操作并自担风险。业务系统的主要特点是高并发 OLTP 交易业务与实时清算等类 OLAP 业务的混合，形成了 HTAP 新型混合业务场景。这一场景不仅要求系统能够处理高并发查询、复杂事务逻辑，还要能够高效执行大批量数据的 Merge 和 Update 操作，以及历史数据的高耗时查询和高频率批处理业务数据分析。
2025-04-06 10:42:37
894
原创 TiKV Raft Store 内存管理的原理与实现丨TiKV 源码解读（二十三）
本文首先概述了 TiKV 各模块的内存消耗情况，随后通过写请求的处理流程，分析了 Raft Store 中内存消耗的三大主要来源，并探讨了相关的内存监控与管理机制，最后简要浏览了一些源码。希望本文能帮助读者更好地了解 TiKV 实现内存可控和服务持续可用的原理，实现分布式系统的合理设计和高效运维。
2025-04-06 10:41:53
575
原创 TiDB 关联子查询及半连接的优化实践
关联子查询是指和外部查询有关联的子查询，即在子查询中使用了外部查询包含的列。在关联子查询中，对于外部查询返回的每一行数据，内部查询都要执行一次。信息流双向：关联子查询中的信息流是双向的。外部查询的每行数据传递一个值给子查询，子查询为每一行数据执行一次并返回记录，然后外部查询根据返回的记录做出决策。灵活性：关联子查询可以使用关联列的灵活性，将 SQL 查询写成子查询的形式，这往往可以极大地简化 SQL 查询，并使 SQL 查询的语义更加方便理解。
2025-04-06 10:40:14
917
原创 “多快好省”：TiDB 在现代金融系统中的应用与实践
原先，中国人寿财险的业务系统主要依赖 Oracle 数据库，从最初的选型到边缘系统的上线，经过两年多的升级改造，最终实现了核心业务系统的全面替换升级。正如客户所言：“国寿财通过采用自主可控的软硬件技术，对现有的保险核心业务系统进行深度升级和改造，开创了全栈自主技术在超大型保险公司核心系统中的应用先河，为国内金融行业关键系统的国产化建设提供了有力的实践经验。这些企业在私有云平台上部署 TiDB 后，实现了显著的成本效益，节约了 66% 的计算和存储资源，并且能够轻松实现同城双活和异地灾备的一键式部署。
2025-04-05 18:24:11
910
原创 DR Auto-Sync：TiDB 同城两中心自适应同步复制技术解析
随着传统企业对业务连续性和数据可靠性的要求不断提高，数据库系统需要同时具备更强的容灾和高可用能力。同城双中心环境下部署成为许多企业实现数据高可用和快速灾难恢复的重要策略。然而，传统的数据库复制方案在双中心部署下存在一定的技术限制，难以同时满足数据一致性和系统可用性。为了克服这些挑战，TiDB 引入了 DR Auto-Sync（Data Replication Auto Synchronous）自适应同步复制方案，专为同城双中心部署设计，旨在在保障数据一致性的同时提高系统的可用性。
2025-04-05 18:23:36
556
原创 TiDB 助力北京电信夯实电信账务系统的数据底座
电信账务系统是电信运营商的核心系统 BOSS（业务运营支撑系统）的核心部分，属于电信行业最关键业务系统之一，承担着用户账务处理、账单生成和支付处理等核心职能。账务系统的稳定和安全运行直接影响运营商的收入和用户满意度，任何系统故障都可能导致用户服务中断，进而引发经济损失和社会影响。作为电信行业典型的 HTAP（混合事务/分析处理) 应用场景，账务系统不仅要高效地处理大规模在线事务，还需实时分析复杂查询以支持业务决策。
2025-04-05 18:22:39
939
原创 TiDB 优化器丨统计信息技术剖析及使用建议
通过在部署、启动和运行阶段对统计信息的收集和加载进行细致优化，我们可以显著提高统计信息的准确性和实时性。这不仅能够保障 TiDB SQL 查询的性能和稳定性，还能减少资源消耗。最终，这些优化措施有助于降低 TiDB 所需的部署硬件成本。
2025-04-05 18:22:09
726
原创 新东方 x TiDB丨从 v1.0 到最新版，选择和升级 TiDB 的全面考量
此外，在 TiDB 的高版本中，TiDB 的 CDC（Change Data Capture）能力也得到了极大的增强，包括支持生成 Debezium 格式的数据变更事件，以及 Canal 格式的日志。在选择这个版本时，我们也对比了其他版本，最终评估确定 v6 版本已经能够满足我们的业务需求，因此我们选择了一个相对保守的版本，即 v6.5。从最初的 TiDB v1.0 版本到最新的 v6.5 和 v7.5 版本，新东方通过不断的技术迭代和优化，实现了数据架构的现代化升级，提升了系统的性能与稳定性。
2025-04-05 18:21:36
601
原创 安能物流 All in TiDB 背后的故事与成果
安能物流成立于 2010 年，经过 14 年的发展，已经成为国内领先的综合型、创新服务型物流集团。公司以成为中国物流领域高效率的连接者为愿景，为企业组织及消费者提供安全、便捷、优质、高效的物流服务。安能物流在全国拥有 20000 名员工，82 个分拨中心，覆盖全国 99.2% 的乡镇，并在 2021 年 11 月 11 日在香港联合交易所上市，成为“港股快运第一股”。在业务模式上，我们采用了货运合作商平台模式，即中心直营+网点加盟的方式。通过加盟网络，我们迅速整合了本地现有资源，实现了快速扩张。
2025-04-05 18:20:59
694
原创 杭州银行：分布式场景下快速构建数据模拟环境的探索与实践
在以往测试分布式数据库的数据准备场景中，常用技术方案可分为以下两种：一种是基于数据还原和日志前滚，即在测试环境提前还原生产环境最近的备份数据，并在收到数据需求后，将备份后形成的变化日志传送到测试环境进行应用，之后再进行脱敏等环境准备操作。同时，将数据副本数量配置为单副本，支持其从生产集群配置逻辑复制任务到复制集群，并可在收到数据需求后，创建存储卷的可写快照映射给镜像快照集群(模拟测试域内通过集中式存储快照启动的模拟测试用集群)节点，同时启动镜像快照集群。在恢复到数据一致性事务号后，该阶段将进行。
2025-04-05 18:20:21
552
原创 基于 AutoFlow 快速搭建基于 TiDB 向量搜索的本地知识库问答机器人
但是如果使用开源的 AutoFlow，即使对于没有任何开发背景的同学来说，搭建一套这样的问答系统也是一件轻而易举的事情，以下我们具体演示整个搭建的过程。TiDB 的使用人员很幸运，因为有了 tidb.ai，几乎任何有关 TiDB 的问题都可以在这个统一的平台得到相应的解答，一方面节省了自己人工去查找 TiDB 官方文档或 AskTUG 论坛的时间，另一方面 tidb.ai 拥有比普通大模型更专业的 TiDB 知识问答。注意，如果免费创建的用户已经超过一定的时效期限，API Key 将是无效的。
2025-04-05 18:19:50
939
原创 商业银行基于容器云的分布式数据库架构设计与创新实践
单个成员集群只能访问和看到自身资源。最近几年原生 K8s 技术演进发展迅速，新功能特性层出不穷愈加丰富，从技术可行性评估，容器技术早已具备支持有状态应用的能力，但是 K8s 对数据库等有状态的应用的支持，因数据库应用的特殊性，需进行一定的适配开发，以使数据库容器化的整体架构方案和技术优势和价值达到最优。某商业银行新一代业务金融云建设，以某国有大行新一代业务解决方案为建设蓝本，目标是利用新架构满足业务快速迭代的要求，提供较强的业务处理能力和灵活扩展能力，加快数字化转型和业务创新等，同时满足降本增效要求。
2025-04-05 18:18:56
785
房地产营销策划 -亿量西山院子白皮书--高端产品营销 豪宅 售楼处 物业 服务.pptx
2025-04-30
房地产营销策划 -雅安国际旅游度假区 2023-2024年度系列营销活动策划方案.pptx
2025-04-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人