性能提升100倍，GaussDB(for MySQL)近数据处理(NDP)解锁查询新姿势

最新推荐文章于 2025-03-18 09:53:13 发布

华为云技术精粹

最新推荐文章于 2025-03-18 09:53:13 发布

阅读量478

点赞数

分类专栏：云数据库文章标签：云计算华为云数据库

本文链接：https://blog.csdn.net/HWCloudDeveloper/article/details/123685686

版权

随着云数据库需求的增长，华为云GaussDB(for MySQL)通过近数据处理(NDP)解决性能挑战。NDP在存储节点执行部分SQL操作，减少网络流量，提升查询响应速度。通过批处理读取和并行处理，NDP与PQ结合，实现了查询性能的显著提升，尤其在大表扫描和分析查询中效果明显。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

林舒，20年以上数据库内核研发经验。原IBMDB2数据库内核专家，专长数据库内核性能优化、SQL查询优化、MPP分布式数据仓库技术等。现就职于华为加拿大研究所，全程参与了RDS for MySQL以及GaussDB(for MySQL)的研发工作，熟悉GaussDB(for MySQL) 全栈技术。负责NDP的总体架构设计和实现，并成功落地上线。拥有多项技术发明专利，并co-author了SIGMOD 2020 Taurus( GaussDB(for MySQL)) Paper，目前专注于下一代云数据库智能优化器的研究。

业务增长对数据库吞吐量和响应能力提出新挑战

随着企业和政府机构将其应用程序迁移到云端，对基于云的数据库即服务（DBaaS）产品的需求也在迅速增长。传统上的DBaaS产品，是云服务提供商基于现有的数据库软件本身，将常规数据库部署在云端虚拟机上，使用的是本地或者云存储。这种方法易于实施，但是未能提供足够的性能和可扩展性，而且由于需要复制数据，存储成本也很高。

为了应对这些挑战，云服务提供商开始构建新的云原生关系数据库系统，专门为云基础架构设计，通常采用将计算和存储分离到独立扩展的分布式层的设计。这种方法具有多种优势，包括数据库存储的自动扩展、按使用付费功能、跨多个AZ部署的高可靠性以及故障快速切换和恢复。这些云原生设计还有助于减少只读副本的数据更新时延，并提高硬件共享和可扩展性。华为云数据库GaussDB(for MySQL)，正是具备上述优势的一款云原生分布式数据库。

由于计算和存储节点通过网络通信，网络带宽和延迟往往成为瓶颈。为了克服这一挑战，GaussDB(for MySQL)通过从数据库节点中去除写页面的操作并将检查点操作向下推送到存储节点，以优化与写入相关的网络流量。GaussDB(for MySQL)数据库节点向存储节点发送REDO日志，而不是数据页。因为REDO日志（记录对数据页的修改）通常比修改的数据页小得多, 所以这种方法减少了网络流量。存储节点（也称为页面存储）能够根据REDO日志构建数据库页面，并可以响应数据库节点的请求，将页面返回到数据库节点。

在传统数据库中，SQL执行引擎从存储中获取数据，并执行包括投影、谓词计算和聚合在内的步骤。对于经常涉及大型表扫描的分析查询，SQL执行引擎必须从存储中读取大量数据页。当存储节点与计算分离