ShardingSphere 架构解析

📕我是廖志伟,一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》(基础篇)、(进阶篇)、(架构篇)清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。

📘拥有多年一线研发和团队管理经验,研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper),消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。

Java程序员廖志伟

🌾阅读前,快速浏览目录和章节概览可帮助了解文章结构、内容和作者的重点。了解自己希望从中获得什么样的知识或经验是非常重要的。建议在阅读时做笔记、思考问题、自我提问,以加深理解和吸收知识。阅读结束后,反思和总结所学内容,并尝试应用到现实中,有助于深化理解和应用知识。与朋友或同事分享所读内容,讨论细节并获得反馈,也有助于加深对知识的理解和吸收。💡在这个美好的时刻,笔者不再啰嗦废话,现在毫不拖延地进入文章所要讨论的主题。接下来,我将为大家呈现正文内容。

CSDN

一、核心分片机制

分片策略

ShardingSphere的分片策略是其核心机制之一,它决定了数据如何在多个数据库实例之间分布。在实现上,ShardingSphere提供了多种分片策略,以适应不同的业务需求。

  • 精确分片算法:通过将分片键的值与预定义的分片规则进行匹配,直接定位到具体的分片。这种策略适用于分片键值数量有限且相对固定的场景。

  • 范围分片算法:基于分片键的值范围进行分片,例如时间戳范围或ID范围。这种策略适用于数据量较大,且分片键的值在一定范围内连续分布的场景。

  • 复合分片算法:结合多个维度进行分片,如时间范围与ID范围结合。这种策略适用于需要根据多个条件进行数据分片的情况。

分片策略实现细节

在实现上,ShardingSphere使用ShardingRule对象来管理分片规则。分片规则定义了分片策略、分片键、分片值等参数。对于精确分片和范围分片,ShardingSphere使用Map或BoundedMap来存储分片键与分片值的映射关系。对于复合分片,则可能涉及到多个Map的联合查询。

强制路由策略

强制路由策略确保查询请求被路由到正确的分片上。在实现上,ShardingSphere通过路由表达式来控制查询请求的流向。路由表达式可以基于分片键的值、SQL语句内容等条件进行动态计算。

分布式事务

ShardingSphere支持分布式事务,确保数据的一致性。在实现上,ShardingSphere提供了多种分布式事务解决方案。

  • XA事务实现:遵循XA协议,支持两阶段提交。ShardingSphere通过协调器(Coordinator)来管理分布式事务,协调器负责事务的初始化、提交和回滚。

  • SeGA事务模型:ShardingSphere提出的SeGA(ShardingSphere Global Transaction)模型,提供了一种更灵活的事务管理方式。SeGA模型允许事务参与者根据自身需求选择本地事务或分布式事务。

  • 柔性事务补偿:在分布式环境下,当事务失败时,通过补偿机制恢复数据一致性。补偿机制包括回滚操作和补偿操作,回滚操作用于撤销已提交的操作,补偿操作用于执行恢复数据的操作。

二、读写分离体系

负载均衡

读写分离体系通过负载均衡器将读请求分散到多个从库,提高系统吞吐量。在实现上,ShardingSphere支持多种负载均衡策略,如轮询、最少连接数、响应时间等。

权重分配策略

权重分配策略根据从库的性能和负载情况,合理分配权重。在实现上,ShardingSphere使用动态权重分配策略,根据从库的实时性能指标动态调整权重。

故障自动剔除

当从库发生故障时,自动将其从负载均衡器中剔除。在实现上,ShardingSphere通过心跳机制检测从库的健康状态,当从库发生故障时,将其从负载均衡器中剔除。

连接池管理

ShardingSphere管理数据库连接,提高连接复用率。在实现上,ShardingSphere使用连接池技术,如HikariCP,来管理数据库连接。

数据一致性

ShardingSphere确保读写分离后数据的一致性。在实现上,ShardingSphere通过以下方式保证数据一致性:

  • 主从延迟检测:监控主从库的延迟,确保数据一致性。
  • 强制主库路由:在特定场景下,强制将写请求路由到主库。
读写分离+分片组合

ShardingSphere将读写分离与分片机制结合,实现更复杂的分布式数据库架构。在实现上,ShardingSphere通过路由表达式和分片规则来控制读写分离和分片的组合。

三、分布式治理

弹性伸缩

ShardingSphere支持根据业务需求,动态调整分片数量和数据库实例。在实现上,ShardingSphere通过在线分片变更和数据再平衡来实现弹性伸缩。

  • 在线分片变更:在不影响业务的情况下,对分片进行变更。ShardingSphere通过数据迁移和分片调整来实现在线分片变更。
  • 数据再平衡:在分片变更后,重新分配数据。ShardingSphere通过数据迁移和分片调整来实现数据再平衡。
资源隔离策略

ShardingSphere确保不同业务之间资源隔离,提高系统稳定性。在实现上,ShardingSphere通过资源隔离模块来实现资源隔离。

  • 配置中心集成:将配置集中管理,方便统一修改。ShardingSphere使用配置中心来管理集群配置,如分片规则、读写分离配置等。
  • 分布式锁实现:确保在分布式环境下,数据的一致性和原子性。ShardingSphere使用分布式锁来实现数据的一致性和原子性。
  • 节点状态探活:定期检查节点状态,确保集群健康。ShardingSphere通过节点状态探活机制来确保集群健康。

四、数据迁移方案

全量迁移

ShardingSphere支持将现有数据迁移到新的数据库实例。在实现上,ShardingSphere通过以下方式实现全量迁移:

  • 一致性校验:确保迁移过程中数据的一致性。ShardingSphere通过校验数据条数、数据内容等来确保数据一致性。
  • 断点续传:在迁移过程中出现问题时,从上次成功位置继续迁移。ShardingSphere通过记录迁移进度来实现断点续传。
  • 存量数据切割:将存量数据切割成多个小批次,分批次迁移。ShardingSphere通过分批次迁移来降低迁移风险。
增量同步

ShardingSphere确保新数据库实例中的数据与原数据库实例保持同步。在实现上,ShardingSphere通过以下方式实现增量同步:

  • Binlog解析:解析Binlog,获取增量数据。ShardingSphere通过解析数据库的Binlog来获取增量数据。
  • 双写一致性:确保在迁移过程中,新旧数据库实例的数据一致性。ShardingSphere通过双写一致性机制来确保数据一致性。
  • 灰度切换验证:在迁移完成后,进行灰度切换,验证数据一致性。ShardingSphere通过灰度切换来验证数据一致性。

五、生态扩展组件

ShardingSphere-Proxy

ShardingSphere-Proxy作为ShardingSphere的代理层,提供协议适配层、流量治理、多租户支持等功能。在实现上,ShardingSphere-Proxy通过以下方式提供这些功能:

  • 协议适配层:支持多种数据库协议,如MySQL、PostgreSQL等。ShardingSphere-Proxy通过协议适配层来实现对不同数据库协议的支持。
  • 流量治理:根据业务需求,对流量进行治理。ShardingSphere-Proxy通过流量治理模块来实现流量治理。
  • 多租户支持:支持多租户架构,实现资源隔离。ShardingSphere-Proxy通过多租户模块来实现多租户支持。
ShardingSphere-JDBC

ShardingSphere-JDBC提供连接模式优化、多数据源聚合、Hint管理器等功能。在实现上,ShardingSphere-JDBC通过以下方式提供这些功能:

  • 连接模式优化:优化数据库连接,提高性能。ShardingSphere-JDBC通过连接池技术来优化数据库连接。
  • 多数据源聚合:支持多数据源连接,实现跨库查询。ShardingSphere-JDBC通过多数据源聚合模块来实现跨库查询。
  • Hint管理器:通过Hint管理器,控制查询执行计划。ShardingSphere-JDBC通过Hint管理器来实现对查询执行计划的控制。

CSDN

📥博主的人生感悟和目标

Java程序员廖志伟

希望各位读者大大多多支持用心写文章的博主,现在时代变了,信息爆炸,酒香也怕巷子深,博主真的需要大家的帮助才能在这片海洋中继续发光发热,所以,赶紧动动你的小手,点波关注❤️,点波赞👍,点波收藏⭐,甚至点波评论✍️,都是对博主最好的支持和鼓励!

- 💂 博客主页Java程序员廖志伟
- 👉 开源项目Java程序员廖志伟
- 🌥 哔哩哔哩Java程序员廖志伟
- 🎏 个人社区Java程序员廖志伟
- 🔖 个人微信号SeniorRD

Java程序员廖志伟

📙经过多年在CSDN创作上千篇文章的经验积累,我已经拥有了不错的写作技巧。同时,我还与清华大学出版社签下了四本书籍的合约,并将陆续出版。这些书籍包括了基础篇进阶篇、架构篇的📌《Java项目实战—深入理解大型互联网企业通用技术》📌,以及📚《解密程序员的思维密码--沟通、演讲、思考的实践》📚。具体出版计划会根据实际情况进行调整,希望各位读者朋友能够多多支持!

🔔如果您需要转载或者搬运这篇文章的话,非常欢迎您私信我哦~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值