亿级数据量技术探索
文章平均质量分 95
为了应对这些问题,我们所在团队进行了大量的研究和实践,提出了低延迟高可用的解决方案,并在分布式存储领域广泛应用。此外,通过对有限资源的规划,团队还提出了分级的容量保障策略,通过限流、降级和熔断技术等手段,保证了重点业务的高吞吐。
同时,在一些对可靠性和可用性要求极高的场景下,团队还专门推出了基于多
码界西柚
优酷资深工程师 | INTJ | 狮子座 | 高洞察力理性自律小i人,
著作《深入浅出Java虚拟机—JVM原理与实战》,
10年以上开发经验,参与设计过多个大型互联网项目,定期分享技术干货和项目经验,
希望大家可以多多支持我,点赞关注一下
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【亿级数据专题】「分布式消息引擎」 盘点本年度我们探索服务的低延迟可用性机制方案实现
在充满挑战的2023年度,我们不可避免地面对了一系列棘手的问题,例如响应速度缓慢、系统陷入雪崩状态、用户遭受不佳的体验以及交易量的下滑。这些问题的出现,严重影响了我们的业务运行和用户满意度,为了应对这些问题,我们所在团队进行了大量的研究和实践,提出了低延迟高可用的解决方案,并在分布式存储领域广泛应用。秉持着解决问题和攻克难题的精神,我决定开展一个【亿级数据专题】流量的系列探索和技术分享活动。我们希望通过这个专题系列,汇集各界的分享者和专家,共同探讨如何应对亿级数据所带来的难题和问题。原创 2024-01-27 15:26:00 · 775 阅读 · 1 评论
-
数据库性能飙升的7大黑科技:从卡顿到飞驰的终极秘籍(3 - 日期类型:TIMESTAMP潜在问题)
1. 默认值设置支持将字段默认值设为当前时间(示例:用户注册时间()可自动记录创建时间 register_date DATETIME(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6),register_date 表示注册时间,表示记录插入时,若没有指定时间,默认就是当前时间。2. 自动更新功能支持字段值随记录更新自动刷新时间戳。原创 2025-03-30 19:17:18 · 353 阅读 · 0 评论 -
数据库性能飙升的7大黑科技:从卡顿到飞驰的终极秘籍(2 - 字符串类型:关键的字符排序规则)
字符串是使用最为广泛的数据类型之一,但也是设计最初容易犯错的部分,后期业务跑起来再进行修改,代价将会非常巨大。原创 2025-03-28 16:14:15 · 138 阅读 · 0 评论 -
数据库性能飙升的7大黑科技:从卡顿到飞驰的终极秘籍(1 - 自增坑点?轻松避开)
仅仅依靠INT类型就能高枕无忧了吗?期待你学完之后,能够娴熟地驾驭MySQL中的数字类型,包括整型、浮点型以及高精度类型,让它们在你的数据库设计中发挥最大效用。从 MySQL 8.0.17 版本开始,当创建表用到类型 Float 或 Double 时,会抛出下面的警告:MySQL提醒用户不该用上述浮点类型,甚至提醒将在之后版本中废弃浮点类型。本文紧密围绕你当前学习MySQL时遇到的难点,比如如何将MySQL 8.0的新特性与业务实践相融合、金融级数据库的高可用性设计方案,以及分布式架构的设计能力等。原创 2025-03-27 22:08:25 · 264 阅读 · 0 评论 -
【亿级数据专题】「数据库性能飙升」MySQL深分页性能瓶颈终结者(从卡顿到极速)
在日常开发中,我们常常使用 LIMIT 关键字来实现分页功能。然而,当偏移量变得非常大时,查询性能会显著下降。本文将介绍四种优化策略,帮助解决MySQL在处理百万级数据深分页时的性能问题。顺序扫描模式:每条SELECT语句均需从首条记录开始,逐行处理至目标页码对应的位置偏移量计算:当请求第N页数据时(假设每页10条),*数据库需先跳过(N-1)10条记录资源消耗特性:以访问第10,000页为例,数据库需完整扫描并丢弃前99,990条记录(即100,000行偏移量),仅保留最后10条作为有效结果集。原创 2025-03-16 21:14:01 · 769 阅读 · 0 评论 -
【亿级数据专题】「高并发架构」盘点本年度探索对外服务的百万请求量的高可靠消息服务设计实现
到目前为止,我们已对消息队列高性能架构的基本设计实现和功能分布进行了全面而深入的介绍与分析。原创 2024-02-06 23:07:47 · 564 阅读 · 0 评论 -
【亿级数据专题】「高并发架构」盘点本年度探索对外服务的百万请求量的API网关设计实现
公司对外开放的OpenAPI-Server服务,作为核心内部系统与外部系统之间的重要通讯枢纽,每天处理数百万次的API调用、亿级别的消息推送以及TB/PB级别的数据同步。经过多年流量的持续增长,该服务体系依然稳固可靠,展现出强大的负载能力。原创 2024-02-05 22:34:05 · 514 阅读 · 0 评论 -
【亿级数据专题】「高并发架构」 盘点本年度我们探索服务的HA高可用解决方案
根据专栏的前一篇文章的分析和介绍,有了容量保障的“三大法宝”作为基础,但随着消息引擎集群规模的持续扩大,一旦达到某个阈值,集群中机器发生故障的风险也会随之上升,这无疑会严重削弱消息的可靠性和系统的可用性。此外,采用多机房部署的集群模式也可能遭遇机房断网问题,进一步影响了消息系统的可用性。为了有效应对这些问题,出现了基于多副本的高可用解决方案。这个方案能够动态识别机器故障、机房断网等潜在的灾难场景,并实现故障自动恢复。这一过程完全无需用户干预,从而显著增强了消息存储的可靠性,确保了整个集群的高可用性。原创 2024-02-01 19:59:28 · 699 阅读 · 1 评论 -
【亿级数据专题】「高并发架构」 盘点本年度我们探索服务的保障容量的三大关键方案实现
尽管经过了上一篇文章 **《【亿级数据专题】「分布式消息引擎」 盘点本年度我们探索服务的低延迟可用性机制方案实现》**有了低延迟的优化保障,消息引擎仍需精心规划其容量。为了提供无与伦比的流畅体验,消息引擎必须实施有效的容量管理策略。那么,如何在汹涌的流量洪峰面前保持从容不迫?这就需要运用降级、限流和熔断这三大法宝。原创 2024-01-30 22:31:00 · 541 阅读 · 1 评论
分享