- 博客(12)
- 收藏
- 关注
RSS订阅原创 Redis事务
什么是事务 事务是指是程序中一系列的逻辑操作，所有操作，要么全部成功，要么全部失败。 事务的四个特性 原子性（Atomicity）事务中所有的操作被看做一个逻辑单元，在这个逻辑单元中的操作要么全部成 功，要么全部失败。 Consistency（一致性）：事务完成时，数据必须处于一致状态，事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没 有执...
2020-04-13 15:57:19
164
原创 分布式缓存-Redis内存管理
#数据类型默认大小 string #最大512M list #2^32-1个元素，每个最大512M set #2^32-1个元素，每个最大512M hash #2^32-1个元素，每个最大512M #过期数据的处理策略 1.主动处理，Redis会主动检测key是否过期，每秒执行10次 1)从具有相关过期设置的的密钥集中测试20个随机密钥，删除过期的密钥 2)如果超过25%的密钥已过期，重复第一步...
2020-03-15 21:47:40
123
原创 分布式缓存-Redis集群分片存储
#Redis分配存储集群 Redis集群的分片存储是在Redis3.0以后推出的架构方案。整个架构如下 1.在整个集群中，Redis会对每台机器分配一段槽位-solt,总共有16384个槽位（0-16383），也就是我们的集群最多可以是16384太机器,集群中节点之间会互相交换节点信息，传递消息，包括槽位的信息，如果集群过大，交互的信息会很多，会带来带宽的消耗，所以Redis官方建议最大1000...
2020-03-15 21:47:08
272
原创 分布式缓存-Redis集群
在前面文章介绍了Redis的一些常用命令，及持久化方式，那么Redis作为一个分布式缓存是怎么保证自己数据的高可用的，下边我们来介绍一下Redis的集群 #Redis的主从复制 ##主从复制流程 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OfuSeUgJ-1584279951432)(https://upload-images.jianshu.io/upload...
2020-03-15 21:46:17
479
原创 分布式缓存-Redis介绍
#缓存的作用 提升性能、降低数据库压力、减少后端负载、消除数据库热点、IOPS提高吞吐量，最适合读多写少的场景。 #缓存有哪些 本地缓存：JVM(HashMap/List/concurrentHashMap) ,Google guava Cache 分布式缓存：memcached,Redis 我们这里就不再对多种分布式缓存进行对比，后续再完善，这里只描述Redis相关的。 #Redis是单线程为什...
2020-03-15 21:45:20
183
原创 Kafka概述
kafaka是是一种分布式，基于发布、订阅的消息系统，底层采用scala语言。 核心概念 消息 消息的概念是kafka中最基本的单元，消息由一串字节构成，其中主要由key与value构成，key和value都是byte[],其中key的主要作用是作为分区策略 Topic&Partition&log Topic是用于存储消息的逻辑概念，可以看作是消息的集合，...
2020-01-14 14:06:20
243
原创 数据库分库分表
数据库分库分表实践前言背景功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 前言 一直想写分库分表相关的文章，平时工作太...
2019-11-20 11:16:11
604
原创 在线DB扩容
随着系统目前接入服务量级与公司业务快速的发展，原线上单表已数据量暴增，慢查询，性能问题出现瓶颈 目前现状：单表数据量：3亿+，磁盘占用量120G以上方案线上不停机分表：1.分表策略。 按照不同的业务场景进行，可以参照，hash值分表，这里只做简单的介绍，结合目前使用场景，我们采用用户id取模的方式来进行分表 2.切换读操作 线上根据主表创建分表，并修改目前所有涉及到读操作的代码。以目
2017-12-14 17:01:26
771
转载 网站数据分析的基本流程
网站数据分析的基本流程 网站数据分析没有规范的分析流程容易使最后的结果逻辑混乱或者偏离原来的主题，所以一套规范的流程能够使网站分析更加清晰和有效。 网站分析其实就是一个发现问题、分析问题的解决问题的过程。问题的发现可以来源于多方面：网站运营中遇到的问题、用户的反馈和抱怨、日常统计数据的表现异常等；分析问题的过程就是根据遇到的问题运用合理的方法对其进行解释，这也是本站重点探讨
2014-06-20 14:18:08
953
原创 hive 中union
今天需要对数据进行集合，在hive中发现不能使用union ，只能使用union all create table hive_test_01(a string,b double); create table hive_test_02(a string,b double); insert overwrite table hive_test_01 select 'abc',1 from
2014-03-19 18:34:55
2217
翻译 azkaban搭建
Azkaban azkaban:中文音译：阿兹卡班，是linkedin(音译：邻客音)公司(是全球最大的职业社交网站，先用户数量已达到2亿平均每秒有一个新会员的加入)推出的一款开源的调度工具，在linkedin内部azkaban主要被用于hadoop作业或其他类型的数据仓库的调度。 1， 数据安装，目前azkaban只支持mysql数据库。 Mysql安装所需包： MySQL-clien
2014-02-11 17:38:09
4848
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人