
大数据
文章平均质量分 90
爱玛士
这个作者很懒,什么都没留下…
展开
-
在高可用这条路上你知道Redis有多努力吗
自我介绍我, Redis ,内存数据库,有着比 memcached 更强大的功能。现在已经是这个领域的头把金交椅。常规数据库这里所说的常规数据库是指基于硬盘读写的数据库,比如 Oracle , Mysql , Mongodb 等。基于硬盘读写的数据库可以有效的保证数据的高可用性。这里的高可用性指的是操作系统或者数据库崩溃之后,不会造成数据丢失,这也是对数据库的最基本要求。内存数据库基于硬盘读写的数据库虽然可以保证数据的高可用性,但是读写速度比较慢,这也是磁盘 I/O的天然属性。虽然切换固原创 2021-01-26 00:05:51 · 221 阅读 · 0 评论 -
架构师成长之路:Kafka连接器深度解读之错误处理和死信队列
Kafka连接器是Kafka的一部分,是在Kafka和其它技术之间构建流式管道的一个强有力的框架。它可用于将数据从多个地方(包括数据库、消息队列和文本文件)流式注入到Kafka,以及从Kafka将数据流式传输到目标端(如文档存储、NoSQL、数据库、对象存储等)中。现实世界并不完美,出错是难免的,因此在出错时Kafka的管道能尽可能优雅地处理是最好的。一个常见的场景是获取与特定序列化格式不匹配的主题的消息(比如预期为Avro时实际为JSON,反之亦然)。自从Kafka 2.0版本发布以来,Kafka连接原创 2020-09-10 22:39:48 · 1262 阅读 · 0 评论 -
全网最全程序员效率工具及小技巧(一)
命令行CMD秒进指定目录效率低的操作win+r,输入cmd,然后跳到指定目录在这里插入图片描述骚操作文件夹地址栏输入cmd,弹出cmd窗口,同时进入指定目录在这里插入图片描述在这里插入图片描述SSH和SCP命令ssh:从一台机器登陆到另一台机器scp:将文件从一台机器传输到另一台机器ssh命令虽然可以通过密码登陆,但还是比较麻烦,建议配置公钥访问。先看自己之前是否已经生成了公钥文件,如果没有需要手动生成windows:在...原创 2020-09-09 21:28:14 · 672 阅读 · 0 评论 -
干货:Kafka设计解析- Kafka高性能架构,Kafka如何实现高性能?
本文从宏观架构层面和微观实现层面分析了Kafka如何实现高性能。包含Kafka如何利用Partition实现并行处理和提供水平扩展能力,如何通过ISR实现可用性和数据一致性的动态平衡,如何使用NIO和Linux的sendfile实现零拷贝以及如何通过顺序读写和数据压缩实现磁盘的高效利用。Kafka是一个Pub-Sub的消息系统,无论是发布还是订阅,都须指定Topic。如《Kafka设计解析(一)- Kafka背景及架构介绍》一文所述,Topic只是一个逻辑的概念。每个Topic都包含一个或多个P原创 2020-07-09 19:14:11 · 445 阅读 · 0 评论 -
自从学习了专家整理的kafka 设计与原理详解之后,薪资翻了两番
一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战:如何收集这些巨大的信息 如何分析它 如何及时做到如上两点以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信息,消费者消费(consume)(处理分析)这些信息,而在生产者与消费者之间,需要一个沟通两者的桥梁-消息系统。从一个微观层面来说,这种需求也可理解为不同的系统之间如何传递消息。1.2 Kafka诞...原创 2020-07-04 21:13:07 · 430 阅读 · 0 评论 -
基于Docker + Consul + Registrator的服务注册与发现集群搭建
前言近年微服务架构在互联网应用领域中愈来愈火,引入微服务主要解决了单体应用多个模块的紧耦合、无法扩展和运维困难等问题。微服务架构就是按照功能粒度将业务模块进行垂直拆分,对单体应用本身进行服务化和组件化,每个组件单独部署为小应用(从DB到UI)。微服务与微服务之间通过Service API进行交互,同时为了支持水平扩展、性能提升和服务可用性,单个服务允许同时部署一个或者多个服务实例。在运行时,每个实例通常是一个云虚拟机或者Docker容器。微服务系统内部多个服务的实例之间如何通信?如何感知到彼此的存在原创 2020-07-04 20:49:22 · 692 阅读 · 0 评论 -
你无法忽视的MySQL技术,企业中MySQL的高可用架构
前言对于企业应用而言,数据库的持续可用性和可访问性非常重要,尤其是某些互联网企业用户,数据库提供持续可靠的可用性,才会给企业带来良好的效益,为其客户提供优质可靠的服务体验。因此,设计数据库架构初期就需要考虑如何构建一套适合自身应用程序的高可用架构。MySQL数据库作为最流行的开源数据库产品,拥有许多成熟的高可用架构方案,其方案的可用性覆盖率为90%~ 9.999%,能够适用于对可用性级别的多种不同需求。其主要是利用复制技术,多个不同数据库主机之间进行复制,以保持数据的一致性, 并...原创 2020-07-02 15:37:25 · 544 阅读 · 0 评论 -
初识数据库,零基础如何学习MySQL,MySQL触发器简介及使用
初识MySQLMySQL是一个开放源代码的数据库管理系统(DBMS), 它是由MySQL AB公司开发、发布并支持的。MySQL是一个跨平台的开源关系型数据库管理系统,广泛地应用在Internet上的中小型网站开发中。本章主要介绍数据库的基础知识,通过本章的学习,读者可以了解数据库的基本概念、数据库的构成和MySQL的基本知识。一、数据库基础数据库由一批数据构成有序的集合,这些数据被存放在结构化的数据表里。数据表之间相互关联,反映了客观事物间的本质联系。数据库系统提供对数据的安全控制和...原创 2020-07-02 15:36:06 · 705 阅读 · 0 评论 -
为什么选择Docker?一文带你鸟瞰容器生态系统,零基础入门Docker
启程对于像容器这类平台级别的技术,通常涉及的知识范围会很广,相关的软件,解决方案也会很多,初学者往往容易迷失。那怎么办呢?我们可以从生活经验中寻找答案。当我们去陌生城市旅游想了解一下这个城市,一 般我们会怎么做?我想大部分,人应该会打开手机看一下这个城市的地图:(1)城市大概的位置和地理形状是什么?(2)都由哪几个区或县组成?(3) 主要的交通干道是哪几条?docker工具介绍同样的道理,学习容器技术我们可以先从天上鸟瞰下:(1)容器生态系统包含哪些不同层次...原创 2020-07-02 15:29:40 · 544 阅读 · 0 评论 -
地理可视化引擎 L7 2.0 发布,让地图动起来
L7 是由蚂蚁金服 AntV 数据可视化团队推出的基于 WebGL 的开源大规模地理空间数据可视分析开发框架。L7 专注于空间数据的可视化表达。图形符号学为理论基础,将抽象复杂的空间数据转化成 2D、3D 符号,通过颜色、大小、体积、纹理等视觉变量实现丰富的可视化表达。2.0 beta 版发布一个多月以来经过 20 多个小版本的迭代发布,正式告别 beta 版,迎来 2.0 正版。正式版主要增加图层交互功能以及点,线、面的动画支持;在可视化种类上新增聚合图,文本标注,虚线,城市建筑等新图层...原创 2020-06-10 15:49:43 · 847 阅读 · 1 评论 -
只要你能回答出关于Redis的这八个问题,就能看出是否精通
1、为什么使用Redis分析:作者觉得在项目中使用redis,主要是从两个角度去考虑:性能和并发。当然,redis还具备可以做分布式锁等其他功能,但是如果只是为了分布式锁这些其他功能,完全还有其他中间件(如zookpeer等)代替,并不是非要使用redis。因此,这个问题主要从性能和并发两个角度去答。回答:如下所示,分为两点(一)性能如下图所示,我们在碰到需要执行耗时特别久,且结果不频繁变动的SQL,就特别适合将运行结果放入缓存。这样,后面的请求就去缓存中读取,使得请求能够迅速响应。原创 2020-06-08 20:22:42 · 701 阅读 · 0 评论