「已注销」-CSDN博客

原创 Ansible-Playbook之异步执行

异步功能不作为单独的模块出现，而是作为任务参数使用，因此，大多数模块都可以异步执行；异步执行功能通常是用来解决执行任务时间过长导致SSH连接超时。示例：--- - hosts: "ansible-server" tasks: - name: simulate long running op (15 sec), wait for up to 45 sec, poll every 5 sec command: /bin/sleep 15 async: 45

2020-07-02 14:30:25 3390 3

原创 YARN中的任务队列调度器-公平调度器（Fair Scheduler）

一、概述公平调度器可以为所有的应用“平均公平”分配资源，当然，这种“公平”是可以配置的，称为权重，可以在分配文件中为每一个队列设置分配资源的权重，如果没有设置，默认是1（由于默认权重相同，因此，在不做配置的情况下，作业（队列）之间的资源占比相同）。默认地，所有的应用程序在一段时间内平均获得相等的资源份额；默认地，公平调度程序仅基于内存调度公平决策，当然，这种策略...

2019-10-26 01:43:46 6532

原创 YARN中的任务队列调度器-容量调度器（Capacity Scheduler）

一、概述容量调度器是YARN提供的三种调度器中的一种，这种调度器允许多个组织（队列）共享一个Hadoop集群，每个组织（队列）所分配的集群资源是固定的且可配置的。每个组织（队列）内部还可以进一步划分成小队列，小队列之间共享整个组织（队列）的资源。在一个队列中，使用FIFO规则进行任务调度。容量调度器是Hadoop默认使用的调度器，但是像CDH这样的Hadoop分布式项目，默...

2019-10-25 22:26:52 3408

原创编译源码、运行Azkaban（版本：3.80.0-6）

欢迎加入Axkaban学习交流群：710108279Azkaban在3.0版本后支持两种部署方式，分别是solo-server 和 two-server首先规定目录：~/app：放置应用~/source：放置源码~/software：放置压缩包首先下载源码，编译~/source > git clonehttps://github.com/azkaban/azka...

2019-10-18 11:29:07 596

原创首次部署Azkaban（版本：3.76.0-22）踩坑总结

欢迎加入Axkaban学习交流群：7101082791. -bash: ./bin/start.sh: /bin/bash^M: bad interpreter: No such file or directory 问题描述：linux 启动脚本时报错：-bash: ./bin/start.sh: /bin/bash^M: bad interpreter: No such file ...

2019-10-17 14:16:10 1348

原创【Spring Social】学习笔记（二）-Spring Social对OAuth2协议的实现

请大家前看上一个博客，大致了解一下OAuth2协议的流程，嘿嘿！对于OAuth2协议的流程，Spring Social已经很好的封装了默认的实现，对于变动的组件也定义好了接口让开发者去适配；Spring Social提供了哪些组件？说明：OAuth2Operations接口：对OAuth协议中，授权、获取Token流程步骤的接口，Spring Social提供了默认的实现类OAut...

2018-10-23 10:49:38 987

原创【Spring Social】学习笔记（一）-OAuth协议

什么是OAuth协议？Oauth是一个授权协议，让用户在不将服务提供商的用户名密码交给第三方应用的情况下，让第三方应用有权限访问用户在服务提供商中存在的一些资源，由于在这个过程中并没有提供用户名、密码给第三方应用，进而避免了一下三个问题：1. 第三方应用可以访问用户在服务提供商上的所有信息2. 用户只有修改密码，才可以取回授权3. 密码泄露的可能性大大提高举个例子：登录CSDN...

2018-10-23 10:43:20 268

原创 eclipse的使用work set进行项目展示

借鉴一下两个博客，挺好的eclipse如何将多个项目放在一个文件夹中@小驴没有尾巴eclipse创建work set@飞翔的黄曼巴

2018-10-09 10:56:58 833

原创【Docker】学习笔记（一）-概念、安装以及常用命令

Docker是一个高级容器引擎，开发者可以将自己的已经安装好的并且配置好的软件通过Docker“打包”（不知道这个词用的准不准确）成一个镜像文件，然后其他人就可以在安装Docker的机器上运行这个镜像文件，无需安装配置软件就可运行。核心概念：1. docker镜像（images）：Docker镜像是用于创建Docker容器的模板；2. docker容器（container）：镜像...

2018-07-13 09:28:42 481

原创【Spring Cloud】源码-Eureka客户端如何加载Eureka服务注册中心列表

这部分源码涉及到两个类：1. com.netflix.discovery.endpoint.EndpointUtils 2. org.springframework.cloud.netflix.eureka.EurekaClientConfigBean 我断点跟踪使用的客户端配置文件：spring.application.name=hello-serviceserv...

2018-06-25 23:41:14 4832

原创【Spring Cloud】源码-Eureka客户端的服务注册、服务获取与服务续约

在看源码之前，先说一下标题中提到的三个概念：1. 服务注册：服务提供者（eureka客户端）在启动后，如果参数eureka.client.register-with-eureka为true，那么会将自己注册到服务注册中心中，注册的动作会将自己的元数据发送给注册中心，注册中心将接受的元数据保存在一个注册列表中，该列表是一个双层Map结构，具体为：Map<服务名, Map<...

2018-06-25 23:40:47 4645

原创客户端连接MySQL报错- authentication plugin 'caching_sha2_password' -navicat

原因：mysql 8.0 版本默认使用 caching_sha2_password 身份验证机制mysql 8.0以前版本使用 mysql_native_password低版本升级到8.0 验证方式不变，新用户使用8.0验证方式改变，而客户端不支持新的加密方式解决方案：方法之一：修改用户的密码和加密方式ALTER USER 'root'@'localhost' IDENTIFIED WITH my...

2018-06-25 23:39:42 3465

原创客户端（Java代码）连接MySQL8.0报错：java.math.BigInteger cannot be cast to java.lang.Long

异常：DriverManager.getConnection(url, user, password);的时候，报java.math.BigInteger cannot be cast to java.lang.Long原因：我的mysql版本是8.0.11，但是jar是5.1的，jar版本不满足，版本过低官方原文：MySQL Connector / J 8.0强烈建议与MySQL Server ...

2018-06-25 23:38:59 6999 2

原创 Linux中使用alternatives切换Jdk版本

1. 准备JDK包，分别是1.7和1.8，jdk-7u79-linux-x64.tar.gz和jdk-8u161-linux-x64.gz；2. 解压，解压后的目录结构如图所示： JDK1.7： JDK1.8：3. 然后我们需要为每个版本的Java指定自己的编码，以便在切换的时候进行选择Java版本，注意，因为我们这个方法不需要配置环境变量，因此在指定编号的时候需要指定对应的java执...

2018-02-24 16:22:03 3083

原创 eclipse中使用maven添加oracle驱动依赖

eclipse中使用能够maven引入oracle驱动

2017-12-18 15:58:45 2677

原创 Oracle数据导出

Oracle导出数据

2017-12-08 13:56:54 1105

原创 Centos安装Redis4.0.0

一、下载命令：wget http://download.redis.io/releases/redis-4.0.0.tar.gz执行完之后，你会看到一个打包的文件：二、解包命令：tar -zxvf redis-4.0.0.tar.gz ./注意：最好解包到/usr/local/bin/Redis目录下，/usr/bin下面的都是系统预装的可执行程序，会随着系统升

2017-09-15 14:53:11 1095

原创 SpringMVC+Freemarker生成静态页面

SpringMVC+Freemarker生成静态页面

2017-07-03 17:47:17 5505

原创 Linux上搭建 vsftp（CentOS）

VSFTP全称是Very Secure FTP，是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的最大特点就是安全，从它的全名可以看出，另外，高速与高稳定性也是VSFTP的两个主要特点。下面我们就来介绍一下如何在Linux下搭建一个ftp server。第一步，看看我们的Linux是否已经安装了ftp

2017-04-28 22:48:54 485

原创【Redis入门】-集群（手动搭建）

使用哨兵模式可以有效的增加数据库容量，同时可以实现自动化，但是，即使使用哨兵模式，redis集群的每个数据库仍然存储着集群中的所有数据，这样就会存在木桶效应：数据库的总容量受限于存储内存最小的redis节点！而这里讲的集群，是对数据库进行水平扩容，每个节点会存储不同区域的数据。哨兵和集群式两个独立的功能，但从性能上来看哨兵属于集群的子集，当不需要数据分片或者已经在客户端进行分片的场景下哨兵就足...

2017-04-18 22:20:01 8922

原创【Java基础】-容器

所谓容器，就是橙装数据的东西，Java容器的用途就是保存对象，Java容器类被划分为两个不同的分支，也就相对应的存在两个主接口：Collection接口Collection是一个接口，它规范了存储对象的一个规则：一个独立的元素的序列，类似于数组，在它的内部，会存储若干个相同类型的元素（对象）：Collection接口规定了以下方法：1. int size():2. boolea...

2017-04-16 13:52:46 601

原创 Linux文件与目录之文件权限和目录配置

Linux下的文件、目录权限

2017-03-28 21:35:37 720

原创【Java基础】-abstract关键字

Java中的“抽象”的概念：在继承的关系中，往往存在这样一类现象，父类所提供的一些方法只是用来提供给子类进行重写的，这种方法往往是“哑”的，它们本来可以不用在基类中定义逻辑，他们的目的就是为基类的所有导出类创建一个通用的“接口”。建立这种“接口”的唯一理由就是不同的子类可以用不同的方式表示此接口，定义一种基本的形式，表示导出类的公共部分。抽象方法与抽象类：我们称这样的方法为“抽象方...

2017-03-22 17:59:33 369

原创【Java基础】-【面向对象】-多态

在面向对象程序设计语言中，多态是三种基本特性之一（其他两种分别是抽象、继承）。多态又称动态绑定、后期绑定、运行时绑定。我们先来看一个多态的例子：public class Test {public static void main(String[] args) {play(new Cat());play(new Dog());}public static void play(...

2017-03-17 23:34:19 497

原创【Java基础】-【面向对象】-继承

继承是众多关系中的一种，它与组合都可以实现代码复用的思想，只是其原理截然不同：所谓组合，是指在新的类中持有其他类对象的引用，可以理解为‘我’使用‘你’来达到目的，而继承则是一种更为细致的关系，可以理解为父子关系，继承是面向对象程序设计的核心思想之一，在java中，支持的是单继承。一个类A继承了另一个类B，B称之为基类（又叫父类），A成为子类，子类A自动拥有父类的所有（成员变量和方法），但这并不...

2017-03-11 20:55:32 380

原创【Java基础】-Final关键字

Final关键字可以理解为不可改变的，不可被继承的。Final关键字可以修饰变量（成员变量、局部变量）、方法、类1. final修饰变量使用Final来修饰的变量，就是告知编译器这的数据是恒定不变的。这个变量可以是基本类型，他往往是编译器常量，如果他是编译器常量，那么他就必须在定义的时候赋初值，通常用static final关键字类修饰他。这个变量也可以是引用类型，这个时候就是...

2017-03-11 19:49:02 408

原创 android相机与相册功能

在介绍有关相机图片功能之前，首先需要了解一下应用关联缓存目录的概念。从android6.0开始，访问手机SD卡已经被列为了危险权限，如果要设计危险权限，那么需要进行相应的运行时权限处理才可以，为了跳过这一步，我们通常会选用SD卡的应用关联缓存目录下存储数据，他是专门用来存放当前应用的缓存数据，这个目录不同于其他SD卡下的目录，访问的时候不需要申请危险权限。具体路径是 /sd

2017-01-16 23:21:46 955

原创关于LINUX的文件与硬盘分区

在介绍linux磁盘分区之前，我们需要了解的硬盘的概念，，硬盘是计算机上的存储设备，其他的存储设备还包括软盘、磁带机、U盘、CD、等，硬盘属于最常见的计算机存储设备了。硬盘的组成部分组要是许多的盘片、机械手臂、磁头与主轴马达组成，数据都是写在上面的盘片上的，，了解每个盘片上的组成单位尤为重要，下图是我自己画的一个盘面结构的示意图，网上有很多，自己画的比较粗糙：1. 首先是磁道的概念，盘面会划分成多个同心

2017-01-15 20:50:13 914

原创学习linux多必须知道的硬件概念

1. 计算机的五大单元: 输入单元输出单元 CPU(算数逻辑单元、控制单元) 内存2. CPU种类: 精简指令集: SUN(SPARC系列) : 用于大型工作站 IBM(Power PC) : sony的ps3 ARM系列 : 手机、导航仪网络设备复杂指令集:

2017-01-13 21:24:18 530

原创 Android保存Activity销毁而丢失的数据

安卓中，活动存在四种状态，分别是运行状态、暂停状态、停止状态和销毁状态，除了运行状态之外，当系统内存不足的情况下，其他三种状态都有可能被回收，这样就会出现数据丢失的情况，那么如何在活动被回收之前保存数据呢，今天介绍两种方式（据说有四种，其他两种不知道以后学了在更新）。第一种：使用onSaveInstanceState()方法：在任务栈中，B处于顶端，A处于B下面，如果A被回收了，那么B返

2017-01-12 21:26:35 3459

原创 BUG收集-Redis/Java-eclipse连接虚拟机Redis失败

最近学习完了redis的一些基础知识之后准备通过java编写一些小程序练一练，但是发现windows中的eclipse连接不上虚拟机中的Redis，也不是一直连不上，半个月的时间里我就连接上了两次，其余的时候都会报错，错误如下：愿意不清楚，应该就是连接的时候出现异常中断了，关键是我使用RedisDesktopManager是可以链接到虚拟机中的Redis的，这就说明虚拟机和windos

2016-11-10 22:57:36 1358

原创【redis基础】-redis的基本数据类型以及一些内部编码优化

redis作为一个内存数据库，优化存储、减少内存使用空间显得尤为重要，首先，作为redis的使用者，我们可以对键值人工优化，比如对于键的起名，可以使用缩略词进行标注，这样既可以节省空间又易懂，再比如，redis提供了四个命令可以直接操作二进制位，位操作命令可以非常紧凑的存储布尔值，当一个网站需要存储100万个用户的性别的时候，我们就可以使用位操作记录，这样只需要占用100KB多的空间！同时，r...

2016-10-29 19:02:58 2235

原创【Redis入门】-浅谈rdb持久化机制

什么是redis的持久化呢？答案就是两个词：RDB、AOF，aof的基础操作我已经在另一篇文章中介绍了，现在我们来谈一谈redis的rdb原理。什么是rdb呢，它是redis database的缩写，它是的主要工作就是在指定时间间隔内将内存中的数据集快照写入磁盘，redis是内存数据库，速度快是它的主要有点，但是一旦关闭电源，内存中的数据将不复存在，rdb就是姜数据即使的写入磁盘进行持久化。...

2016-10-28 20:59:19 886

原创【Redis入门】-哨兵模式

在讲哨兵模式之前，我们有必要先来介绍一下redis另外两种复制策略：1. 上一篇文章讲了关于一主二仆的结构，但是这种结构有一个明显的弊端，那就是过于中心化，所有的请求都来自一个主机，主机的负担太重，很正常的我们会想到，可不可以创建一种链式结构来解决这个问题呢？当然是可以的啦！再redis中通常情况下一个slaver会跟随一个master，但是slaver也可以连接另外一个slaver，作为另外...

2016-10-17 21:50:53 19326 3

原创【Redis入门】-浅谈主从复制（一）

Redis的复制：1. 是什么：redis中的复制（master/slave）主从复制，主机数据更新后根据配置和策略自动同步到备机的master/slaver机制，master以写为主，slaver以读为主2. 作用：读写分离、容灾恢复今天我们来了解一下主从复制策略之一主二仆顾名思义，这种策略的具体实现就是使用一台机器作为主机，两台机器作为备机（真正工作可能多台），主机主要是写入，...

2016-10-16 00:00:15 2308

原创【Redis入门】-浅谈redis事务

说到事务大家都不陌生，在关系型数据库中，事务时并发控制的基本单位，他是一个操作的序列，可以包含多个指令，并且，对于一个事务，其内部的指令要么全部执行，要么都不执行，内部指令不可分割。关系型数据库的事务具有四个特性：1. 原子性2. 一致性3. 隔离性4. 持久性而在我们redis数据库中，事务回事什么样子的呢？首先我们给出一个定义：redis的事务中，一次执行多条命令，...

2016-10-13 22:36:31 5869 1

原创【Redis入门】-浅谈aof持久化机制

首先，aof是redis的一种记录数据库写操作的持久化方案，他会忠实的记录所有的写操作，并且以redis协议的格式存储在一个.aof文件中，在重启redis的时候，redis可以根据.aof文件的内容来恢复数据集。举个例子：首先，我们启动redis服务，并且存储一些数据，这里我随便存储了四条数据，如下图所示：然后我们将所有的数据清除，使用命令flushall：这样，可以看到现在...

2016-10-12 22:47:57 3238