will的成长之路-CSDN博客

原创腾讯云mysql服务cpu毛刺问题

腾讯云mysql服务，解决cpu毛刺问题。有些sql语句没有使用索引，执行全表扫描，但是因为mysql性能很好，查询返回速度也很快，所以没有达到慢查询的阈值，在慢查询监控中看不到，但是会产生cpu毛刺或者IOPS指标。要发现这类问题，可以将全表扫描数监控和慢查询监控配合使用：...

2022-02-22 22:37:56 807

生产环境的问题：春节前后，redis内存占用率持续飙升延展问题：Redis里面如果有大量的key，怎样才能高效的找出过期的key并将其删除呢，难道是遍历每一个key吗（keys命令确实能触发内存释放）？假如同一时期过期的key非常多，Redis会不会因为一直处理过期事件，而导致读写指令的卡顿？答：keys *命令确实会阻塞其他命令的执行，导致慢查询。那Redis是怎么解决的呢？Redis4.0新增了lazy free特性，从根本上解决Big Key(主要指定元素较多集合.

2022-02-21 23:07:33 4973

原创分析启动脚本zkServer.sh

# use POSIX interface, symlink is followed automaticallyZOOBIN="${BASH_SOURCE-$0}"ZOOBIN="$(dirname "${ZOOBIN}")"ZOOBINDIR="$(cd "${ZOOBIN}"; pwd)"# 这里会先配置一些必要的环境变量if [ -e "$ZOOBIN/../libexec/z.

2018-11-15 23:10:50 4663

原创搭建kafka2.0.0源码开发环境

一、先安装好java、scala、zookeeper、gradle，需要配置 JAVA_HOME、SCALA_HOME、ZOOKEEPER_HOME、GRADLE_HOME、PATH、CLASSPATH（java的）二、下载 kafka 2.0.0 源码（要下载zip包，gz包里有些java文件有问题，是以.java0000664结尾）https://github.com/apache/ka...

2018-11-12 23:15:25 1511

翻译 scala基础

摘自《big data analytics with spark》scala基础虽然scala包含了面向对象编程和函数式编程的能力，但是他更侧重函数式编程。写spark程序，只会用到一点点scala的基本功能，所以只需要学一点点scala就可以了。自带的类型：这些都是类，scala没有类似int、long这样的基本数据类型

2017-11-18 19:08:54 2997

原创远程连接hive server

hiveserver21、在hive服务器上启动hive server2，在你的hive主目录/bin/下找到并执行下面的命令，默认监听10000端口#hiveserver22、使用cli在本机连接#beelinebeeline> !connect jdbc:hive2://localhost:10000 user pwduser和pwd可以随便写的，连接后，可以执

2017-11-16 12:18:43 14423

原创《hive编程指南》阅读笔记摘要（九）

第10章调优一个hive任务会包含有一个或多个阶段stage，不同的stage间有依赖关系。一、分析复杂的或者执行效率低的查询时，可以使用explain语句，如explain select .....;二、explain extended可以产生更多的输出信息explain extended select ......;三、优化limit：对输出结果有影响，慎

2017-04-10 22:37:42 1329

原创《hive编程指南》阅读笔记摘要（八）

第9章模式设计1、按天划分的表建议使用分区表2、HDFS namenode会将所有的文件系统的元数据信息加载到内存中3、hive没有主键或基于序列秘钥生成的自增键的概念4、为了避免分区中数据不均的问题，可以用另一种数据分管的技术：分桶create table weblog(user_id int, url string, source_id string)pa

2017-04-08 14:55:00 990

原创《hive编程指南》阅读笔记摘要（七）

第8章 HiveQL：索引1、hive只有有限的索引功能。2、explain命令可以查看某个查询语句是否用到了索引3、创建索引create index employees_indexon table employees(country)as 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler'

2017-04-05 21:55:58 1207

原创《hive编程指南》阅读笔记摘要（六）

第7章 HiveQL：视图1、视图不像表一样会存储数据，hive目前不支持物化视图。2、当一个查询引用一个视图时，这个视图定义的查询语句会和用户的查询语句组合在一起，然后供hive制定查询计划。可以认为，hive先执行这个视图，然后使用这个结果进行余下后续的查询。3、hive查询语句中含有多层嵌套是很常见的。嵌套查询可以使用一个视图代替。4、使用视图来限制基于条件过滤的数据：把视图

2017-04-04 09:43:02 1013

原创《hive编程指南》阅读笔记摘要（五）

第6章 HiveQL：查询查询字段是数组类型的元素数据select name, subordinates[0] from employees;查询字段是map类型的元素数据select name, deductions["state taxes"] from employees;查询字段是struct类型的元素数据select name, address.city from

2017-03-24 09:56:07 1251

原创《hive编程指南》阅读笔记摘要（四）

第5章 HiveQL：数据操作既然hive没有行级别的增删改操作，那么往表中装载数据的唯一途径就是“大量”的数据装载操作，或者通过其他方式仅仅将文件写到正确的目录下。一、装载数据LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' OVERWRITE INTO TABLE employeesPARTITION (co

2017-03-22 23:00:05 1032

原创《hive编程指南》阅读笔记摘要（三）

第四章 HiveQL：数据定义hive中的数据库本质上只是表的一个目录或者命名空间，用来组织表hive有一个默认的数据库default，如果没有显式地指定数据库，默认是default库创建数据库create database if not exists test;显示所有数据库show databases;show databases like 't*';

2017-03-21 22:44:38 1275

原创《hive编程指南》阅读笔记摘要（二）

第三章数据类型和文件格式hive中的数据类型包括基本数据类型和集合数据类型（array、map、struct），通常，关系型数据库中没有集合数据类型，而是用关系表关联表示集合。原因在于：hive中将相关数据存储在一起，来减少磁盘寻址操作，提高性能。基本数据类型都是对java中接口的实现，所以类型的具体行为细节和java中对应的类型完全一致，如string类型实现的就是java中S

2017-03-20 21:42:42 1250

原创《hive编程指南》阅读笔记摘要（一）

第一二章基础知识、基础操作hive的缺点1、hive不支持记录级别的增删改操作，但是用户可以通过查询生成新表或者将查询结果导入到文件中。2、Hive的查询延时很严重，因为MapReduce job的启动过程消耗很长时间，所以不能用在交互查询系统中。3、hive不支持事务。hive最适合做数据仓库HiveQL不符合ansi sql标准，和mysq

2017-03-19 15:29:36 3692

原创从IT技术面试官的角度说说技术人的简历

以前曾经看到过一些公司HR写的点评应聘者简历的文章，在这些文章中，人力资源部门的人会提出一些意见，指导应聘者尤其是刚刚毕业的应届生怎么写简历才能在众多简历中脱颖而出。我当时虽然看过这些文章，但对里边的说法并不太在意，一是因为这些文章的目标读者是所有有意寻找工作的人，而不限于IT技术人员；二是人力资源部门的人毕竟不是技术负责人，他们的工作仅限于筛查简历，他们对待一份简历的观点也不能完全代表技术人员的

2016-12-13 23:06:01 23322 1

原创怎么理解RSA算法

原文地址：http://www.ittenyear.com/414/rsa/怎么理解RSA算法可以把非对称加密算法里的公钥想象成一个带锁的箱子，把私钥想象成一把钥匙可以把对称加密算法里的密钥想象成箱子和钥匙的组合HTTPS使用了非对称加密和对称加密的组合：RSA和DES的组合就是，用DES把用户数据加密，然后把DES的密钥用RSA的公钥加密，这样用户数据和DES

2016-03-20 15:48:33 1587

翻译电商系统Broadleaf文档翻译(九) – 扩展的服务extending services

原文标题：extending services原文出处：http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/extending-services译者：IT十年译文链接：http://www.ittenyear.com/410/broadleaf-ext

2016-03-18 22:07:46 2041

翻译电商系统Broadleaf文档翻译(八) – 主要服务main services

原文标题：main services原文出处：http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/main-services译者：IT十年译文链接：http://www.ittenyear.com/405/broadleaf-main-services

2016-03-17 22:51:30 2125

翻译电商系统Broadleaf文档翻译(七) – 扩展实体extending entities

原文标题：main services原文出处：http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/extending-entities译者：IT十年译文链接：http://www.ittenyear.com/394/broadleaf-extendin

2016-03-15 19:59:37 1830

翻译电商系统Broadleaf文档翻译(六) - 主要实体main entities

主要实体原文标题：main entities原文出处：http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/main-entities译者：IT十年译文链接：http://blog.csdn.net/matthewei6/article/de

2016-03-09 19:53:52 1856

翻译电商系统Broadleaf文档翻译(五) - 架构图表architecture diagrams

架构图原文标题：application architecture component view原文出处：http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/译者：IT十年译文链接：http://blog.csdn.net/matthewei6/ar

2016-03-08 20:40:48 2428

翻译电商系统Broadleaf文档翻译(四) - 应用架构组件视图application architecture component view

应用架构组件视图原文标题：application architecture component view原文出处：http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/application-architecture-component-view/appli

2016-03-07 21:05:39 2543

翻译电商系统Broadleaf文档翻译(三) - 应用架构模块视图application architecture module view

应用架构模块视图原文标题：server configuration原文出处：http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/application-architecture-module-view译者：IT十年译文链接：http://b

2016-03-06 23:30:28 2464

翻译电商系统Broadleaf文档翻译(二) - 推荐服务器配置server configuration

原文标题：server configuration原文出处：http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/server-configuration译者：IT十年译文链接：http://blog.csdn.net/matthewei6/article/

2016-03-05 19:06:42 2270

翻译电商系统Broadleaf文档翻译(一) - 逻辑架构Logical Architecture

原文标题：Logical Architecture原文出处：http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/logical-architecture译者：IT十年译文链接：本译文仅用于学习和交流目的，转载请保留原文链接和译文链接！概述

2016-03-05 10:05:33 5020

原创单点登录cas常见问题(十四) - ST和TGT的过期策略是什么？

ST和TGT的过期策略可以参看配置文件：ticketExpirationPolicies.xml1、先说ST：ST的过期包括使用次数和时间，默认使用一次就过期，或者即使没有使用，一段时间后也要过期当cas配置为OAuth服务器时，oauth中的授权码code也是用一次就过期，它和单点登录中的ST实际上是一个东西；st默认过期时间是10秒，这个st在oauth中作为授权码code使用，过

2016-03-01 21:22:17 14627 1

原创单点登录cas常见问题(十三) - 几个重要概念怎么理解？

1、TGC：Ticket-granting cookie，存放用户身份认证凭证的cookie，在浏览器和CAS Server间通讯时使用，是CAS Server用来明确用户身份的凭证。TGT封装了TGC值以及此Cookie值对应的用户信息。2、TGT：ticket granting ticket，TGT对象的ID就是TGC的值，在服务器端，通过TGC查询TGT。3、ST：service

2016-03-01 06:51:15 12016 1

原创单点登录cas常见问题(十二) - Principal的id对应数据库表中的哪个字段？

Principal.getId()拿到的用户id，默认是从Credential.getId()拷贝过来的，Principal实例主要是来自DefaultPrincipalFactoryDefaultPrincipalFactory.createPrincipal(final String id)我们看一下QueryDatabaseAuthenticationHandler 是怎么调

2016-02-29 21:52:39 5166 1

原创单点登录cas常见问题(十一) - 怎么搭建oauth服务器？

1、cas项目导入cas-server-support-oauth子项目如果pom.xml中注释掉了这个模块，放开注释：cas-server-support-oauth2、cas-server-webapp项目的pom.xml中添加 org.jasig.cas cas-server-support-oauth ${proje

2016-02-25 06:37:44 5947

原创单点登录cas常见问题(十) - 怎么将认证方式改为JDBC方式？

认证方式：默认的用户名密码写死在配置文件中 class="org.jasig.cas.authentication.AcceptUsersAuthenticationHandler"> 修改为JDBC

2016-02-23 21:45:06 2393

转载 android app项目启动时的架构搭建

原文出处：http://www.jianshu.com/p/d9e4ddd1c5301.项目结构现在的MVP模式越来越流行。就默认采用了。如果项目比较小的话：app——Application Activity Fragment Presenter等的顶级父类config——API,常量表等model——数据层entities——数据模型presenter——MV

2016-02-23 21:33:27 1849

原创单点登录cas常见问题系列汇总 - 持续更新

单点登录cas常见问题(一) - 子系统是否还要做session处理？单点登录cas常见问题(二) - 子系统是否会频繁访问cas中心？单点登录cas常见问题(三) - 单点登出时，子系统是否同步登出？单点登录cas常见问题(四) - ticket有哪些存储方式？单点登录cas常见问题(五) - service有哪些存储方式？单点登录cas常见问题(六) -

2016-02-21 20:03:55 7954 3

原创单点登录cas常见问题(九) - android app怎么接入cas单点登录系统？

cas-server-support-rest子项目有什么用：如果一个android app要接入cas中心系统，就需要用到这个子项目。引入的前提条件是，cas项目已经启用了，通常不会启用一部分项目，如cas-server-webapp。引入步骤：1、将cas-server-support-rest模块导入到自己的cas项目中2、修改cas目录下的pom.xml，解开注释cas-s

2016-02-21 19:56:13 13702

原创单点登录cas常见问题(八) - 什么时候会用到代理proxy模式？

举一个例子：有两个应用App1和App2，它们都是受Cas服务器保护的，即请求它们时都需要通过Cas 服务器的认证。现在需要在App1中通过Http请求访问App2，显然该请求将会被App2配置的Cas的AuthenticationFilter拦截并转向Cas 服务器，Cas 服务器将引导用户进行登录认证，这样我们也就访问不到App2的资源了。针对这种应用场景，Cas也提供了Cas Proxy

2016-02-21 19:36:19 6124

原创单点登录cas常见问题(七) - 各子项目是做什么的？

cas-management-webapp 这是一个管理service的web项目，没有管理用户的功能cas-server-core cas核心/基础子项目cas-server-core-api

2016-02-20 14:41:30 7513

原创单点登录cas常见问题(六) - cas中心配置的service的信息数据更新了，能否自动重新加载？

先说一下，为什么cas系统中，接入的各个子系统叫服务呢？因为对普通用户来说，每一个接入到cas认证中心的子系统都提供特定的服务，大家都听过软件即服务，平台即服务，这样理解service就通顺了SaaS：Software-as-a-Service，软件即服务PaaS：Platform as a Service，平台即服务那么，如果cas中心配置的service的信

2016-02-20 14:36:50 6429

原创单点登录cas常见问题(五) - service有哪些存储方式？

service的存储方式有以下几种：1、InMemoryServiceRegistryDaoImpl2、JsonServiceRegistryDao3、JpaServiceRegistryDaoImpl：如果启用了oauth，因为每一个第三方都被认为是一个service，最好存储在数据库中，管理方便4、MongoServiceRegistryDaocas默认配置是使用InM

2016-02-19 20:49:42 4957

原创单点登录cas常见问题(四) - ticket有哪些存储方式？

配置文件ticketRegistry.xml负责配置ticket的存储方式，registry是注册表，登记薄的意思常用的存储方式包括1、DefaultTicketRegistry：默认的，存储在内存里2、JpaTicketRegistry：存储在数据库中，服务器重启时，已有的ticket不会丢失，用于高可用HA架构中3、EhCacheTicketRegistry：存储在ehca

2016-02-19 20:43:59 9283

原创单点登录cas常见问题(三) - 单点登出时，子系统是否同步登出？

答案是：子系统会同步登出。可以跟踪源码（这里cas版本是4.x）调用流程如下：terminateSessionAction.terminate(flowRequestContext) centralAuthenticationService.destroyTicketGrantingTicket(tgtId) 实现类CentralAuthentication

2016-02-18 19:47:18 8883

Java开源电商系统BroadLeaf文档

Java开源电商系统BroadLeaf

空空如也