java的爪哇-CSDN博客

原创 HDFS EC文件损坏恢复方法

恢复思路，屏蔽损坏的datanode节点，强制数据从好节点上读取，这里需要用到hdfs api的方式处理，修改了hdfs client的逻辑，增加skip ip参数进行跳过损坏的ip。是在进行读数据的时候发现数据损坏，这是很严重的问题。然后再对文件进行验证，目前我实现了 orc parquet text textGzip的表验证，如果验证到最后，还是不能读取则文件确实损坏了3个节点的数据。如果坏块没有全部损坏，比如RS-3-2-1024K的，只有2个节点损坏，这种情况还是能恢复的。

2024-06-28 18:29:19 330 1

原创 spark UDAF根据某列去重求合 distinct sum

spark UDAF根据某列去重求合 distinct sum例子:package spark.groupzbimport org.apache.log4j.{Level, Logger}import org.apache.spark.sql.types._import org.apache.spark.sql.{Row, SparkSession}/** * creat...

2020-03-20 10:49:19 1150

原创 spark UDAF 自定义聚合函数 UserDefinedAggregateFunction 带条件的去重操作

需求：按餐品分组，并求出无优惠金额的订单数。package cd.custom.jde.job.udfimport org.apache.spark.sql.Rowimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apac...

2020-02-12 01:36:12 980

原创 spark json字符串转dataframe,dataframe结构转json处理

spark json字会串转dataframe,dataframe结构转json处理package mongoimport org.apache.spark.sql.SparkSessionobject InsertTable { def main(args: Array[String]): Unit = { val spark = SparkSession.build...

2019-10-22 11:27:52 2717 1

原创 spark streaming拉取kafka数据，结合sparkSql dataframe hive存储计算，输出到mysql

spark streaming拉取kafka数据，结合sparkSql dataframe hive存储计算，输出到mysql.数据清洗过程比较复杂，没办法，上游给的屡一样的数据，正则去解析并全量按时间取最新一条去重。每天kafka数据5千万条。1分钟要刷一次，看上去还可以满足。只有屡一样去堆代码了。package biReportJob.streamingimport jav...

2019-08-15 17:52:29 1320

原创 spark 10分钟计算一次mongodb当天日志数据，日志为字符串格式，按订单号去重，取时间最近的订单，优化方案

spark 10分钟计算一次mongodb当天日志数据，日志为字符串格式，按订单号去重，取时间最近的订单，优化方案问题：解析字符串，构建spark dataframe结果集，全量去重，数据量过多，解析复杂，导致从早上1分钟到晚上30分钟才能跑完一次任务。spark streaming的接收源一般是推来的，不像kafka会推过来，然后再根据偏移量来记录刻度，优化方案：按小时去清理数据，把解...

2019-08-12 18:39:55 710

原创 spark streaming 自定义接收数据源Receiver测试

spark streaming 自定义接收数据源Receiver测试package orderimport org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * c...

2019-08-12 16:45:18 1710

原创 scala spark 手动构建DataFrame复杂类型，arrayType,StructType

scala spark 手动构建DataFrame复杂类型，arrayType,StructTypepackage biReportJob.ztimport org.apache.log4j.{Level, Logger}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.functions._import org.a...

2019-07-29 18:35:52 7453

原创 python json 字符串,字典转换操作，json Decimal类型处理问题。

python json 字符串,字典转换操作，json Decimal类型处理问题，中文乱码问题。python json转换有点小费尽，这里标记一下。JSON: TypeError: Decimal('34.3') is not JSON serializable [duplicate]import jsonfrom api_py_connector.cdCconnector.ap...

2019-07-26 11:44:36 3342

原创 sbt多环境打包自定义插件

好久没写博客了，但这个sbt太坑了，本来一个小小的功能，看了好久的文档才弄出来。sbt打包scala语言 sarpk jar时多环境的的问题。于是自已写了一个插件具体代码请查看github ：https://github.com/liangrui1988/sbtEnvironment...

2019-06-05 13:04:26 380

原创架构图整理

游戏-WEB后台，控制服，服务交互图说明游戏-WEB后台，控制服，服务架构图游戏-日志采集，数据调度，经分平台架构说明

2018-05-29 20:22:04 1133 2

原创 postgresql partition by over 窗口函数（分组求数量并求某个条件之上的数量和）

-- 角色活越等级分布，并累加大于（含当前等级）的角色数量select server_id,lv, os,rid,chn,num , sum(num) over(PARTITION BY server_id,os,rid,chn order by (lv)::int desc ) lv_sum from( SELECT server_id,cont->>'lv' lv,co...

2018-03-29 17:20:32 15555

原创 java排查一个线上死循环cpu暴涨的过程

问题，打一个页面cpu暴涨，打开一次就涨100%,一会系统就卡的不行了。排查方法，因为是线上的linux,没有用jvm监控工具rim链接上去。只好用命令排查：top cpu排序，一个java进程cpu到500%了，什么鬼.....查到对应java进程jps || ps -aux | grep 端口 pid=13455查看进程中线程使用情况 T排

2018-02-01 16:46:49 2899

原创 flume拉取日志压测数据分析

DEUBG模式拉取（消耗模式），内存缓存模式，批量100条写入（可调大）52G日志开始增量到70G 137个log文件 11:29开始抽样：63737900条表数据=29 GB 索引+表数据=39 GB67338900条表数据=31 GB 索引+表数据=41 GB82897700条表数据=38 GB 索引+表数据=51 GB111146500条表

2018-01-22 15:31:56 1436

原创日志系统架构，后台服务架构图

日志系统架构，后台服务架构图

2017-12-08 16:40:37 3024

原创 kafka安装应用，zookeeper集群集成测试应用

kafka安装应用，zookeeper集群集成测试应用

2017-08-11 16:26:28 899

原创接入-分布式任务调度平台XXL-JOB

接入-分布式任务调度平台XXL-JOB

2017-07-14 15:24:02 5417

原创 flume之Taildir Source支持变化追加文件的日志收集

flume之Taildir Source支持变化追加文件的日志收集

2017-07-14 14:26:10 10861

原创 supervisor管理后台进程之flume

supervisor管理后台进程之flume

2017-07-14 14:20:12 3175

原创 flume收集日志到mysql

flume收集日志到mysql

2017-05-14 20:19:45 924

原创 flume-ng安装，应用，几个简单测试例子!

flume-ng安装，应用，几个简单测试例子!

2017-05-13 02:13:19 1706

原创 java8 lambda小试牛刀，利用Stream把list转map,并将两个list的数据对象合并起来

java8 lambda小试牛刀，利用Stream把list转map,并将两个list的数据对象合并起来

2017-03-17 16:07:41 44127 3

原创 sql 分组求数量，并取最新一条数据

sql 分组求数量，并取最新一条数据

2017-03-13 18:23:38 3540

原创 jvisual下BTrace插件简单例子应用

jvisual下BTrace插件简单例子应用

2017-03-02 11:55:11 1345

原创 jvm JConsole工具监控内存和线程演示

jvm JConsole工具监控内存和线程演示

2017-03-01 18:49:54 2612

原创 JVM 垃圾回收，理解GC日志

JVM 垃圾回收，理解GC日志

2017-02-28 15:06:07 672 1

原创 java虚拟机GC是这样回收对象的吗？

java虚拟机GC是这样回收对象的吗？

2017-02-24 15:16:36 594

原创 eclipseMemoryAnalyzer工具分析java内存溢出代码

eclipseMemoryAnalyzer工具分析java内存溢出代码

2017-02-23 11:53:25 1773

原创 postgresql 从json数组中提取json值，并分组，汇总

postgresql 从json数组中提取json值，并分组，汇总

2017-01-24 15:57:13 19959

原创 java 把一个大list分成N个小list，然后用map存储的小方法

java 把一个大list分成N个小list，然后用map存储的小方法

2016-12-07 16:03:05 3474 1

原创 java 获取本周一的日期

java 获取本周一的日期

2016-09-30 10:32:01 1479

原创 java一段简单的代码看懂多线程结果

java一段简单的代码看懂多线程结果

2016-09-09 20:54:46 1613

原创 linux重启tomcat 小脚本

linux重启tomcat 小脚本

2016-08-24 20:41:33 635

原创 springMvc工作流程图

springMvc工作流程图

2016-07-10 23:54:20 1154

原创 Bootstrap Table分页例子

Bootstrap Table分页例子

2016-06-21 15:15:59 7441

原创完美企业后台管理项目架构，apache shiro,bootstrap,spring,springMVC,mybatis,github,gradle

java后台管理系统演示用户 test test http://111.231.84.136:9829/zdata完美企业后台管理架构项目，经历几个月的业余时间，已经成形。分享出来，后续会继续完善，我不会写教程，如果有人需要了解，我又有时间的话，那时再出一份文档讲解吧。因本人不是专业前端，采用jquery+bootstrap。这里没有JSP标签，虽然也写了很久JSP，但对于它和后台偶合的...

2016-06-09 16:02:13 5498

原创 jquery validate 自定义验证小数前面9位，小数后面2位的js

jquery validate 自定义验证小数前面9位，小数后面2位的js

2016-05-17 19:36:22 9032

原创 Mybatis-Generator自动生成映射配置文件和CRUD操作

Mybatis-Generator自动生成映射配置文件和CRUD操作

2016-04-20 16:42:43 1944

原创 apache HttpClients实例，传入json对象。对应的springMvc通过HandlerMethodArgumentResolver解析两个对象绑定

apache HttpClients实例，传入json对象。对应的springMvc通过HandlerMethodArgumentResolver解析两个对象绑定

2016-04-19 18:36:00 1245

转载性能分析之-- JAVA Thread Dump

性能分析之-- JAVA Thread Dump

2016-02-24 11:34:24 1668

gradle中文指南

gradle中文指南pdf

2015-11-18

深入剖析Nginx

《深入剖析Nginx》不是一本关于Nginx配置指令如何使用的介绍手册。《深入剖析Nginx》重点在于通过剖析Nginx的源代码，探究其功能结构及其内部实现原理。全书共14章和3个附录。首先介绍了开始剖析Nginx源代码前的准备工作，以及跟踪和调试的方法；然后，分别深入分析了Nginx的进程模型、数据结构、配置指令、主要功能模块、I/O事件处理、变量机制、客户端请求过程、Filter模块实例、负载均衡策略以及Handler模块等。附录部分提供了Nginx的编译模块、运行配置等有用信息。

2015-04-27

maven项目 cxf webservice

maven项目 cxf webservice mongodb mysql 公司真实现目初期实现

2015-02-06

spring mvc 集成mongoDB项目例子

2015-01-30

DOM4J帮助文档+api

2014-09-30

Log4j手册+API

2014-09-30

maven分模块开发例子小项目案例spring+springmvc+hibernate

maven分模块开发例子小项目案例 spring+springmvc+hibernate架构以用户管理做测试，分dao,sevices,web层，分模块开发测试！因时间关系，只测查询成功，其他的准备在ext上做个完整的案例来的，可惜最近时间很紧

2014-08-14

java反编译 jd-gui-0.3.3.osx.i686.zip

2014-07-24

j2eeAPI中英文版

2014-04-25

spring-Test,Junit4 jar,和测试代码

2014-03-14

svn图标的含义.docx

2014-03-12

java自定义注解\标签库\监听\junit简单测试

java自定义注解 annotation、标签库tag、监听listener、junit简单测试代码

2014-02-27

java线程课程代码，很有用的，有注释哦

2014-02-19

ejb课程测试代码,eclipse+jboss5.1 ant编译等代码

ejb课程测试代码,eclipse+jboss5.1 ant编译等代码三个测试项目请下载

2014-02-07

spring mvc +hibernate注解版测试增，删，改，查简单xml配置应用

2014-01-01

axis1.4部署webSevice项目测试(已有所相关的jar包)+开发指南+源码+部署相关配置wsdd文件，内有说明

2013-12-29

jquery easyUI JS库和API 附加日期控件库My97DatePickerBeta.zip

2013-12-20

整理的JS部分插件库

日期控件、全屏IE fireFox 等全屏弹出消息，树形菜单 easy表格分页等等部分JS库整合成JSP项目，方便日后直接使用

2013-12-19

公司做的时实查询数据系统测试版

公司做的时实查询数据系统测试版 spring+struts2+fusioncharts动态报表等等技术真实小项目，大数据

2013-12-19

java 发送邮件 email相关操作代码测试,生成复杂格式邮件，发送邮件相关操作

2013-12-16

FusionWidgets_Cracked3.01破解版

FusionWidgets_Cracked3.01破解版真的可用

2013-12-03

java加强课程测试代码反射、代理、泛型、beanUtils等

java加强课程测试代码反射代理泛型 beanUtils等有相关注释说明

2013-11-17

JPA课程manyToMany OneToMany 等全部测试

JPA课程manyToMany OneToMany 等全部测试注解，有注释

2013-11-13

以前SSH课程小案例

以前SSH课程小案例，今天项目需求，有一个下载xls功能，正好拿运去用上了，里面的东西还挺有用的，先留着吧！

2013-11-13

docmentSql.rar

docmentSql.rar 请不要下载，我以前工作的sql查询！以后不知能不能用到，自已用的

2013-11-08

jbpm4.4项目测试源码下载，

jbpm4.4项目测试源码下载，效果图请看:http://blog.csdn.net/liangrui1988/article/details/11907459

2013-09-22

JBPM4教程.pdf

2013-09-08

jboss+jbmp5.3开发手册.rar

2013-09-07

fusioncharts v3.2 最新破解版

2013-09-06

SSH+jquery+springScurity权限管理+fusion+jasperreport报表+webService调用天气预报+完整分页整合小型OA

这个里面加了fusion报表代码 SSH+jquery+springScurity权限管理+jasperreport报表+webService调用天气预报+完整分页整合小型OA项目源码下载里面还有需要完善的地方，有些是需要重复做的代码，最近时间比较紧，没有来得功夫搞了！发出来供大家参考、学习！源码下载项目效果图: http://blog.csdn.net/liangrui1988/article/details/11178897

2013-09-06

SSH+jquery+springScurity权限管理+jasperreport报表+webService调用天气预报+完整分页整合小型OA项目源码

SSH+jquery+springScurity权限管理+jasperreport报表+webService调用天气预报+完整分页整合小型OA项目源码下载里面还有需要完善的地方，有些是需要重复做的代码，最近时间比较紧，没有来得功夫搞了！发出来供大家参考、学习！源码下载项目效果图: http://blog.csdn.net/liangrui1988/article/details/11178897

2013-09-06

FusionCharts参数大全中文说明.pdf

2013-09-05

SSH+jquery+springScurity权限管理+jasperreport报表+webService调用天气预报+完整分页整合小型OA

SSH+jquery+springScurity权限管理+jasperreport报表+webService调用天气预报+完整分页整合小型OA项目源码下载里面还有需要完善的地方，有些是需要重复做的代码，最近时间比较紧，没有来得功夫搞了！发出来供大家参考、学习！源码下载+sql: 项目效果图: http://blog.csdn.net/liangrui1988/article/details/11178897

2013-09-05

myBatis 基础测试多表关联集合测试myelipse项目

myBatis 基础测试表关联关系配置集合测试myelipse项目

2013-08-22

spring Scurity终于测试OK了

pring Scurity终于测试OK了，复杂的功能还待深入研究！发布出来一起探讨吧！就是因为研究它，我的个天啦！头都大了一圈！还待修改完整版！我的目标不是每个项目拿到它就能使用！到时再说啦。。。虽然只是一个登陆，但里面的知识真是太广了！什么md5 盐值加密生成,cookie 生成序列保存数据库， sessionID防护的一大堆安全，资源权限分配和保护等。。。值得一学的框架! sql 脚本也在一起效果图片请看：http://blog.csdn.net/liangrui1988/article/details/9932865

2013-08-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

gradle中文指南

深入剖析Nginx

maven项目 cxf webservice

spring mvc 集成mongoDB项目 例子

DOM4J帮助文档+api

Log4j手册+API

maven分模块开发例子小项目案例spring+springmvc+hibernate

java反编译 jd-gui-0.3.3.osx.i686.zip

j2eeAPI中英文版

spring-Test,Junit4 jar,和测试代码

svn图标的含义.docx

java自定义注解\标签库\监听\junit简单测试

java线程课程代码，很有用的，有注释哦

ejb课程测试代码,eclipse+jboss5.1 ant编译等代码

spring mvc +hibernate注解版测试增，删，改，查 简单xml配置应用

axis1.4部署webSevice项目测试(已有所相关的jar包)+开发指南+源码+部署相关配置wsdd文件，内有说明

jquery easyUI JS库和API 附加日期控件库My97DatePickerBeta.zip

整理的JS部分插件库

公司做的时实查询数据系统测试版

java 发送邮件 email相关操作代码测试,生成复杂格式邮件，发送邮件相关操作

FusionWidgets_Cracked3.01破解版

java加强课程测试代码 反射、 代理 、泛型、beanUtils等

JPA课程manyToMany OneToMany 等全部测试

以前SSH课程小案例

docmentSql.rar

jbpm4.4项目测试源码下载，

JBPM4教程.pdf

jboss+jbmp5.3开发手册.rar

fusioncharts v3.2 最新破解版

SSH+jquery+springScurity权限管理+fusion+jasperreport报表+webService调用天气预报+完整分页 整合小型OA

SSH+jquery+springScurity权限管理+jasperreport报表+webService调用天气预报+完整分页 整合小型OA项目源码

FusionCharts参数大全 中文说明.pdf

SSH+jquery+springScurity权限管理+jasperreport报表+webService调用天气预报+完整分页 整合小型OA

myBatis 基础测试 多表关联 集合测试myelipse项目

spring Scurity终于测试OK了

spring-security-sample案例代码

struts2验证+拦截器+国际化+下载excle文档+struts2二级联动+ongl表达试+ssh集成 项目下载

struts2验证+拦截器+国际化+下载excle文档+ssh集成.rar

struts2课程

jquery课程基本代码测试

空空如也

spring mvc 集成mongoDB项目例子

spring mvc +hibernate注解版测试增，删，改，查简单xml配置应用

java加强课程测试代码反射、代理、泛型、beanUtils等

SSH+jquery+springScurity权限管理+fusion+jasperreport报表+webService调用天气预报+完整分页整合小型OA

SSH+jquery+springScurity权限管理+jasperreport报表+webService调用天气预报+完整分页整合小型OA项目源码

FusionCharts参数大全中文说明.pdf

SSH+jquery+springScurity权限管理+jasperreport报表+webService调用天气预报+完整分页整合小型OA

myBatis 基础测试多表关联集合测试myelipse项目

struts2验证+拦截器+国际化+下载excle文档+struts2二级联动+ongl表达试+ssh集成项目下载