- 博客(15)
- 收藏
- 关注
RSS订阅原创 MapReduce案例之TopN实现
基于上次WordCounter 案例，我在此基础上实现了TopN 处理逻辑。在大数据场景实现TopN，跟我们平时处理方式不一样，需要考虑数据量的问题，一般情况下我们只要在内存中做一个全排序，然后取出前N个数据即可。由于大数据中的数据都是上千万甚至上亿的数据量，在这样的场景下，全排序要么内存不支持，要么耗时太久。那么怎么解决呢？其实思虑也不难，就像比赛拿名次一样，我们在分布式计算环境中，可以先执行小组赛，在小组赛中拿到N之前的名次的团队，再取参加决赛。这样每个节点计算量就会可控，执行效率也大大提高了。
2024-07-21 02:58:52
1197
原创 MapReduce案例之WordCounter 实现之一
mapReduce 是一个分布式运算程序的编程框架，是用户开发基于hadoop 的数据分析应用的核心框架。主要功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序，并在Hadoop集群上运行。使用的编程思想是分而治之.使用大规模数据计算场景。MapReduce 程序运行分为两个阶段Map阶段和Reduce阶段。
2024-07-05 07:30:26
1041
转载 权限系统设计模型分析（DAC，MAC，RBAC，ABAC）
权限系统设计模型分析（DAC，MAC，RBAC，ABAC）好久没有更新文章了……这一年过得太忙。准备一篇个人认为值得拿出来分享的文章真的需要很多时间，如果你喜欢，请评论、点赞让我知道，我会抽更多的时间来更新一些分享给大家，谢谢！此篇文章主要尝试将世面上现有的一些权限系统设计做一下简单的总结分析，个人水平有限，如有错误请不吝指出。术语这里对后面会用到的词汇做一个说明，老司机请直接翻到常见设计模式。用户发起操作的主体。对象（Subject）指操作所针对的客体对象，比如订单数据或图片文件。权限
2021-06-04 16:48:54
646
原创 Elasticsearch SQL CLI 的 JLineTerminal 问题
Elasticsearch SQL CLI 的JLineTerminal 问题今天在研究Elasticsearch 关于SQL 查询问题，出现了一个问题，异常信息如下：Exception in thread "main" java.io.IOError: java.lang.UnsupportedOperationException at org.jline.utils.Curses.tputs(Curses.java:62) at org.jline.utils....
2021-01-06 00:49:40
375
原创 Camunda Job 任务 不执行原因总结
最近在使用Camunda工作流引擎实现微服务的编排工作，根据业务场景需要某些任务节点在出现异常的情况下，进行异步重复操作，且不能影响之前节点的执行结果，即事务不能回滚。配置好工作流程后，本以为可以顺利执行，结果出现Camunda JOB 没有执行的情况，流程停留在时钟节点上。该问题耗费了两天的时间才解决。环境版本说明：camunda-bpm-spring-boot-starter-webapp 3.0.5spring boot 2.2.5.RELEASEOracle 数据库...
2020-07-03 11:34:11
2875
原创 Cockpit plugin 加载失败问题 for Camunda 7.9.0
今天在集成Camunda 到Spring Cloud 微服务中的时候出现了 org.camunda.bpm.engine.rest.exception.rest.exception.RestException:It was not able to load the following file 'app/plugin.js' 异常。刚开始以为是Spring boot 对静态资源访问的限制问...
2020-05-07 18:00:53
1645
原创 idea 解决springboot 中 @Autowired注入对象时有红线问题
今天自己编写了一个Spring Boot Starter ，在引入Spring Boot Starter后，使用@Autowired注入Starter中提供的业务方法时，Idea 提示编译报错，找不到这个Bean，如图所示：上网查询了下资料，都没有具体说明，很多是建议是修改Idea的对注入Bean的等级，从Error降为 Warning。个人感觉不妥，经分析后，任务这是一个Sprin...
2019-07-18 12:12:06
4321
1
转载 GIT 使用过程总结 (三) -- 分支管理策略
Git分支管理策略一、Git版本管理的挑战Git是非常优秀的版本管理工具，但面对版本管理依然有非常大得挑战。工程开发中，开发者彼此的代码协作必然带来很多问题和挑战：A、如何开始一个Feature开发，而不影响其它Feature？B、由于很容易创建新分支，分支多了如何管理，时间久了，如何知道每个分支是干什么的？C、哪些分支已经合并回了主干？D、如何进行Release的管理？开始一个Relea...
2019-07-16 11:13:02
313
原创 Spring Boot 之 激活 Profile
在整个项目的项目周期中，会经历很多项目阶段，比如开发阶段、测试阶段、SIT阶段、UAT阶段以及交付生产，不同的阶段，项目在配置细节上都需要不同的配置信息，比如日志等级，开发阶段是DEBUG级别，交付生产后需要是INFO级别等。如果每次都手动切换这些配置，必然给开发人员带来不必要的重复工作，甚至有可能出错。而Spring Boot 在这方面很大的改善和优化，下面我们具体说说： ...
2019-04-28 15:07:41
487
原创 Spring Boot 属性配置之 DataSource 配置列表
在项目开发过程中，尤其是性能调优的时候，需要我们对应用的数据源进行优化和配置。以下是Spring Boot 提供的相应DataSource的配置清单，方便我们在使用的时候能够进行快速查找：属性 说明 spring.datasource.jdbc-url 用来创建连接的JDBC URL spring.datasource.username 数据库的登录用户名 ...
2019-04-26 19:32:10
4246
1
原创 Spring Boot 属性文件外置配置之多种设置途径
Spring Boot 自动配置的Bean提供了300多个用于微调的属性，这些属性可以通过在环境变量、java的系统属性、JNDI（Java Naming and Directory Interface）、命令行参数或者属性文件里进行配置，以下已设置服务器端口号server.port=9080进行说明。（1）命令行参数$ java -jar ***-0.0.1-SNAPSHO...
2019-04-26 17:24:55
221
原创 GIT 使用过程总结（二）
今天分享Git的本地分支和远程分支的创建与删除。一、创建本地分支和远程分支： 1. git branch [分支名称] //创建本地分支 2. git push --set-upstream origin [分支名称] //创建远程分支，并关联到本地分支 3. git checkout [分支名称] //切换到新建分支 PS: 创建远程分支的时...
2018-06-07 20:30:24
2427
原创 GIT 使用过程总结（一）
GIT 使用教程 一、GIT的安装教程a) 安装包下载地址（windows 版）：http://gitforwindows.org/ b) 安装： 安装完成之后，桌面上会有GIT Bash 图标，点击该快捷图标，进入GIT的命令窗口，通过该窗口，进行GIT的相关操作。一、 架构图 二、 常用操作命令GIT 配置Git 提供一个叫Git config的工具，专门用来配置或者读取相应的工作环境变量...
2018-04-14 23:58:47
330
原创 Intellij Idea 使用过程总结（一）
IntelliJ Idea使用手册（一）1. 安装和破解(1) 安装① 下载Intellij IDEA1) 下载地址：https://www.jetbrains.com/idea/download/#section=windows2) Intellij Idea 有两个版本，一个是Ultimate（旗舰版） 和Community（社区版），我们一般用Ultimate 功能比较全，建议使用。 ② 安...
2018-03-20 13:09:40
587
原创 Oracle XE 访问 PRODUCT_USER_PROFILE 时出错 处理
大家好，今天在使用Oracle XE数据库的时候遇到了“访问 PRODUCT_USER_PROFILE 时出错，警告: 未加载产品用户概要文件信息!您需要将 PUPBLD.SQL 作为 SYSTEM 运行”的警告。下面为大家分析下，并说明我的解决方法： 在安装了Oracle XE 数据库之后，创建用户test --创建表空间--extent management local un...
2018-03-10 16:59:01
1096
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人