- 博客(36)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 kafka 消费--转换--生产模式
kafka 消费–转换–生产模式package com.oldwang.transactional;import org.apache.kafka.clients.consumer.*;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.clients.producer.Produ
2021-01-21 00:12:09
247
原创 kafka事物发送消息
kafka事物发送消息package com.oldwang.transactional;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.common.seriali
2021-01-21 00:11:24
216
原创 api操作Kafka-config
package com.oldwang.kafka_admin_client;import org.apache.kafka.clients.admin.*;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.common.config.ConfigResource;import java.util.*;import java.util.concurrent.ExecutionExce
2021-01-02 12:11:11
345
2
原创 api操作Kafka-topic
添加maven依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>2.1.1</version> </dependency>package com.oldwang.ka
2021-01-01 10:25:35
219
原创 kafka自定义序列化与反序列化
kafka自定义序列化与反序列化序列化对象序列化实现类producer生产者反序列化实现类consumer消费者效果图github 地址序列化对象package com.oldwang.custom_serializer;import java.io.Serializable;/** * @author oldwang */public class User implements Serializable { private int id; private String
2020-12-13 00:21:55
378
1
原创 SpringBoot项目打包可运行
在SpringBoot项目中我们打包直接运行jar文件，有时候会出现xxx.jar 运行报错：找不到主清单属性,出现此问题是因为在打包的时候没有把主类打进去，需要我们通过插件指定主类入口 在插件中添加SpringBoot的打包插件<plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-p
2020-09-08 18:26:04
230
原创 非SprongBoot项目可运行打包方式
在SpringBoot项目中我们都是通过SpringBoot的打包插件进行打包，然后使用java -jar命令运行jar包，如果我们的项目是非SpringBoot项目的打包的时候需要添加另外的打包插件 在标签中加入以下插件<plugin> <artifactId>maven-assembly-plugin</artifactId> <version>2.2</version>
2020-09-08 18:15:04
814
原创 @EnableEurekaClient和@EnableDiscoveryClient有什么区别？
在stackoverflow上看到这样的解释发现服务”有多种实现方式（eureka，consul，zookeeper）。 @EnableDiscoveryClient属于在spring-cloud-commons中，并在类路径中选择实现。 @EnableEurekaClient属于在spring-cloud-netflix中，仅适用于eureka。如果eureka在类路径上，则它们实际上是相同的。通过这句话我们可以理解如果注册中心使用eureka 推荐使用@EnableEurekaClient，其他的注册
2020-06-18 09:35:26
535
原创 SpringBoot快速自定义Starter
在SpringBoot的过程中，不管是集成redis还是RabbitMQ，甚至是前面集成mybatis已经了很多starter，这些starter都是springboot为我们提供的一些封装，这些starter能非常方便快捷的增加功能，并不需要很多配置，即使需要配置也就在application.properties稍微配置下就可以了。相信不少小伙伴肯定使用过redis-starter，我们接下来也自己集成一个redis-starter新建一个项目，这个项目不需要web功能<?xml versio
2020-06-16 09:03:36
515
原创 快速了解SpringBoot启动流程分析
昨天无意之间看到了一家公司对于springboot的面试题，自己回来之后也就翻了翻源码，做了一个小整理。在翻源码之前我们先要了解几个类ApplicationContextInitializer Context初始化后调用的类SpringApplicationRunListener SpringBoot运行监听的类ApplicationRunnerCommandLineRunner上面这两个几乎可以等价，用于启动后做客户自定义的操作首先我们先来定义几个类方便我们分析新建java类Cust
2020-06-16 08:45:43
231
原创 maven依赖其他war工程
maven 项目如何依赖起来其他的 war 工程假设现有A，B 两个项目，且两个项目都是war项目A项目要依赖B项目 我们该如何实现，首先 在B项目的pom.xml中添加插件 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-war-plugin</artifactId&g
2020-06-11 11:49:19
345
原创 设计模式之单例模式
单例模式之饿汉式/** * @Auther: oldmatewang * @Description: 单例模式之饿汉式--->该类在被加载时就会实例化一个对象 */public class Hungry { //构造器私有化 private Hungry(){} //创建所有对象 private static Hungry HUNGRY = new Hungry(); //提供对外接口 public static Hungry getIns
2020-05-19 12:28:04
120
原创 thymeleaf表单提交POST请求CSRF跨域403解决方案
第一种方法，官方推荐使用。form 表单使用 th:action属性，thymeleaf会自动在 form 表单中生成 _csrf 隐藏域<!DOCTYPE html><html lang="en" xmlns:th="http://www.thymeleaf.org"><head>... <form class="form-signin" th:action="@{login}" action="login" method="post...
2020-05-18 18:38:40
2003
1
原创 linux下ping百度提示: unknown host www.baidu.com
问题现象：ping www.baidu.com，提示unknown host www.baidu.com问题原因：没有配置域名服务器resolve.conf问题解决：1、创建resolv.conf文件sudo vi /etc/resolv.conf2、在/etc/resolv.conf中添加 DNS (默认Google的DNS) nameserver8.8.8.8...
2020-03-05 13:29:31
642
原创 修改root用户文件权限为普通用户
命令：chown -R 用户名 文件夹路径sudo chown -R hadoop:hadoop /tmp/hadoop
2020-02-13 15:59:22
9082
1
原创 Linux安装SVN
一、卸载yum remove subversion二、安装1.安装httpd，mod_dav_svn，subversionyum install -y httpd mod_dav_svn subversion2.创建仓库mkdir /var/www/svncd /var/www/svnsvnadmin create repochown -R apache:apache repo...
2019-12-14 15:34:35
128
原创 Linux系统搭建SVN仓库
一、卸载yum remove subversion二、安装2.1云命令安装svn服务器yum install subversion2.1查看安装svn服务的版本svnserve --version2.3创建版本库cd /var/svn //先进入svn目录svnadmin create...
2019-10-28 17:36:49
287
原创 HDFS两大核心之文件上传&下载
文件上传过程1.客户端向namenode发送文件上传请求2.NameNode会进行一系列的检查 检查父目录，文件是否存在 权限等 如果检查都通过会3.客户端正真的提交上传文件的请求 这个请求包含一个重要的信息文件的大小（计算切块的个数）4.NameNode开始计算上传文件的切块个数 （文件总长度/128M=结果向上取整，计算完成之后返回给客户端对应的节点 获取副本个数，返回客户端对...
2019-09-26 14:26:20
145
原创 HDFS四大机制之安全模式
集群的一种自我保护模式 namenode集群再安全模式下不允许用户的相关的操作的什么情况下 hdfs会进入安全模式？ 1）集群启动的时候进入安全模式 集群的启动顺序： namenode---》 datanode---》 secondarynamenode 集群再启动namenode和datanode的时候一直处于安全模式的 集群启动的时...
2019-09-26 11:30:27
856
原创 HDFS四大机制之负载均衡
hadoop集群中多个datanode中每一个datanode存储的数据的占比相当，负载均衡和每一个datanode的硬件相关的对于hadoop集群来说 namenode会定期检查集群的负载 如果发现集群中datanode节点的负载不均衡的情况下 自动启动负载均衡进行负载均衡---》 将存储占比大的datanode节点上的数据 移动到 存储占比小的datanode节点上将node1...
2019-09-26 10:39:21
1315
原创 HDFS四大机制之机架策略
机架策略 --- 副本存放策略 默认副本3个 默认机架2个多个副本的放置策略：1）第一个副本放在客户端所在节点 目的为了防止数据块的副本上传不成功 最大程度的保证第一个副本上传成功 如果客户端不是集群中的节点 随机选择一个节点 2）第二个副本放在与第一个副本不同机架的任意节点 目的：保证数据安全 防止机架整体断电 断网 3） 副...
2019-09-26 10:06:03
714
原创 HDFS四大机制之心跳机制
namenode如何获取哪一个datanode是可用的 哪一个datanode的可用空间？ datanode会定时的向namenode发送心跳报告 目的告诉namenode自己的存活状况以及可用空间 这个时间是多久？默认3s <property> <name>dfs.heartbeat.interval</name> ...
2019-09-26 09:36:10
2087
2
原创 Exception in thread "main" java.util.MissingResourceException: Can't find bundle for base name jdbc,
网上很多例子都是说配置文件没有在classpath下试了很多方法也不行，最后查看ResourceBundle.getBundle()源码发现可查传入本地国家代码，获取本地国家代码然后传入发现问题解决。代码如下Locale locale = Locale.getDefault();ResourceBundle bundle = ResourceBundle.getBundle("jdbc"...
2019-08-28 23:14:17
2691
原创 com.netflix.discovery.shared.transport.TransportException: Cannot execute request on any known serve
SpringCloud 的eureka服务端，它默认会为自己注册到服务端，所以才会报这个错：修改配置文件 application.yml添加如下内容eureka: client: registerWithEureka: false fetchRegistry: false...
2019-08-14 16:09:52
173
原创 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient通过查看hive.lo...
2019-07-31 00:54:15
457
原创 sqoop：MySQL数据导入HBase: Error:tool.ImportTool: Error during import: HBase jars are not present in clas
解决：将hbase的安装目录下的lib下的hbase-annotations-1.2.6.jarhbase-common-1.2.6.jarhbase-protocol-1.2.6.jar放在sqoop的安装目录的lib下
2019-07-18 19:27:50
188
原创 Linxu服务器上MySQL安装
rpm方式安装mysql1.查看mysql是否安装 rpm -qa | grep -i mysql2.卸载之前安装 rpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_643.rpm命令安装mysql tar -xvf mysql-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar...
2019-07-07 12:39:25
109
原创 clone vm
1.克隆(复制)虚拟机(链接克隆)2.设备信息 vim /etc/udev/rules.d/70-persistent-net.rules 删除eth0(来自于hdp01) 修改eth1名称为eth0,复制mac址:00:0c:29:99:82:833.网卡配置(eth0) vim /etc/sysconfig/network-scripts/ifcf...
2019-07-07 12:38:53
393
原创 Linux服务器上Redis安装
1.下载 http://www.redis.io http://www.redis.cn 2.上传文件到linux系统 3.解包解压缩(源码工程) tar -zxvf redis-3.2.6.tar.gz 4.安装gcc编译器集合 yum -y install gcc-c++ 5.安装make yum -...
2019-07-07 12:38:27
124
原创 Windows环境下 Hadoop Error: JAVA_HOME is incorrectly set.
在windows系统安装好hadoop后，输入hadoop version命令测试一下，结果：Error: JAVA_HOME is incorrectly setPlease update set前提条件：jdk已经正确安装和配置！解决办法：1.打开hadoop-env.cmd文件目录在你自己的hadoop安装目录 （E:\hadoop\hadoop-2.7....
2019-07-07 12:37:40
3579
原创 Redis错误日志-MISCONF Redis is configured to save RDB snapshots
MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error...
2019-07-07 12:37:02
278
原创 org.apache.hadoop.io.nativeioc.NativeIO$Windows.createDirectorWithMode0（Ljava/lang/String；I）V
出现此问题是windows平台编译找不到hadoop需要winutils插件0.检查hadoop环境变量配置是否正常 检查Windows平台是否有该插件（若没有该插件，请下载配置） 将插件下的bin目录复制替换hadoop安装目录下的bin文件 修改\hadoop\hadoop-2.7.6\etc\hadoop\hadoop-env.cmd文件指定java环境...
2019-07-07 12:36:12
215
原创 Linux普通用户免密登录无效
1，查看日志 sudo cat /var/log/secure2，根据日志信息查找报错原因 hdp01 sshd[3088]: Authentication refused: bad ownership or modes for directory /home/hadoopsshd为了安全，对属主的目录和文件权限有所要求。如果权限不对，则ssh的免密码登陆不生效...
2019-07-07 12:35:39
3143
原创 sqoop：MySQL数据导入HBase: Error:tool.ImportTool: Error during import: HBase jars are not present in clas
解决：将hbase的安装目录下的lib下的hbase-annotations-1.2.6.jarhbase-common-1.2.6.jarhbase-protocol-1.2.6.jar放在sqoop的安装目录的lib下
2019-07-07 12:35:03
945
4
原创 MySQL服务正在启动或停止中，请稍候片刻后再试一次
相信有些小伙伴在使用数据库的过程中会经常频繁的启动和停止MySQL服务，有时候会出现“服务正在启动或停止中，请稍候片刻后再试一次。”这样的提示，如下图所示。首先以管理员身份打开命令行窗口，注意是管理员身份，不然无权限访问。之后输入命令“tasklist| findstr "mysql"”，用于查找mysql的残留进程。果不其然，确实存在mysql的残留进程，难怪一直提示MySQL服务处于正...
2019-07-07 12:33:47
721
原创 Linxu 环境变量不小心被改了几乎所有的基本命令无法使用怎么办？？？
1、重启机器（如果无效请参考第二条）2、使用命令设置临时PATH（只对当前窗口有效） export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin 设置完成后使用vim/vi编辑器将/etc/profile配置文件中的环境变量修改正确。...
2019-05-01 02:47:05
567
redis.docx(基础)
2020-07-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人