- 博客(36)
- 收藏
- 关注
原创 canal实时同步mysql数据到mysql/hbase
canal实时同步mysql数据到mysqlcanal实时同步mysql数据到hbase
2022-03-03 17:29:59
3151
原创 protobuf2简单介绍及在IDEA中的使用
文章目录一、protobuf2简单介绍1. 数据类型2. 简单示例二、在IDEA中使用1. 安装protobuf support2. pom.xml添加maven插件3. pom.xml添加依赖4. 添加.proto文件import path5. 生成.java文件一、protobuf2简单介绍protobuf相较于xml和json,更注重于数据序列化优点:拥有更高的时间效率和空间效率缺点:可读性差1. 数据类型.protoNotesJavadoubledouble
2022-01-19 10:44:50
3314
原创 windows搭建MQTT服务器
文章目录一、下载mosquitto二、配置mosquitto三、MQTTX一、下载mosquitto点击下载安装程序 下载地址二、配置mosquitto安装路径打开命令行界面设置user及password执行:mosquitto_passwd.exe -c pwfile.example -u vic设置用户名:vic 设置密码:123456配置文件检查 mosquitto.exe -c mosquitto.conf 未报错说明配置正常设置端口 默认
2022-01-17 15:41:56
2317
原创 python操作redis集群
安装pip install redispip install redis-py-cluster 查看是否安装成功pip list直接上代码(注意,最新版本要用RedisCluster,而不是StrictRedisCluster!!!)# -*- coding: utf-8 -*-from rediscluster import RedisClusterredis_basis_conn = [{'host': '10.69.53.27', 'port': 7001}, {'host
2021-10-22 17:26:48
160
原创 CDH安装hue报Unexpected error. Unable to verify database connection
文章目录问题描述解决方案问题描述CDH安装hue时,测试数据库连接报错Unexpected error. Unable to verify database connection解决方案执行下面两条语句yum install --skip-broken krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel pyt
2021-10-08 10:55:32
408
原创 使用新cloudera manager接管原有CDH集群
文章目录问题描述解决方案问题复现解决步骤问题描述原有Cloudera Manager的cm库被删,导致Cloudera Manager不可用。后由于其他原因,导致集群服务不可用,且手动重启失败。解决方案重新安装Cloudera Manager及CDH集群,接管原集群数据。问题复现1.搭建CDH集群,在hive中插入测试数据2.删除Cloudera Manager的cm库,导致Cloudera Manager不可用解决步骤1.停止集群上的所有服务,我这里选择的直接reboo
2021-10-08 10:44:42
353
原创 生产环境nginx+keepalived负载均衡及高可用方案
一、Nginx安装安装编译工具yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel2.安装PCRE使Nginx支持rewrite功能# 下载压缩包cd /usr/local/src/wget http://downloads.sourceforge.net/project/pcre/pcre/8.35/pcre-8.35.tar.gz# 解压tar zxvf pcre-8.35.tar.g
2021-08-03 09:46:55
1215
3
原创 linux乱码文件删除
linux出现了乱码文件,无法指定文件名删除删除方法1.查找文件节点号ls -i2.根据节点号删除find ./ -inum 节点号 -print -exec rm {} -rf \;全部删除成功!
2021-07-28 10:15:39
160
原创 npm下载慢
修改镜像npm config set registry https://registry.npm.taobao.org --globalnpm config set disturl https://npm.taobao.org/dist --global使用cnpmcnpm install npm -g利用yarm命令下参考链接:https://blog.csdn.net/yw00yw/article/details/81354533...
2020-12-07 17:57:03
109
原创 IDEA引入自定义包失败报红解决
问题: IDEA重启后,在引入本地自定义包时标红,本地自定义包存在,但IDEA提示不存在解决方法: 选择File-Invalidate Caches/Restart,清除缓存,IDEA重启后问题解决
2020-11-19 10:16:33
1146
原创 mybatis-generator简明教程
mybatis-generator作用:自动生成mybatis的entity、dao、xml映射文件在resource中配置mybatis-generator-config.xml<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN"
2020-11-12 17:07:23
161
原创 Django报Running migrations: No migrations to apply.无法生成表
1.删除数据库django_migrations表中,该app相关的所有记录2.删除migrations包下除_init_.py之外的所有文件3.执行python manage.py makemigrationspython manage.py migrate
2020-11-03 08:34:51
417
原创 Windows环境下Hadoop启动错误“系统找不到指定的批标签 - resourcemanager”
问题:Windows环境下Hadoop启动错误“系统找不到指定的批标签 - resourcemanager”解决办法:使用notepad++,Edit -> EOL Conversion -> Windows Format(编辑->文档格式转换->转换为windows)将hadoop/bin目录下的所有.cmd文件转换为windows文件...
2020-10-27 14:01:17
1605
原创 大数据集群搭建(十一)——Spark-2.3.4安装
Spark-2.3.4安装节点MasterWorkerWorkerdn1★dn2★dn3★下载spark-2.3.4-bin-hadoop2.7.tgz压缩包将文件上传到dn1节点的~/pkg目录下执行以下命令,分别在dn1、dn2、dn3三台节点安装#解压到/opt目录cd ~/pkgtar -xzvf spark-2.3.4-bin-hadoop2.7.tgz -C /opt#创建spark的软连接cd /optln -
2020-07-11 18:59:05
584
原创 大数据集群搭建(十)——scala-2.11.8安装
scala-2.11.8安装下载scala-2.11.8.tgz压缩包将文件上传到dn1节点的~/pkg目录下执行以下命令,分别在dn1、dn2、dn3三台节点安装解压到/usr/local/目录下 tar -zxvf scala-2.11.8.tgz -C /usr/local/分发到dn2、dn3节点cd /usr/localscp -r scala-2.11.8/ dn2:`pwd`scp -r scala-2.11.8/ dn3:`pwd`在三台节点上配置环境变量并使之
2020-07-11 18:57:55
392
原创 大数据集群搭建(九)——Kafka-2.11安装
Kafka安装dn1dn2dn3brokers★★★下载kafka_2.11-2.4.1压缩包将文件上传到dn1节点的~/pkg目录下执行以下命令,分别在dn1、dn2、dn3三台节点安装#解压到/opt目录cd ~/pkgtar -xzvf kafka_2.11-2.4.1.tgz -C /opt#创建kafka的软连接cd /optln -sf kafka_2.11-2.4.1/ kafka配置kafka#进入/opt/kafka/c
2020-07-11 18:57:09
223
原创 大数据集群搭建(八)——Redis-5.0.7安装
文章目录Redis-5.0.7安装单机安装多机安装Redis-5.0.7安装请选择一种方式安装单机安装下载redis-5.0.7压缩包将文件分别上传到dn1节点~/pkg目录下执行以下命令,在dn1节点安装#解压到/opt目录tar -zxvf redis-5.0.7.tar.gz -C /opt#创建redis的软连接cd /optln -sf redis-5.0.7 redis#安装gcc环境yum install gcc-c++#进行编译cd /opt/redi
2020-07-11 18:55:37
213
原创 大数据集群搭建(七)——Hbase-2.2.3安装
Hbase-2.2.3安装下载hbase-2.2.3压缩包将文件上传到dn1节点~/pkg目录下执行以下命令,分别在dn1、dn2、dn3三台节点安装#解压到/opt目录tar -zxvf hbase-2.2.3-bin.tar.gz -C /opt#创建hbase的软连接cd /optln -s hbase-2.2.3/ hbase#在hbase-env.sh中添加以下内容,然后保存export JAVA_HOME=/usr/java/jdk1.8.0_241-amd64ex
2020-07-11 18:53:40
2538
原创 大数据集群搭建(六)——Hive-3.1.2安装
Hive-3.1.2安装Hive安装采用多用户模式,有服务端和客户端节点Hive服务端Hive客户端mysql管理原数据nn1★nn2★dn1★下载Hive压缩包-华中科技大学镜像将文件上传到nn1节点~/pkg目录下执行以下命令,在nn1安装Hive#解压到/opt目录 tar -zxvf ~/pkg/apache-hive-3.1.2-bin.tar.gz -C /opt/#创建Hive的软连接cd /optln -
2020-07-11 18:53:01
1305
原创 大数据集群搭建(五)——MySQL-8.0.19安装
MySQL-8.0.19安装下载mysql压缩包按照下图所示,选择“Linux-Generic”,找到下方的“Linux-Generic(glibc2.12)(x86,64bit),tar”,点击右侧的“download”,跳转到新页面选择不登录,直接下载下载速度特别慢,可将下载地址复制到迅雷下载网速飞快将压缩包解压得到三个文件,将“mysql-8.0.19-linux-glibc2.12-x86_64.tar.xz”解压,得到“mysql-8.0.19-linux-glibc2.12
2020-07-11 18:52:13
489
原创 大数据集群搭建(四)——Hadoop-3.1.3安装
Hadoop-3.1.3安装下载hadoop-3.1.3压缩包将文件上传到nn1节点~/pkg目录下执行以下命令,在nn1、nn2、dn1、dn2、dn3五台节点安装#解压到/opt目录tar -zxvf hadoop-3.1.3.tar.gz -C /opt#创建hadoop的软连接cd /optln -sf hadoop-3.1.3 hadoop#配置环境变量vim /etc/profile#在末尾增加以下内容,然后保存export HADOOP_HOME=/opt/h
2020-07-11 18:51:15
1190
原创 大数据集群搭建(三)——zookeeper-3.4.14安装
ZooKeepper安装节点NameNodeDataNodeZooKeeperZKFCJournalNodeResourceManagerNodeManagernn1★★★nn2★★★dn1★★★★dn2★★★★dn3★★★★下载zookeeper-3.4.14压缩包-华中科技大学镜像将文件上传到dn1、dn2、dn3三台节点~/pkg目录下执行以下命令,在dn1、dn
2020-07-11 18:50:11
552
原创 大数据集群搭建(二)——Java-1.8安装
jdk安装打开jdk官方下载地址,登陆Oracle账号,勾选接受,下载jdk-8u241-linux-64.rpm也可以在百度云下载在目标虚拟机家目录下新建pkg文件夹,将使用xftp将安装文件上传至该目录下mkdir pkg也可使用rz命令上传,如果未安装,可执行“yum -y install lrzsz”命令进行安装执行ll查看,上传成功执行以下命令进行安装(如果与我的jdk版本不同,请注意修改安装包名称)rpm -ivh jdk-8u241-linux-x64.rpm
2020-07-11 18:49:23
360
原创 大数据集群搭建(一)——VMware及CentOS7配置安装
文章目录一、安装VMware二、创建Linux虚拟机三、CentOS-7安装四、Linux系统环境配置五、其他配置六、虚拟机克隆一、安装VMware双击打开安装包,点击“下一步”勾选“我接受许可协议中的条款”,点击“下一步”设置安装路径,建议提前新建文件夹,并重命名(不建议安装在C盘),点击“下一步”取消掉两个勾选,点击“下一步”直接点击“下一步”点击“安装”,开始安装等待安装完成安装完成打开VMware二、创建Linux虚拟机点击“创建新的虚拟机”默认配置,
2020-07-11 18:47:16
1547
1
原创 Hbase 的STARTROW和ENDROW是否包含该行
Hbase scan包含STARTROW不包含ENDROW以下面scan语句为例scan 'scores',{COLUMN=>'course:english',STARTROW=>'Jim',ENDROW=>'Tom'}查询结果,包含Jim行,不包含Tom行,如果Tom行为最后一行,如果需要返回该行结果,可只指定STARTROW:scan 'scores',{COLUMN=>'course:english',STARTROW=>'Jim'}返回结果为Jim行及
2020-06-28 14:18:13
2960
原创 一次性解决pycharm运行程序时在Python Console运行问题
解决办法打开run=>Edit Configurations=>Templates=>python,如下图,取消掉‘Run with Python Console’,所有文件均不会再在Python Console运行
2020-05-09 13:47:56
1351
原创 pycharm运行pyspark控制台乱码问题
问题展示:废话不多说,解决办法:如图所示,Project Encoding 更改为GBK问题解决:
2020-04-17 11:29:29
1164
1
原创 py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils... does not exist in the JVM
废话不多说,解决办法:#pip安装findsparkpip install findspark#在程序中添加一以下代码import findsparkfindspark.init()问题解决:主要报错信息:py4j.protocol.Py4JNetworkError: Error while receivingERROR:py4j.java_gateway:An error...
2020-04-17 10:28:54
4870
2
原创 Hadoop/Spark集群搭建图文全攻略
完全分布式集群搭建一、安装VMware二、创建Linux虚拟机三、CentOS-7安装一、安装VMware双击打开安装包,点击“下一步”勾选“我接受许可协议中的条款”,点击“下一步”设置安装路径,建议提前新建文件夹,并重命名(不建议安装在C盘),点击“下一步”取消掉两个勾选,点击“下一步”直接点击“下一步”点击“安装”,开始安装等待安装完成安装完成打开VMware...
2020-03-26 10:15:36
1121
原创 pycharm控制台显示不全及换行解决办法
测试可用,直接上代码import panda as pdpd.set_option('display.max_rows',None)#取消行限制pd.set_option('display.max_columns',None)#取消列限制pd.set_option('display.width',1000)#增加每行的宽度...
2020-03-25 11:48:41
4289
原创 matplotlib中文显示异常问题
代码中加入以下代码,字体可随意设置为系统已有字体pyplot.rcParams['font.sans-serif'] = ['Microsoft YaHei']以微软雅黑为例:import matplotlib.pyplot as pyplotx = [2001, 2002, 2003, 2004, 2005]y1 = [2132, 3213, 3244, 5467, 8765]y...
2019-11-11 15:44:31
229
原创 pycharm无法引入自定义类(自定义包)的问题
在自定义了一个类之后,发现在其他类中引入时报错:两个.py文件均在同一目录下解决方法:右击该目录选择Mark Directory as → Sources Root成功!
2019-11-08 10:34:38
1958
原创 pycharm无法引入mysql模块的问题
问题:按照网上的教程,在cmd中用pip安装了mysql-connector,python解释器中可以引入该模块,但是pycharm中无法引入解决方法:1.打开setting2.找到Project下的Project Interpreter,点击右侧的+号3.搜索需要的模块,点击左下角install即可4.安装完成,可成功引入,问题解决...
2019-11-06 08:54:38
1832
1
原创 Windows环境下的os.linesep换行问题
Windows环境下的os.linesep换行问题在windows环境下,使用open打开文件时,写入os.linesep会输出两个换行:这是因为windows系统换行符为/r/n,当输出/r/n时,/n又会被自动转换成/r/n,所以会换两行。而是用codecs.open()打开文件则不会有这个问题:...
2019-11-05 09:36:59
774
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人