- 博客(36)
- 收藏
- 关注
RSS订阅原创 canal实时同步mysql数据到mysql/hbase
canal实时同步mysql数据到mysqlcanal实时同步mysql数据到hbase
2022-03-03 17:29:59
3151
原创 protobuf2简单介绍及在IDEA中的使用
文章目录一、protobuf2简单介绍1. 数据类型2. 简单示例二、在IDEA中使用1. 安装protobuf support2. pom.xml添加maven插件3. pom.xml添加依赖4. 添加.proto文件import path5. 生成.java文件一、protobuf2简单介绍protobuf相较于xml和json，更注重于数据序列化优点：拥有更高的时间效率和空间效率缺点：可读性差1. 数据类型.protoNotesJavadoubledouble
2022-01-19 10:44:50
3313
原创 windows搭建MQTT服务器
文章目录一、下载mosquitto二、配置mosquitto三、MQTTX一、下载mosquitto点击下载安装程序 下载地址二、配置mosquitto安装路径打开命令行界面设置user及password执行：mosquitto_passwd.exe -c pwfile.example -u vic设置用户名：vic 设置密码：123456配置文件检查 mosquitto.exe -c mosquitto.conf 未报错说明配置正常设置端口 默认
2022-01-17 15:41:56
2316
原创 python操作redis集群
安装pip install redispip install redis-py-cluster 查看是否安装成功pip list直接上代码(注意，最新版本要用RedisCluster，而不是StrictRedisCluster！！！)# -*- coding: utf-8 -*-from rediscluster import RedisClusterredis_basis_conn = [{'host': '10.69.53.27', 'port': 7001}, {'host
2021-10-22 17:26:48
160
原创 CDH安装hue报Unexpected error. Unable to verify database connection
文章目录问题描述解决方案问题描述CDH安装hue时，测试数据库连接报错Unexpected error. Unable to verify database connection解决方案执行下面两条语句yum install --skip-broken krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel pyt
2021-10-08 10:55:32
408
原创 使用新cloudera manager接管原有CDH集群
文章目录问题描述解决方案问题复现解决步骤问题描述原有Cloudera Manager的cm库被删，导致Cloudera Manager不可用。后由于其他原因，导致集群服务不可用，且手动重启失败。解决方案重新安装Cloudera Manager及CDH集群，接管原集群数据。问题复现1.搭建CDH集群，在hive中插入测试数据2.删除Cloudera Manager的cm库，导致Cloudera Manager不可用解决步骤1.停止集群上的所有服务，我这里选择的直接reboo
2021-10-08 10:44:42
353
原创 生产环境nginx+keepalived负载均衡及高可用方案
一、Nginx安装安装编译工具yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel2.安装PCRE使Nginx支持rewrite功能# 下载压缩包cd /usr/local/src/wget http://downloads.sourceforge.net/project/pcre/pcre/8.35/pcre-8.35.tar.gz# 解压tar zxvf pcre-8.35.tar.g
2021-08-03 09:46:55
1215
3
原创 linux乱码文件删除
linux出现了乱码文件，无法指定文件名删除删除方法1.查找文件节点号ls -i2.根据节点号删除find ./ -inum 节点号 -print -exec rm {} -rf \;全部删除成功！
2021-07-28 10:15:39
160
原创 npm下载慢
修改镜像npm config set registry https://registry.npm.taobao.org --globalnpm config set disturl https://npm.taobao.org/dist --global使用cnpmcnpm install npm -g利用yarm命令下参考链接：https://blog.csdn.net/yw00yw/article/details/81354533...
2020-12-07 17:57:03
109
原创 IDEA引入自定义包失败报红解决
问题： IDEA重启后，在引入本地自定义包时标红，本地自定义包存在，但IDEA提示不存在解决方法： 选择File-Invalidate Caches/Restart，清除缓存，IDEA重启后问题解决
2020-11-19 10:16:33
1145
原创 mybatis-generator简明教程
mybatis-generator作用：自动生成mybatis的entity、dao、xml映射文件在resource中配置mybatis-generator-config.xml<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN"
2020-11-12 17:07:23
161
原创 Django报Running migrations: No migrations to apply.无法生成表
1.删除数据库django_migrations表中，该app相关的所有记录2.删除migrations包下除_init_.py之外的所有文件3.执行python manage.py makemigrationspython manage.py migrate
2020-11-03 08:34:51
417
原创 Windows环境下Hadoop启动错误“系统找不到指定的批标签 - resourcemanager”
问题：Windows环境下Hadoop启动错误“系统找不到指定的批标签 - resourcemanager”解决办法：使用notepad++，Edit -> EOL Conversion -> Windows Format(编辑->文档格式转换->转换为windows)将hadoop/bin目录下的所有.cmd文件转换为windows文件...
2020-10-27 14:01:17
1605
原创 大数据集群搭建（十一）——Spark-2.3.4安装
Spark-2.3.4安装节点MasterWorkerWorkerdn1★dn2★dn3★下载spark-2.3.4-bin-hadoop2.7.tgz压缩包将文件上传到dn1节点的~/pkg目录下执行以下命令，分别在dn1、dn2、dn3三台节点安装#解压到/opt目录cd ~/pkgtar -xzvf spark-2.3.4-bin-hadoop2.7.tgz -C /opt#创建spark的软连接cd /optln -
2020-07-11 18:59:05
583
原创 大数据集群搭建（十）——scala-2.11.8安装
scala-2.11.8安装下载scala-2.11.8.tgz压缩包将文件上传到dn1节点的~/pkg目录下执行以下命令，分别在dn1、dn2、dn3三台节点安装解压到/usr/local/目录下 tar -zxvf scala-2.11.8.tgz -C /usr/local/分发到dn2、dn3节点cd /usr/localscp -r scala-2.11.8/ dn2:`pwd`scp -r scala-2.11.8/ dn3:`pwd`在三台节点上配置环境变量并使之
2020-07-11 18:57:55
392
原创 大数据集群搭建（九）——Kafka-2.11安装
Kafka安装dn1dn2dn3brokers★★★下载kafka_2.11-2.4.1压缩包将文件上传到dn1节点的~/pkg目录下执行以下命令，分别在dn1、dn2、dn3三台节点安装#解压到/opt目录cd ~/pkgtar -xzvf kafka_2.11-2.4.1.tgz -C /opt#创建kafka的软连接cd /optln -sf kafka_2.11-2.4.1/ kafka配置kafka#进入/opt/kafka/c
2020-07-11 18:57:09
223
原创 大数据集群搭建（八）——Redis-5.0.7安装
文章目录Redis-5.0.7安装单机安装多机安装Redis-5.0.7安装请选择一种方式安装单机安装下载redis-5.0.7压缩包将文件分别上传到dn1节点~/pkg目录下执行以下命令，在dn1节点安装#解压到/opt目录tar -zxvf redis-5.0.7.tar.gz -C /opt#创建redis的软连接cd /optln -sf redis-5.0.7 redis#安装gcc环境yum install gcc-c++#进行编译cd /opt/redi
2020-07-11 18:55:37
213
原创 大数据集群搭建（七）——Hbase-2.2.3安装
Hbase-2.2.3安装下载hbase-2.2.3压缩包将文件上传到dn1节点~/pkg目录下执行以下命令，分别在dn1、dn2、dn3三台节点安装#解压到/opt目录tar -zxvf hbase-2.2.3-bin.tar.gz -C /opt#创建hbase的软连接cd /optln -s hbase-2.2.3/ hbase#在hbase-env.sh中添加以下内容，然后保存export JAVA_HOME=/usr/java/jdk1.8.0_241-amd64ex
2020-07-11 18:53:40
2537
原创 大数据集群搭建（六）——Hive-3.1.2安装
Hive-3.1.2安装Hive安装采用多用户模式，有服务端和客户端节点Hive服务端Hive客户端mysql管理原数据nn1★nn2★dn1★下载Hive压缩包-华中科技大学镜像将文件上传到nn1节点~/pkg目录下执行以下命令，在nn1安装Hive#解压到/opt目录 tar -zxvf ~/pkg/apache-hive-3.1.2-bin.tar.gz -C /opt/#创建Hive的软连接cd /optln -
2020-07-11 18:53:01
1305
原创 大数据集群搭建（五）——MySQL-8.0.19安装
MySQL-8.0.19安装下载mysql压缩包按照下图所示，选择“Linux-Generic”，找到下方的“Linux-Generic(glibc2.12)(x86,64bit),tar”，点击右侧的“download”，跳转到新页面选择不登录，直接下载下载速度特别慢，可将下载地址复制到迅雷下载网速飞快将压缩包解压得到三个文件，将“mysql-8.0.19-linux-glibc2.12-x86_64.tar.xz”解压，得到“mysql-8.0.19-linux-glibc2.12
2020-07-11 18:52:13
489
原创 大数据集群搭建（四）——Hadoop-3.1.3安装
Hadoop-3.1.3安装下载hadoop-3.1.3压缩包将文件上传到nn1节点~/pkg目录下执行以下命令，在nn1、nn2、dn1、dn2、dn3五台节点安装#解压到/opt目录tar -zxvf hadoop-3.1.3.tar.gz -C /opt#创建hadoop的软连接cd /optln -sf hadoop-3.1.3 hadoop#配置环境变量vim /etc/profile#在末尾增加以下内容，然后保存export HADOOP_HOME=/opt/h
2020-07-11 18:51:15
1190
原创 大数据集群搭建（三）——zookeeper-3.4.14安装
ZooKeepper安装节点NameNodeDataNodeZooKeeperZKFCJournalNodeResourceManagerNodeManagernn1★★★nn2★★★dn1★★★★dn2★★★★dn3★★★★下载zookeeper-3.4.14压缩包-华中科技大学镜像将文件上传到dn1、dn2、dn3三台节点~/pkg目录下执行以下命令，在dn1、dn
2020-07-11 18:50:11
552
原创 大数据集群搭建（二）——Java-1.8安装
jdk安装打开jdk官方下载地址，登陆Oracle账号，勾选接受，下载jdk-8u241-linux-64.rpm也可以在百度云下载在目标虚拟机家目录下新建pkg文件夹，将使用xftp将安装文件上传至该目录下mkdir pkg也可使用rz命令上传，如果未安装，可执行“yum -y install lrzsz”命令进行安装执行ll查看，上传成功执行以下命令进行安装(如果与我的jdk版本不同，请注意修改安装包名称)rpm -ivh jdk-8u241-linux-x64.rpm
2020-07-11 18:49:23
360
原创 大数据集群搭建（一）——VMware及CentOS7配置安装
文章目录一、安装VMware二、创建Linux虚拟机三、CentOS-7安装四、Linux系统环境配置五、其他配置六、虚拟机克隆一、安装VMware双击打开安装包，点击“下一步”勾选“我接受许可协议中的条款”，点击“下一步”设置安装路径，建议提前新建文件夹，并重命名(不建议安装在C盘)，点击“下一步”取消掉两个勾选，点击“下一步”直接点击“下一步”点击“安装”，开始安装等待安装完成安装完成打开VMware二、创建Linux虚拟机点击“创建新的虚拟机”默认配置，
2020-07-11 18:47:16
1545
1
原创 Hbase 的STARTROW和ENDROW是否包含该行
Hbase scan包含STARTROW不包含ENDROW以下面scan语句为例scan 'scores',{COLUMN=>'course:english',STARTROW=>'Jim',ENDROW=>'Tom'}查询结果，包含Jim行，不包含Tom行，如果Tom行为最后一行，如果需要返回该行结果，可只指定STARTROW：scan 'scores',{COLUMN=>'course:english',STARTROW=>'Jim'}返回结果为Jim行及
2020-06-28 14:18:13
2960
原创 一次性解决pycharm运行程序时在Python Console运行问题
解决办法打开run=>Edit Configurations=>Templates=>python，如下图，取消掉‘Run with Python Console’，所有文件均不会再在Python Console运行
2020-05-09 13:47:56
1350
原创 pycharm运行pyspark控制台乱码问题
问题展示：废话不多说，解决办法：如图所示，Project Encoding 更改为GBK问题解决：
2020-04-17 11:29:29
1164
1
原创 py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils... does not exist in the JVM
废话不多说，解决办法：#pip安装findsparkpip install findspark#在程序中添加一以下代码import findsparkfindspark.init()问题解决：主要报错信息：py4j.protocol.Py4JNetworkError: Error while receivingERROR:py4j.java_gateway:An error...
2020-04-17 10:28:54
4868
2
原创 Hadoop/Spark集群搭建图文全攻略
完全分布式集群搭建一、安装VMware二、创建Linux虚拟机三、CentOS-7安装一、安装VMware双击打开安装包，点击“下一步”勾选“我接受许可协议中的条款”，点击“下一步”设置安装路径，建议提前新建文件夹，并重命名(不建议安装在C盘)，点击“下一步”取消掉两个勾选，点击“下一步”直接点击“下一步”点击“安装”，开始安装等待安装完成安装完成打开VMware...
2020-03-26 10:15:36
1120
原创 pycharm控制台显示不全及换行解决办法
测试可用，直接上代码import panda as pdpd.set_option('display.max_rows',None)#取消行限制pd.set_option('display.max_columns',None)#取消列限制pd.set_option('display.width',1000)#增加每行的宽度...
2020-03-25 11:48:41
4289
原创 matplotlib中文显示异常问题
代码中加入以下代码，字体可随意设置为系统已有字体pyplot.rcParams['font.sans-serif'] = ['Microsoft YaHei']以微软雅黑为例：import matplotlib.pyplot as pyplotx = [2001, 2002, 2003, 2004, 2005]y1 = [2132, 3213, 3244, 5467, 8765]y...
2019-11-11 15:44:31
229
原创 pycharm无法引入自定义类(自定义包)的问题
在自定义了一个类之后，发现在其他类中引入时报错：两个.py文件均在同一目录下解决方法：右击该目录选择Mark Directory as → Sources Root成功！
2019-11-08 10:34:38
1958
原创 pycharm无法引入mysql模块的问题
问题：按照网上的教程，在cmd中用pip安装了mysql-connector，python解释器中可以引入该模块，但是pycharm中无法引入解决方法：1.打开setting2.找到Project下的Project Interpreter，点击右侧的+号3.搜索需要的模块，点击左下角install即可4.安装完成，可成功引入，问题解决...
2019-11-06 08:54:38
1832
1
原创 Windows环境下的os.linesep换行问题
Windows环境下的os.linesep换行问题在windows环境下，使用open打开文件时，写入os.linesep会输出两个换行：这是因为windows系统换行符为/r/n，当输出/r/n时，/n又会被自动转换成/r/n，所以会换两行。而是用codecs.open()打开文件则不会有这个问题：...
2019-11-05 09:36:59
774
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人