只想挣钱，5毛以上活动莫叫我-CSDN博客

原创 linux清理缓存

echo N>/proc/sys/vm/drop_caches清理缓存引言：在内核窗口—proc文件系统这篇笔记中，我们介绍了/proc主要体现进程及内核信息状态。与/proc下其它文件的“只读”属性不同的是，管理员可对/proc/sys子目录的许多文件内容进行修改，以更改内核的运行特性。写入操作一般类似于 echo DATA >/path/to/your/filename的格式进行。这里以echo N>/proc/sys/vm/drop_caches为例介绍说明。syncecho

2021-10-23 12:57:20 227

原创 shell脚本传参的切分

有时需要传的参数是由多个字符和“，”或其他分隔符组成的一个参数，在脚本中需要使用“，”号将其分割开来使用，这个时候就可以用“${tag//,/ }” 来实现如下是监控多个消费者组的lag（消费延迟）脚本。传的参数consumers为：”monitor,monitor1,monitor2“ 的形式#!/bin/bashfor consumer in ${consumers//,/ }dolags=`$path/kafka-consumer-groups.sh --bootstrap-server

2021-09-15 15:24:33 428

原创 sed使用技巧

一，查找时间段日志在linux上查找日志的时候，如果我想找出某个时间段的日志，比如查找今天早上8点到下午2点的日志。使用grep就不是很方便了，这时就可以使用sed根据时间去查找sed -n '/开始时间日期/,/结束时间日期/p' all.log例如：注意：如果时间格式是”2021/09/09“这种，需要添加转义符“\”.。转义后为：“2021\/09\/09”sed -n '/2019-10-24 22:16:21/,/2019-10-24 22:16:59/p' all.log.

2021-09-09 10:10:59 212

原创 jvm进程cpu占用飙高问题数据收集

一、通过top命令查看具体哪个进程占用cpu高topps -aux |head ;ps -aux |sort -rn -k +3|head 二、查看进程信息ps -ef | grep 19869找到对应的服务，然后收集该服务的进程日志三、通过jdk自带的jstack保存一下JVM进程对应的栈信息jstack 19869 > 19869_stack.log四、通过top命令找到占用cpu较多时间的线程top -Hp pid然后shift + p 按cpu排序，shift +

2021-08-31 13:42:09 192

转载 hadoop和hbase的扩容

参考：https://blog.csdn.net/duanbiren123/article/details/80959518

2021-08-04 15:15:51 231

原创 hdfs的学习和高可用部署

HDFS的数据迁移解决方案：1，理解HDFS数据迁移方案及工具DistCp（分布式拷贝工具）的使用：数据迁移的场景：冷热集群数据同步，分类存储集群数据整体搬迁（业务增长，需要将数据整体迁移到新的集群）数据的准实时同步（数据准实时同步的目的在于数据的双备份可用，比如某天A集群突然宣告不允许再使用了,此时可以将线上使用集群直接切向B的同步集群, 因为B集群实时同步A集群数据,拥有完全一致的真实数据和元数据信息，所以对于业务方使用而言是不会受到任何影响的。）数据迁移要素考量：●Bandwidth

2021-07-01 19:34:25 628 1

原创 df查到磁盘使用率86%，但是du看不到大文件，小文件加起来和df查到的相差巨大

df -h 看到根目录下磁盘使用率很高：[root@pokepzs01 /]# df -h Filesystem Size Used Avail Use% Mounted on/dev/vda1 90G 72G 13G 86% /devtmpfs 3.9G 0 3.9G 0% /devtmpfs 3.9G 0 3.9G 0% /dev/shmtmpfs 3.9G 409M 3

2021-07-01 01:07:02 600

原创 azkaban学习部署

第1节概述1.1工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成:●shel脚本程序●java程序●mapreduce程序●hive脚本等各任务单单之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度任务的执行。假如，我有这样一个需求, 某个业务系统每天产生20G原始数据,每天都要对其进行处理，处理步骤如下所际:●通过Hadoop先将原始数据同步到HDFS上;●借助MapReduce计算框架对原始数据进行转换,生成的数据以分区表的形

2021-06-30 22:41:26 418 1

原创 hbase学习和部署

第1节HBase简介1.1 HBase是什么HBase基于Google的BigTable论文而来。是一个分布式海量列式非关系型分布式数据库系统。可以提供超大规模数据集的实时随机读写.列存储的优点:1)减少存储空间占用。2)支持好多列1.2 HBase的特点 ●海量存储:底层基于HDFS存储海量数据 ●列式存储: HBase表的数据是基于列族进行存储的，一个列族包含若干列 ●极易扩展:底层依赖HDFS,当磁盘空间不足的时候。只需要动态增加DataNode服务节点就可以 ●高并发:支持高并发

2021-06-30 21:21:52 145

原创 nginx安装

########1,环境准备#关闭防火墙和selinuxrpm -qa wgetrpm -qa gcc安装gcc编译器以及编译安装的依赖yum -y install gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel psmisc##下载nginxcd /usr/local/srcwget http://nginx.org/download/nginx-1.9.8.tar.gztar -zxvf /us

2021-06-30 21:11:26 98

原创 hbase错误

hbase创建表时出现错误：hbase:087:0> create 't1', 'f1', 'f2', 'f3'ERROR: org.apache.hadoop.hbase.PleaseHoldException: `Master is initializing` at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:2729) at org.apache.hadoop.hb

2021-06-12 13:44:39 251

原创 zookeeper学习

1. Zookeeper简介1.1 Zookeeper是什么?Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同-数据造成脏读的问题。分布式系统中数据存在一致性的问题! ! ●ZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。 ●ZooKeeper 提供给客户端监控存储在zk内部数据的功能，从而可以达到基于数据的集群管理。诸如:统一命名服务(du

2021-06-12 13:04:07 215

原创集群主机之间时间同步

NTP集群主机时间同步分为2中：直接同步和平滑同步直接同步检查是否安装过ntp服务：rpm -qa |grep ntp若是没安装，可以使用yum安装：yum -y install ntpdate ##安装ntpdate服务ntpdate -u ntp.aliyun.com ##同步阿里云时间mv /etc/localtime{,.bak} ##备份时区文件ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime ##设置时区

2021-05-31 07:42:13 163

原创 centos7 yum 安装zabbix

初始化安装界面注意这里的登录用户为：Admin密码为：zabbix修改语言关联主机修改图形页面乱码字符yum -y install wqy-microhei-fonts.noarchcp /usr/share/fonts/wqy-microhei/wqy-microhei.ttc /usr/share/zabbix/assets/fonts/*.ttf...

2021-05-27 00:29:40 293

原创 centos安装iftop网络监控命令

如果使用yum install iftop //用命令直接安装，提示No package iftop available. //没有可用的安装包那么可以使用第二种安装方式，即下载，解压，配置，并编译安装。从其官网（http://www.ex-parrot.com/pdw/iftop/download/）上，选择一个版本比如：iftop-1.0pre4.tar.gz示例：# yum install -y flex byacc libpcap ncurses-devel libpcap-devel g

2021-05-22 01:00:11 893

原创 centos7 安装hbase

环境准备：centos7：master：192.168.1.20slave1：192.168.1.21slave2：192.168.1.22环境：java8，hadoop3.2.2，zookeeper3.6下载和解压缩[root@master src]# cd /usr/local/src[root@master src]# wget https://mirrors.bfsu.edu.cn/apache/hbase/2.4.2/hbase-2.4.2-bin.tar.gz[root@mas

2021-04-14 14:09:58 237

原创 centos7 安装zookeeper

环境系统：centos7环境：java8、hadoop3.2.2下载和解压缩在master节点中操作[root@master local]# wget https://downloads.apache.org/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9.tar.gz[root@master local]# tar -zxvf /usr/local/src/apache-zookeeper-3.5.9.tar.gz -C /usr/local/

2021-04-14 10:08:49 152

原创 hive的安装与配置

基础环境的准备当前环境中有分布式的hadoop环境本地安装mysql（账号：root，密码：oppo）mysql端口号：3306mysql的jdbc驱动包mysql-connector-java-8.0.16.jar，在此基础上更新hive元数据存储hive目录：/usr/local/hive...

2021-04-04 00:46:42 467

原创 hadoop集群平台的搭建

环境配置：master：192.168.1.20slave1：192.168.1.21slave2：192.168.1.22准备工作：#yum安装需要的服务，关闭防火墙和selinux，yum -y install wget vim gcc net-tools curl lrzsz rsyncyum updatesystemctl status firewalldsystemctl stop firewalld systemctl disable firewalld vim /

2021-03-31 21:33:11 810 1

原创 mariadb开启binlog日志备份

主从备份技术点：bin-log日志开启主服务器的bin-log日志记录功能，将主服务器的bin-log日志传到从服务器，从服务器根据日志内容将数据还原到本地。主从服务器：从服务器主动把主服务器上的数据同步到本地（备份）从服务器分摊主服务器的查询压力（负载均衡）准备：master：192.168.1.109slave：192.168.1.108都开启二进制日志，在my.cnf中设置：[root@master ~]# vim /etc/my.cnf#在[mysqld]下添加log

2021-03-20 16:00:11 658 1

原创单机hadoop平台

hadoop平台操作系统环境设置基本的系统设置：主机名称：masterip:192.168.1.109用户/密码：root/oppo，hadoop/oppo配置ip:可以使用nmtui或者vim 配置文件的方法，这里我们选择修改配置文件[root@master src]# vim /etc/sysconfig/network-scripts/ifcfg-enp0s3 TYPE=EthernetBOOTPROTO=none #静态IPDEFROUTE=yesPEERDNS=yesPEE

2021-03-19 14:04:57 150

原创 sentos7下yum安装mariadb

1. MySQL 常见版本⚫ MySQL Community Server 社区版本，开源免费，但不提供官方技术支持。⚫ MySQL Enterprise Edition 企业版本，需付费，可以试用 30 天。⚫ MySQL Cluster 集群版，开源免费。可将几个 MySQL Server 封装成一个 Server。⚫ MySQL Cluster CGE 高级集群版，需付费2. 常见资料：服务：mysql端口：3306主配置文件：/etc/my.cnf初始化脚本：mysql_insta

2021-03-18 17:34:19 169

原创 spark读写mysql

读取MySQL方法一：val jdbcDF = spark.read.format(“jdbc”).option(“url”, “jdbc:mysql://linux01:3306/var/lib/mysql/mysql”).option(“dbtable”, " rddtable").option(“user”, “root”).option(“password”, “123456...

2019-11-05 15:41:19 215