星辰丶晟妍-CSDN博客

原创 centos7 安装swagger服务

起一台虚拟机，配置好yum源安装Nodejsyum install gcc-c++ make -ycurl -sL https://rpm.nodesource.com/setup_12.x | bash -yum install nodejs -y验证 Node.js 和 npm 安装是否成功node -vnpm -v安装 Swagger-Editor新建一个swagger目录mkdir /opt/swagger;cd /opt/swagger下载 Sw..

2021-03-26 10:27:02 923 1

原创 centos7安装ambari2.7.4

起三台centos7虚拟机安装好yum源配置hosts文件172.28.128.16 master.ambari3.0.com master172.28.128.17 node01.ambari3.0.com node01172.28.128.18 node02.ambari3.0.com node02关闭防火墙systemctl stop firewalldsystemctl disable firewalld配置master与其他两个节点免密登录# maste..

2021-03-03 10:38:25 731

原创 HDP3.X 新特性测试

hdfs 50070可以直接上传文件了hdp3.x通过统一的apache ranger服务来管理用户访问hdp服务的权限ranger ur 登录信息http://node01.ambari3.0.com:6080/login.jspUSERNAME: adminPASSWORD: 纠删码测试ec策略相关介绍ErasureCodingPolicy=[Name=XOR-2-1-1024k, Schema=[ECSchema=[Codec=xor, numDataUnits=..

2021-02-01 15:35:00 464

原创 centos7安装milvus

参考链接https://milvus.io/cn/docs/v0.11.0/milvus_docker-cpu.md新启一个虚拟机，配置yum源安装docker，因为milvus是通过docker安装的安装dockeryum -y install docker启动 Docker 后台服务service docker start执行如下命令，确认docker可用docker image ls下载 Milvus Docker 镜像文件docker pul..

2021-01-29 09:38:55 1726

原创 centos7安装apache flink

下载安装包https://mirror.bit.edu.cn/apache/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.12.tgz安装机器： centos7.6java版本 1.8执行如下命令解压安装包tar -zxvf flink-1.11.2-bin-scala_2.12.tgz -C /opt/执行如下命令。修改配置文件cd /opt/flink-1.11.2/confvim flink-conf.yaml# 修..

2021-01-29 09:37:34 259

原创 centos7安装使用presto

参考链接https://blog.csdn.net/wangpei1949/article/details/79952539参考链接是18年的文章，可以用用基于ambari平台安装恢复ambari平台服务做一下节点规划master --ambari server --Presto coordinatornode01 --ambari node01 --Presto worker与Clientnode02 --ambari node02 --Presto worker与C..

2021-01-29 09:36:35 538

原创 centos7安装airflow

参考链接：https://blog.csdn.net/Cocktail_py/article/details/103977318https://www.jianshu.com/p/999e2f393e56准备五台机器,配置hosts映射172.28.128.23 master.airflow.com master172.28.128.24 node01.airflow.com node01172.28.128.25 node02.airflow.com node02172.28.12..

2021-01-29 09:35:36 279

原创 centos7安装ansible

机器配置yum源升级sshyum update openssh -y安装ansibleyum install -y ansible查看ansible需要用到的配置文件rpm -qc ansible配置master节点与node节点的免密登录ssh-keygencd ~/.ssh/cat id_rsa.pub >> authorized_keyschmod 600 ~/.sshchmod 600 ~/.ssh/authorized_keysscp..

2021-01-29 09:34:28 218

原创 ELK 相关

起一台centos7的虚拟机配置yum源安装jdkyum -y install java-1.8.0-openjdk下载ES 安装的时候需要注意版本号要一致，不然会导致不兼容，在启动后，就会一致报错，警告，创建不了索引等等问题。wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-linux-x86_64.tar.gz解压文件tar -zxvf elasticsea..

2021-01-29 09:20:31 162

原创 graphQL相关

入门介绍GraphQL 是一个用于 API 的查询语言，是一个使用基于类型系统来执行查询的服务端运行时（类型系统由你的数据定义）。GraphQL 并没有和任何特定数据库或者存储引擎绑定，而是依靠你现有的代码和数据支撑。查询和其结果拥有几乎一样的结构。这是 GraphQL 最重要的特性，因为这样一来，你就总是能得到你想要的数据，而服务器也准确地知道客户端请求的字段。GraphQL 查询能够遍历相关对象及其字段，使得客户端可以一次请求查询大量相关数据，而不像传统 REST 架构中那样需要多次..

2021-01-29 09:19:24 196

原创 centos7搭建gitlab服务器

配置yum源安装gityum -y install git查看git版本，确认安装成功git --version获取gitlab的rpm包wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12.0.2-ce.0.el7.x86_64.rpm安装相关依赖yum -y install policycoreutils openssh-server openssh-clients po..

2021-01-29 08:46:50 139

原创如何将centos7本地的docker镜像导出

先查看docker的镜像列表docker image ls将需要到处的镜像到处为本地文件docker save -o tfws_consumer_data_to_mysql.tar tfws/consumer_data_to_mysql:v1.0确认有tfws_consumer_data_to_mysql.tar文件生成ll tfws_consumer_data_to_mysql.tar到新的docker环境中将到处的tar文件导入到docker镜像中docker loa..

2021-01-29 08:45:29 939

原创使用docker镜像启动集群

创建master节点，即namenode节点docker run -tid --name hadoop-master -p 50010:50010 -p 50020:50020 -p 50070:50070 -p 50075:50075 -p 50090:50090 -p 8020:8020 -p 9000:9000 -p 10020:10020 -p 8030:8030 -p 19888:19888 -p 8031:8031 -p 8032:8032 -p 8033:8033 -p 8040:804..

2021-01-29 08:44:44 307

原创通过docker搭建neo4j环境

使用docker生成一个基础容器docker run -d --name neo4j_server -p 7474:7474 -p 7687:7687 -h neo4j_server -t tfws/centos7-baseenv:v1.0下载安装包(社区版，只支持一个图)http://doc.we-yun.com:1008/neo4j/4.0.4/neo4j-community-4.0.4-unix.tar.gz?download=true将下载的安装包上传到容器中docker ..

2021-01-28 09:32:02 635

原创通过docker搭建elasticsearch

下载安装包https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-linux-x86_64.tar.gz基于hadoop-baseenv的docker镜像起一个容器docker run -d --name hadoop_cluster_1 -h hadoop_cluster_1 -t tfws/hadoop-baseenv:v1.4将下载的安装包上传到容器中docker cp elastics..

2021-01-28 09:25:26 177

原创通过docker搭建spark集群

使用如下命令创建一个容器docker run -tid --name spark-server -v /opt/install:/opt/install -h spark_server tfws/hadoop-baseenv:v1.2 /usr/sbin/init下载spark的安装包https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz将下载的安装包上传到容器中解压安装包mkdir -p /usr/loca..

2021-01-28 09:24:39 441

原创通过docker安装mysql数据库

起一台虚拟机cenots7配置yum源使用centos7的镜像作为依赖，创建一个容器,用来安装mysqldocker run -tid --name mysql_server --privileged=true -t tfws/centos7-baseenv:v1.0 /usr/sbin/init参考链接：https://blog.csdn.net/a774630093/article/details/79270080创建questionDB用户create user ..

2021-01-28 09:23:53 126

原创通过docker搭建hadoop集群

启动一台虚拟机 centos7安装好yum源先下载一个centos7镜像作为基础镜像docker pull docker.io/ansible/centos7-ansible运行该镜像docker run -tid --name hadoop_cluster_1 --privileged=true -t docker.io/ansible/centos7-ansible /usr/sbin/init进入该镜像docker ps -adocker exec -it 1e..

2021-01-28 09:23:12 306

原创通过docker搭建kafka集群

启动一个虚拟机 centos7配置yum源安装dockeryum -y install docker启动 Docker 后台服务service docker start执行如下命令，确认docker可用docker image ls使用docker命令搜索kafka和zookeeper命令docker search kafkadocker search zookeeper下载排名较高的镜像，时间较长docker pull docker.io/wu..

2021-01-28 09:22:12 382

原创 centos7修改时间为cst时间

mv /etc/localtime /etc/localtime.bakln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2021-01-28 09:20:56 1074

原创 centos7安装prometheus和alertmanager

下载安装包wget https://github.com/prometheus/prometheus/releases/download/v2.4.3/prometheus-2.4.3.linux-amd64.tar.gzwget https://github.com/prometheus/alertmanager/releases/download/v0.15.2/alertmanager-0.15.2.linux-amd64.tar.gzwget https://s3-us-west-2.am..

2021-01-28 09:20:18 582

原创 Dockerfile相关关键词解释

1、FROM（指定基础镜像）构建指令，Docker中必须使用FROM命令，必须指定且需要在Dockerfile其他指令的前面。后续的指令都依赖于该指令指定的image。FROM指令指定的基础image可以是官方远程仓库中的，也可以位于本地仓库。 FROM ubuntu FROM ubuntu:15.102、MAINTAINER（指定镜像创建者信息）构建指令，用于将image的制作者相关的信息写入到image中，一般输入名字和电子邮箱即可。当我们对该image执行docker inspect命令

2021-01-28 09:19:09 230

原创 Docker相关命令

安装文档参考https://bluesmilery.github.io/blogs/252e6902/创建一个镜像$ docker build "我的镜像"删除一个镜像docker rmi <image id># 删除所有镜像docker rmi $(docker images -q)# 强制删除所有镜像docker rmi -f $(docker images -q)创建镜像时指定name和tagdocker build -t xxx/0.1 "我的..

2021-01-28 09:15:15 83

原创 mongodb常用命令

mongo --host 172.28.128.16:27017db.data_test.insert({"name":"11111111111","sex":"男111","mobile":"1599626051111"})db.data_test.find().count();db.data_test.remove({})db.repairDatabase() 释放空间MongoDB 创建数据库的语法格式如下：use data_test如果数据库不存在，则创建数据库，否则切换到指定数据库

2021-01-27 17:09:40 140

原创 supervisor常用命令

supervisorctl shutdown #关闭所有任务supervisorctl stop|start program_namesupervisorctl status #查看所有任务状态

2021-01-27 17:08:47 188

原创 kafka相关命令

创建topic/opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics.sh --create --zookeeper master.hive.com:2181,node01.hive.com:2181,node02.hive.com:2181 --replication-factor 1 --partitions 1 --topic data_test------------------------------------zookeeper：为zk服务器地址，..

2021-01-27 17:08:03 134

qq_34648165的博客