- 博客(214)
- 收藏
- 关注
RSS订阅
原创 【Ambari2.7.3源码分析】Agent组件状态收集器ComponentStatusExecutor
1、InitializerModule.py在InitializerModule.py中，初始化了众多属性后，进行线程的初始化 def init_threads(self): """ Initialize thread objects """ self.component_status_executor = ComponentStatusExecutor(self) self.action_queue = ActionQueue(self) self.
2020-07-08 17:23:45
2319
15
原创 三类24点HBase优化方式归纳
HBase优化设计1、表的设计1、Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。//第一种实现方式是使用admin对象的切分策略byte[] startKey = ...;
2020-07-05 17:54:09
2119
70
原创 千亿级数据量kafka集群性能调优实战总结
1、（千亿级kafka集群性能调优）集群信息一个kafka集群，40台broker，基于Ambari,hdp管理（ambari_v2.5,hdp_v2.6）10台broker配置5块3T盘30台broker配置12块6T盘每天所有生产端产生2000亿条左右的数据消费端有SparkStreaming,Flume等业务程序2、 第一次故障现象生产环境flume无法消费kafka，sink的文件为空。nifi中往kafka写消息报错ISR缺失严重3、第一次故障排查元数据主
2020-07-03 12:48:26
6834
16
原创 kafka集群扩容以及物理资源（broker）隔离
需求：要对于几个业务topic进行基于broker级别的物理资源隔离步骤1：Ambari2.7.x基于HDP3.x进行kafka集群扩容用于隔离的broker是若干台新机子在ambari界面–主机–add—kafka broker进行kafka的broker扩容2：登陆zk查看扩容机对应的broker idsh zkcli.shls /broker/idsget每一个broker id的值，查询新增的brokers 主机名对应的broker id，一般都是基于之前的broker id进行
2020-05-12 11:19:02
2805
14
原创 2020全网最全Apache Knox实战总结
最近一个月在研究Apache knox，谈不上精吧，或多或少有些心得截止目前，knox最新版本为1.4，实践过的版本有1.3、1.1、1.0、HDP下的1.0.0.3-78、0.12等，每个版本在组件UI跳转这块都有些问题。自己在HDP3.1下安装的Knox_1.0.0.3-78版本下进行修复后，形成了一个比较稳定的版本，如有需要可以私信我现在花点时间将此次knox之行进行总结如有问题欢迎讨论
2020-04-27 17:10:09
13376
69
原创 Nginx配置SSL模块开启https总结
阅读本文前，请看下我写的Nginx安装部署（三步走）了解下目录位置，1分钟就能看懂看完一：开启SSL模式1、查看目前nginx是否开启SSL/usr/local/nginx/sbin/nginx -Vconfigure arguments:后面没有配置参数，未开启ssl2、到nginx源码包配置cd /usr/local/src/nginx-1.10.2/./configure ...
2020-04-26 17:22:25
4441
35
原创 kafka全操作精讲
kafka基本操作如下是在${KAFKA_HOME}/bin/目录下所有kafka自带脚本启动关闭kafka集群我用的Ambari进行管理，如果是自己搭建的全分布集群，则可以用如下kafka-cluster-start.sh或kafka-cluster-stop.sh脚本进行所有brokers启动关闭，实际上就是循环所有broker执行kafka-server-start/stop.sh...
2020-04-15 17:19:27
7374
45
原创 Mac设置SSH免密登陆公司服务器
会话级别ssh要输入密码eval ssh-agent -sssh-add -K ~/.ssh/id_rsa永久生效edit ~/.ssh/configadd:Host * AddKeysToAgent yes UseKeychain yes IdentityFile ~/.ssh/some_idThis way you don’t need an additional package.你就加到了KeyChain中了...
2022-02-28 11:36:47
764
原创 mac安装pip后报错 cannot import name ‘PackageFinder‘ from ‘pip._internal.index‘
mac安装pip后报错cannot import name ‘PackageFinder’ from ‘pip._internal.index’解决方法1、不用easy_install，用get-pip (记得在root用户下操作，sudo su)curl https://bootstrap.pypa.io/get-pip.py -o get-pip.pypython3 get-pip.py一般在经历过这步骤都会差不多OK了，如果还不行就卸了pip重装pip3 uninstall pip 然后
2022-02-23 11:32:43
1758
原创 centos 8 yum报错 no URLs in mirrorlist [closed]
centos 8 yum命令报错[vagrant@192.168.38.4] ~ >> sudo yum updateCentOS Linux 8 - AppStream 71 B/s | 38 B 00:00Error: Failed to download metadata for repo 'appstream': Cannot prepare internal mirrorlist: No URLs in mirrorli
2022-02-17 10:23:45
1458
原创 helm安装报错Request entity too large: limit is 3145728
helm安装DolphinScheduler报错helm install dolphinscheduler . -n course-data-infra报错Error: INSTALLATION FAILED: create: failed to create: Request entity too large: limit is 3145728解决问题是当前目录太大了，我将几个jar包等无关的东西移到其他目录，再次helm install即可...
2022-01-25 13:21:06
3614
原创 Kafka JMX指标&消费者积压等监控体系构建
针对于非kerberos环境非SSL环境的kafka version 0.11&2.5，其他版本有略微差异，没有大的改变一、kafka部署时添加将下面的jar包跟yaml配置文件都放在kafka的bin目录下1、jmx_prometheus_javaagent-0.15.0.jar下载这个jar包是prometheus 提供的 jmx_exporter ，作用是来收集 kafka 暴露的jmx指标。jar包可以与下面的yaml文件进行配合，从而自己修改指标名称大小写、name等格式的转换（
2022-01-12 17:23:16
8322
1
原创 Doris动态分区表routineLoad报错
报错Reason: no partition for this tuple. tuple=。。。。。分析kafka中的数据进来了，但是动态分区表没有创建这条数据的时间分区解决#给动态分区添加分区##动态分区转静态分区ALTER TABLE ods_log_outlog_course_ydyjs_app SET ("dynamic_partition.enable" = "false");##添加未创建的分区ALTER TABLE course_log.ods_log_outlog_co
2022-01-12 16:16:04
5368
3
原创 访问nginx代理的接口报错504 Gateway Time-out
报错curl一个java项目的接口，java项目地址被nginx代理接口逻辑为访问presto数据但是curl后过1m30s报错解决增加nginx参数则curl接口不报错了后续加了nginx超时参数5min，但是还是会偶尔超时，这个应该是访问presto数据出了问题，在排查...
2022-01-11 11:16:05
946
原创 Kafka启动报错
报错[2022-01-06 18:22:32,330] ERROR [KafkaServer id=1005] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)org.apache.kafka.common.errors.CorruptRecordException: Found record size 0 smaller than minimum record overhead
2022-01-07 15:46:55
2264
原创 Doris0.15版本建表报错Failed to find enough host with storage medium and tag
报错建表CREATE TABLE `dwd_osms_organization` ( `oid` int(11) NOT NULL COMMENT "", `name` varchar(255) NULL COMMENT "组织名称", `type` int(11) NULL COMMENT "组织类型，1公司/2项目组/3地区/4部门/5大组/6高级经理团队/7经理团队/8见习经理团队/9小组/10见习小组", `struct` int(11) NULL COMMENT "层级结构",
2022-01-04 14:33:36
3090
原创 linux swap及启停操作
1、为什么要关闭swap?1.1、swap的用途?swap 分区就是交换分区，(windows平台叫虚拟内存)在物理内存不够用时，操作系统会从物理内存中把部分暂时不被使用的数据转移到交换分区，从而为当前运行的程序留出足够的物理内存空间1.2、为什么要关闭swap?swap启用后，在使用磁盘空间和内存交换数据时，性能表现会较差，会减慢程序执行的速度有的软件的设计师不想使用交换例如:kubelet 在 1.8 版本以后强制要求 swap 必须关闭2、查看swapon/swapoff所属的r
2021-12-27 15:58:42
2923
原创 Doris加了order by无法返回全部数据？
问题分析enable_spilling用于设置是否开启大数据量落盘排序。默认为 false，即关闭该功能。当用户未指定 ORDER BY 子句的 LIMIT 条件，同时设置 enable_spilling 为 true 时，才会开启落盘排序。该功能启用后，会使用 BE 数据目录下 doris-scratch/ 目录存放临时的落盘数据，并在查询结束后，清空临时数据。该功能主要用于使用有限的内存进行大数据量的排序操作。注意，该功能为实验性质，不保证稳定性，请谨慎开启。解决设置这个set
2021-12-21 17:22:38
2405
原创 Doris的StreamLoad任务报错transaction commit successfully, BUT data will be visible later
问题spark任务去使用http协议直接连接doris be节点进行streamLoad任务的数据传输（hive->Doris）,分批次的streamLoad但是运行了一段时间Doris的StreamLoad任务报错transaction commit successfully, BUT data will be visible later分析有一批次streamLoad任务报错实际是publish超时了这个猜测可能是fe处理不过来，提高单次导入的吞吐,也可能be 有压力来不
2021-12-21 15:18:02
2755
原创 Doris解决磁盘高占用
问题有个Doris集群的磁盘占用比较高，一直在告警需要清理be节点storage_root_path路径下的trash目录，但是清理了之后过一段时间又高很多，需要调整集群参数进行自动清理分析BE 配置：trash_file_expire_time_secFE 配置：catalog_trash_expire_secondfe的配置是加快进入 trash的时间be的配置是trash里的数据过期时间解决办法调整BE参数，变小些BE 配置：trash_file_expire_time_sec
2021-12-21 15:09:57
2923
原创 Doris建routineLoad极为缓慢，任务长时间处于NEED_SCHEDUAL
问题开发反馈，doris测试集群里执行操作比较缓慢1、建routineLoad很慢2、routineLoad长时间处于NEED_SCHEDUAL，好一会才RUNNING分析估计是fe的问题，看了眼监控，发现doris并没有任何异常去捞了把fe-master日志，发现有很多WARN大致分为如上两类task_typeSTORAGE_MEDIUM_MIGRATEMAKE_SNAPSHOTSTORAGE_MEDIUM_MIGRATE此类问题看了源码发现是表的分区在进行SSD跟HDD的切换但
2021-12-14 18:01:32
2077
原创 Linux一键创建用户并赋予sudo权限脚本
脚本#!/bin/bash#使用：sh user_system.sh geoffrey Ab*112580 host#创建用户并设置密码name=$1pass=$2#echo "you are setting username : ${name}"#echo "you are setting password : $pass for ${name}"#调用name变量创建用户useradd $nameif [ $? -eq 0 ];then echo -e "\033[32m用户
2021-10-29 17:37:08
3014
原创 集群指定用户一键双向免密脚本
脚本条件root执行简单准备安装expectyum -y install expect创建待操作主机列表vi hosthost内容如下node1node2node3注意点host文件与脚本文件在同级目录下脚本内容#!/bin/shDEST_USER=$1PASSWORD=$2HOSTS_FILE=$3if [ $# -ne 3 ]; then echo "Usage:" echo "$0 remoteUser remotePassword hos
2021-10-29 16:59:53
2091
1
原创 【旧辅新知】clud-clus-clos总结
旧词closet里面有隔板，而且有门，能关起来的柜子closet n 橱柜拆解clos-:关闭-et:名词后缀旧词include把’小部分‘关到某个整体里面去的情景include v 包括拆解in-:里面clud-:关闭旧词exlude把某部分关到某个整体之外exclude v 排除在外（不包括）拆解ex-:外clud-:关闭旧词disclose把新消息或秘密告诉别人，而不是关着保密的场景disclose v 揭露，公开拆解dis-:否定clos-:关闭旧词c
2021-10-28 17:16:47
365
原创 Doris百度预编译版&&版本升级规则
Doris版本升级规则3位版本例如：0.13.152位版本例如：0.13规则如下所有 3 位版本可以安全的从对应的官方 2 位版本升级建议在升级 2 位版本之前，先升级到对应的最新的 3 位版本后，再升级 2 位版本3 位迭代版本也可以安全的和官方 2 位版本升级Doris百度预编译版http://palo.baidu.com/docs/%E4%B8%8B%E8%BD%BD%E4%B8%93%E5%8C%BA/%E9%A2%84%E7%BC%96%E8%AF%91%E7%89%88%
2021-10-14 15:07:28
623
原创 Doris扩容节点报错 It conflicts with the socket already used by the member
背景我这个node1节点之前是observer，然后我把他drop observer了，然后重新清空meta，helper启动，add FOLLOWER后这个节点日志结果说我新添加的FOLLOWER的ROLE文件的时间戳conflict了，然后重新添加也不行版本是0.14.13.1报错fe.log报错com.sleepycat.je.rep.impl.RepGroupImpl$NodeConflictException: (JE 7.3.7) New or moved node:node1_90
2021-10-14 14:57:14
1421
原创 Lucene和ES的区别
定义Lucene是一个java信息检索程序库。您可以将其包含在项目中,并使用函数调用来参考其功能。Lucene 是apache软件基金会一个开放源代码的全文检索引擎工具包，是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎（搜索引擎和检索程序库不完全等同）。Elasticsearch是基于JSON的,分布式的,基于Luc
2021-09-29 11:39:58
921
原创 TiDB 慢日志ELK检索加告警
参考文档TiDB 慢日志在伴鱼的实践filebeat配置vim /home/gaofeng/ypack-filebeat.yml- type: "log" paths: - "/disk1/tidb/deploy2/tidb-4001/log/tidb_slow_query.log" multiline: pattern: "^# Time:" negate: true match: "after" max_lines: 8000 fields:
2021-09-29 10:53:17
13141
原创 kafka0.11版本消费报错Group coordinator is unavailable or invalid, will attempt rediscovery
报错消费单节点kafka要么消费很缓慢要么报错Group coordinator ip:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery重启节点也没用分析单节点情况下coordinator 压力太大了__consumer_offsets这个元主题的历史消息量分配不均衡有分区kb、M级别正常，有几个分区直接几十G，如果消费的主题在这些压力大的分区，就会消费阻塞因为这个元主
2021-09-29 10:21:50
11053
原创 Doris连接报错Reach limit of connections
报错分析doris中有两个连接数配置全部用户最大连接数（默认）qe_max_connection=1024单个用户最大连接数（默认）max_user_connections=100解决SET PROPERTY FOR 'course_test' 'max_user_connections' = '500';
2021-09-26 20:30:33
15809
4
原创 Doris的brokerLoad导入Hive动态分区表
问题brokerLoad将一个以day字段为动态分区字段的hive表导入到doris也是以day字段为动态分区字段的表结果报错type:LOAD_RUN_FAIL; msg:errCode = 2, detailMessage = ParseError : Invalid column selected daydoris是不支持导入动态分区hive表嘛问题解决问了社区大佬，发现mysql连接doris后在终端使用help broker load就能看到有个example显示到COLUMNS
2021-09-17 11:41:50
2848
4
原创 Doris Compaction机制总结
1、参考文档Doris 最佳实践-Compaction调优(1)Doris 最佳实践-Compaction调优(2)【Doris全面解析】Doris Compaction机制解析按顺序读完这三篇文章，就能对Doris的compaction机制很熟悉了2、总结2.1、读写方式2.1.1、写入Doris数据写入模型使用了LSM-Tree（随机写变为顺序写，面向写优化），数据追加的方式写入磁盘2.1.2、读取读逻辑上，需要通过Merge-on-Read方式2.2.3、compaction目的
2021-09-13 20:40:58
6885
原创 Git Push 报错Support for password authentication was removed on August 13,2021
报错remote: Please see https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ for more information.fatal: Authentication failed for 'https://github.com/WindyGao/incubator-doris.git/'解决办法github生成tokengithub->头像->Setti
2021-09-09 13:20:02
2427
原创 grafana配置重复报警repeat_interval间隔
grafana配置报警repeat_intervalalertManager配置global:resolve_timeout: 5mroute:group_by: ['alertname']group_wait: 10sgroup_interval: 10srepeat_interval: 1hreceiver: 'web.hook'receivers:- name: 'web.hook'webhook_configs:- url: 'http://ip/ops/alarm?or
2021-09-03 14:54:56
4482
原创 Grafana报错 414 Request-URI Too Large
Grafana报错 414报错Network error request URI too large INFO[09-03|06:26:09] Request Completed logger=context userId=1 orgId=1 uname=admin method=GET path=/api/datasources/proxy/61/api/v1/query_range status=414 remote_addr=ip time_ms=8
2021-09-03 14:46:20
2110
原创 Linux-jq使用
官网https://stedolan.github.io/jq/manual/#Basicfiltersjq安装yum install jqjq操作创建jq -n {a:1}jq -n '{a:"test"}'合并jq -n '{a:"test"} + {b:2}'删除更新查询查询数组中的值查询数组长度数组相加高级查询...
2021-08-25 22:16:39
188
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人