- 博客(40)
- 收藏
- 关注
RSS订阅原创 云仓异地灾备功能介绍
删除备份信息：Backup drop cycle’备份周期’ point ‘备份点’route‘backup_route’ s3/hdfs连接信息 storage_style ‘s3/hdfs’Backup recover cycle ‘备份周期’ point ‘备份点’route‘backup_route’ s3/hdfs连接信息 storage_style ‘s3/hdfs’
2025-01-03 21:37:46
902
原创 云仓物理机版本复合节点缩容为纯gcware节点后服务启动失败问题解决办法
该节点环境之前安装云数仓asan版本时将系统的libstdc++.so.6库重新链接到/opt/10.10.11.231/gnode/server/lib/gbase/libstdc++.so.6，缩容后/opt/10.10.11.231/gnode/server/lib/gbase/libstdc++.so.6路径文件不存在导致报错。-rwxr-xr-x 1 gbase gbase 11631 10月 12 18:08 gcware_monit.sh。#10.10.11.231节点查看服务。
2025-01-03 21:03:00
915
原创 云仓k8s版本升级步骤
Kubectl delete coordinator coor_name -n namespace #删除coordinator资源。Kubectl get coordinator -n namespace #查看命名空间下coordinator资源的名称。Kubectl get all -n gcdw-system #查看gcdw-system下的资源是否卸载干净。helm uninstall “helm实例名” -n gcdw-system #卸载已安装的helm实例。
2025-01-03 20:44:53
790
原创 云仓k8s版本部署和卸载步骤
enabled: false ======>是否开启多租户模式,不开启时为单租户模式，开启后为多租户模式。imagePullSecrets: “” =========>仓库密钥，公有仓库不用填。registry: “harbor.gbase.cn” =========>仓库地址。password: “” ======>访问仓库的密码。
2025-01-02 23:52:27
691
原创 gbase 8a 时间类型边界值和使用限制
默认情况下不支持六位精度，设置集群层和单机层控制参数_gbase_timestamp_append_prec=1、gcluster_datetime_with_microsec=1后，支持六位精度，支持指定时间精度(0-6)的函数有：now、sysdate、localtime、localtimestamp、current_timestamp（其中now（）与now（0）一样不带六位精度）取值范围：1970-01-01 08:00:01 2038-01-01 00:59:59。（1）datetime类型。
2025-01-02 23:40:46
472
原创 gbase 8a Gcrecover在线调整功能
2)集群响应recover命令，以单表的event类型为单位，在某个表的某类event恢复完成后，响应该命令，如某个表存在多个ddlevent，则在该表全部ddlevent恢复完之后，检查是否有recover命令并响应。1)同一张表同时存在ddlevent和dmlevent时，需优先恢复ddlevent，若优先恢复dmlevent，会恢复失败，从而陷入循环，无法恢复。查看gcrecover的状态：gcadmin recover show status。
2024-12-31 10:13:14
135
原创 gbase 8a安装时检查crontab权限
若存在/etc/cron.deny，检查集群安装用户是否在该文件中，删除该用户在文件中的记录。安装集群时，在安装命令后加参数–ignoreCheckCrontab，跳过crontab权限检查，但是使用该参数时，因为不检查crontab权限，可能会导致部分需使用crontab定时任务的功能不可用，所以一般不建议使用。Gbase 8a集群安装时，对coordinate和data节点，需检查安装用户的crontab权限，若用户有该权限，则检查通过，若无该权限，则会报错，报错信息如下。
2024-12-31 10:08:51
119
原创 gbase 8a不同rebalance策略简介
两个distribution的segment数相同，且segment的dpname一致，适用于分片数相同的随机分布表。适用于两个distribution的segment数不相同的hash分布表和随机分布表。3）新distribution包含老的distribution。优点：允许新增distribution增加或者减少分片。2）新老distribution的segment数不同。只需要同步数据到新建分片，适用于节点数增加的复制表。只需要删除不用分片，适用于节点数减少的复制表。２、数据重分布策略（常用）
2024-05-07 17:03:36
207
原创 修改用户密码报错“passwd: 鉴定令牌操作错误”解决办法
功能说明：修改ext2和ext3文件系统属性（attribute），通过chattr命令修改属性能够提高系统的安全性，但并不适合所有目录。Chattr命令不能保护/、/dev、/tmp、/var目录。2.查看 /etc/group /etc/shadow /etc/passwd这3个文件的权限。补充说明：用chattr 执行改变文件或目录的属性，可执行lsattr指令查询其属性。语法：chattr [-RV] [-+=AacDdijsSu] [文件或者目录]4.再次修改密码，密码修改成功。
2024-05-07 16:56:52
3804
原创 jps工具安装
使用yum install java-1.8.0-openjdk-devel.x86_64命令安装java-1.8.0-openjdk-devel.x86_64软件包。使用yum install java命令安装java后，使用jps工具查看java进程，报错未找到命令。安装完成后，便可使用jps工具。
2024-05-07 16:53:49
622
原创 文件删除后内存未释放
文件删除后，内存仍未释放，此时通过lsof |grep deleted命令查找已经删除的文件进程。使用du -hs *一层层查找大文件，发现这个文件占用内存很多。手动把进程kill掉后，空间被释放。通过df命令查询磁盘空间已满。
2024-05-07 16:51:13
333
原创 节点之间建立互信
⑥将id_rsa.pub发送至其他服务器端(脚本若存在root与gbase用户的免密连接，则可以吧root用户下的id_rsa.pub内容复制到gbase用户下的authorized_keys中)注：该操作只需要执行一次，一路默认回车，系统会在/root/.ssh下生成id_rsa、id_rsa.pub。注：若没有ssh-copy-id命令，可执行yum -y install openssh-clients。AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径。
2024-05-07 16:47:57
428
原创 gbase 8a Fevent的构造
进入 安装目录/gnode/userdata/gbase/test/sys_tablespace。进入 安装目录/gnode/userdata/gbase/test/metadata。使用load或insert操作插入一些数据。查看集群状态，出现ddlevent。查看集群状态，出现dmlevent。执行查询操作或insert操作。删除该节点的某个元数据文件。删除该节点的某个数据文件。使用建表语句新建一张表。执行insert操作。
2024-05-07 16:22:46
330
原创 gbase 8a dblink日志级别设置
2023-07-27 14:31:04,612 DEBUG [pool-2-thread-3] logic.GatewayLogic execute (GatewayLogic.java:65) - Thread ID = 21: ----执行透明网关具体业务开始----,3.日志内容较少，可通过修改conf目录下的log4j.xml文件，将日志级别改为”DEBUG”，5.再次执行dblink查询时，日志记录内容较全面。
2024-05-07 16:12:47
560
1
原创 Crontab定时任务
Crontab [-u username] -e:编辑定时任务，若文件不存在，会自动创建(用户可省略，默认是当前用户)-rw-r–r–. 1 root root 378 6月 2 15:20 dick.log。编写定时任务:每分钟查一次虚拟机磁盘空间，并输出到/opt/dick.log里。不需要定时任务时，使用crontab -r删除定时任务。service crond start 启动服务。Crontab -l:查看定时任务内容。第五列表示星期0～6,0表示星期天。Crontab -r:删除定时任务。
2024-05-07 13:15:45
633
原创 8a监控工具问题安装采集中心或代理提示异常的解决办法
安装采集中心或代理提示“远程主机用户名、密码不正确或者远程主机异常”2.服务器是否开启ssh服务、配置的中心或代理服务器端口是否正确。1.确认是否用户名或密码错误。
2024-05-06 14:24:21
99
原创 ubantu系统的8a集群安装
set enable-bracketed-paste off====》增加即可。2.系统存在python2和python3，执行安装时，使用如下命令报错。解决办法：目前安装脚本使用的命令是python，不是python2，需要。把python软连接python2.7*解决办法：root用户添加如下内容。报错python 命令不存在。
2024-05-06 14:16:34
213
1
原创 sftp加载并发数较大时偶发报错
原因：”MaxStartups 10:30:60”代表的含义是：当连接数达到10时就开始拒绝连接了；当达到10时，之后的连接有30的概率被拒绝掉；达到60，之后的连接就全部拒绝，所以加载并发数超过10之后会有概率被拒绝，出现以上报错，更改MaxStartups使其大于加载并发数即保证并发加载能正常执行。默认是”#MaxStartups 10:30:60”，去掉注释，并修改为”MaxStartups 50”1.修改/etc/ssh/sshd_config中MaxStartups字段。2.重启sshd服务。
2024-05-06 13:47:23
464
原创 8ampp集群sudo模式的安装替换
vim /etc/passwd 将root那一行启动脚本 /bin/bash 改为 /bin/bash/nologin。所以需要在没有root密码的情况下，对集群进行安装，升级，扩容和节点替换。loginUserPwd = ‘111111’ ===》sudo用户密码。rootPwd = ‘xxxxxx’===》root密码错误。sudoMode = True ===》走sudo模式。loginUser= test ===》sudo用户。rootPwd = ‘xxxxxx’===》错误密码。
2024-05-06 13:44:15
482
原创 8aMpp集群适配python3介绍
安装脚本举例如下：python gcinstall.py --silent=demo.options。1.目前测试python版本为3.6版本，3.8存在适配问题.2.使用python3，需要使用python命令，修改映射方式。root用户使用命令。
2024-05-06 13:37:46
161
1
原创 gcadmin使用
•负载均衡模式pattern 1,此模式下gcChangeInfo.xml中的每个rack中的节点为一组，每个rack中的节点上主分片的备份分片1存放到gcChangeInfo.xml中下一个rack中的节点上，备份分片2存放到gcChangeInfo.xml中上一个rack中的节点上。gcadmin rmnodes gcChangeInfo.xml single_vc_rm_to_rc：兼容模式下将节点从集群中移除，即将默认vc中的节点移除到root cluster中变为freenode。
2024-05-06 13:26:06
1138
原创 集群故障FEVENT信息显示来源、时间、原因等详细信息以便排查
gbase@zhangcuiping-node-1 statemachine]$ gcadmin showddlevent detail =========》增加detail参数，其他参数不变。Time:2023-02-01 15:03:10.944 Source:10.10.59.49 SessionId:102 Cmd:CREATE_DB =======》增加显示内容。==>产生ddlevent且cmd=SET_OPTION。1.同步工具：==>产生dmlevent且cmd=SET_OPTION。
2024-05-06 13:24:49
414
1
原创 862版本集群安装失败报错Fail to add new datanodes to gcware
###########上次卸载存在残留文件，未清除。##########找到文件进行删除，执行卸载后再次安装（正确卸载比起删除文件更安全）###查看各个节点corosync服务没有启动。###查看gcinstall.log显示addnode失败。#####再次重启服务，addnode节点。###需要修改corosync.conf。######确定残留文件已经删除。#######执行卸载。
2024-05-06 13:23:24
629
原创 at定时任务
输入at命令并跟上具体时间，回车后进入交互界面，然后输入具体的命令，最后以ctrl+d结束输入。(这里4是该任务在任务列队里的id)查看任务内容使用: at -c id。3.使用at命令进行定时任务。使用at命令进行定时任务。使用atq或者at -l。4.查看at任务列队。
2024-05-06 11:42:02
357
原创 gbase8a多实例部署集群
解决方法：在node2上额外添加一个和2001:0001:0001:0001:0001:0001:c0a8:1111格式相同的地址比如2001:0001:0001:0001:0001:0001:c0a8:1114，添加完后就可以相互ping通了。Ipv6包含多种格式，当集群节点的ipv6的地址格式同时包含如2001:0001:0001:0001:0001:0001:c0a8:1111和2001::c0a8:c83格式时，如果只在node1上添加。2.添加好的ip相互ping一下，看是否能ping通。
2024-05-06 11:31:22
481
原创 事务的ACID属性以及隔离级别介绍
比如，只有当B事务也已经提交时，才能读到A事务提交的数据，若B事务未提交，读到的是A事务提交前的数据。幻读：隔离级别为可重复读时，事务A在提交前，事务B插入了一条数据且已提交，但是事务A在提交前看不到这条数据，只有当事务A也提交后，才能看到该条数据。不可重复读：隔离级别为读已提交时，事务A在两次读操作期间(事务A未提交)，事务B插入了一条数据且已提交，那么事务A两次读到的数据不一样。如果一个事务已经开始写数据，则禁止其他事务读此行数据，比如，事务B读不到事务A未提交的数据。
2024-05-06 11:29:18
623
1
原创 K8s集群节点调度禁用
也可以用kubectl describe pod pod_name -n namespace去查看，这个命令显示的信息更加详细一些，除了显示被分配到哪个节点，还会显示该pod的配置、状态及event等。如果pod异常，event会显示异常的原因。应用的场景：当k8s集群的某些节点压力过高时，可以暂时将这些节点禁用，使新启动的pod不再分配到这些节点上来(不会影响该节点上已存在的pod)node这一列显示每个pod被分配到哪个k8s集群节点上。4.怎么查看pod被调度到哪个k8s节点。
2024-05-06 11:27:56
861
原创 在k8s的pod上安装gdb
可以在自己的虚拟节点上下载一个gdb的rpm包，然后在传到k8s的pod上进行安装。②将这个rpm包scp到k8s集群节点上。在k8s的pod上安装gdb。
2024-05-06 11:25:20
302
原创 解决docker启动失败报错：Devices cgroup isn‘t mounted
错误有两个，一是cpu、cpuacct、blkio挂载路径错误，而是其他的部分没有进行挂载。解决方法：先把挂载路径错误的取消挂载，例如：umount cpu；3.此时查看是不是cgroup没挂载或者挂载路径不正确。4.再次启动docker启动成功。
2024-05-06 11:21:40
2599
原创 k8s在当前镜像环境下，安装一个不同镜像版本的租户办法
root@gcdw-saas-backend-0 backend]# export MY_POD_IMAGE=harbor.gbase.cn/gcdw/gcdw-server:9.8.0.7.1 ======>修改为7.1。MY_POD_IMAGE=harbor.gbase.cn/gcdw/gcdw-server:9.8.0.6.5 =====>当前为6.5。再多注册几次，大概率会成功。④注册成功后可能会遇到warehouse启动不起来，也是多启动几次，大概率会启动起来。
2024-05-06 11:13:49
382
原创 gabse 8a Dblink数据推送，透明网关出现连接异常情况解决办法
2023-10-19 15:25:30,938 DEBUG [pool-2-thread-36] logic.DataTransfer transDataToRmtDb (DataTransfer.java:895) - Thread ID = 130: 第1次提交 10000行数据!gcluster_send_client_data_timeout参数为集群向客户端发送结果集数据时的超时参数，取值范围[0,100000]，单位秒，默认为30秒。数据推送过程中需要一直保持源端和本地的连接状态。
2024-04-30 13:45:43
420
1
原创 gbase 8a 修改集群字符集步骤
修改字符集后需要重新建库，若在修改前建的库下执行建表操作，新建的表默认字符集仍为修改前字符集；修改字符集时需保证集群上所有节点字符集一致，否则各节点所建的表字符集不一致，执行dml语句时会报错。3.修改集群层、单机层配置文件，在[client]和[gbased]后添加变量 default_character_set=gbk,并重启集群服务。以cmd窗口为例，打开cmd窗口，右击鼠标选择编码方式然后再选择gbk。1.设置测试机的字符集为gbk。#查看当前字符集并修改为gbk。#查看修改后相关变量值。
2024-04-30 13:40:51
856
原创 gbase 8a trace日志结构
2023-07-27 19:45:15.186 [M: 9M, 0B,D: 0B] [DC: 0, 0] HSJ write( 0B, 0time, 0sec), read( 0B, 0time, 0sec) --One-pass Hash Join中间结果。聚集算法分两种：hash划分，round-robin划分;查询主要算子：扫描(scan)，连接(join)，分组聚集(group)，排序(order)，物化(materialize)
2024-04-30 13:39:04
590
原创 K8s修改新注册租户coor/gcware/wh的大小
gcdw-operator-init-config配置文件中包含coor/gcware/warehouse资源大小参数，修改参数值大小后重启operator的pod使参数生效。多租户模式安装后，想要修改新注册租户coor/gcware/warehouse的大小时直接修改values.yaml文件不能生效。#k8s设置coor/gcware/warehouse的大小是安装前在配置文件values.yaml中设置的。#查看某个命名空间下所有的配置文件。
2024-04-30 13:12:02
291
原创 GCDW垃圾回收功能说明
3.根据上述过程到照pf与pcf的对应关系，在浏览器中打开http://10.10.4.70:9000/minio/liuyang/instance/test/dbs/dbid/31/tbid/50/data/pid/观察pcf的各个版本。gcdw_garbage_ergodic_s3_interval_seconds：检查参数，多长时间检查s3中残留的垃圾文件（服务异常产生的文件，pfile中不存在的）其中test为s3中的桶名，查询结果中的lydb为要查询的数据库名，找到其对应的dbid：31。
2024-04-29 14:28:58
905
3
原创 如何避免execute执行select语句后必须取出查询结果
方法1：如果只需要执行select而不需要输出查询结果，可以通过execute(sqls,multi_stmt=True)实现，multi_stmt=True表示execute执行多行命令，他会返回一个可迭代类generator，迭代项为GBaseConnector.cursor.GBaseCursor类，此时的查询结果不在游标cur内，而在execute返回值的游标里，所以在使用multi_stmt=True时可不取出查询结果继续执行execute（）。
2024-04-29 14:24:25
393
原创 部署up连接8t集群及卸载注意事项
2.创建distribution前使用su - informix登录用户，对注从节点设置 informix 用户的互信，执行ssh-keygen（所有输入回车即可），执行 ssh-copy-id informix@172.16.83.13，其中 172.16.83.13 表示要互信的对方节点的 IP。3.在8t和gcluster各节点配置nfs服务，服务端在8t机器上，客户端在gcluster节点上。4.在集群所有节点创建共享目录用于up连接8t集群，例如/opt/share8t；部署up集群并连接8t。
2024-04-29 14:23:16
324
原创 dblink使用详解及报错排查
dataSource_IP为源端集群的ip，dataSource_port为集群的端口号，dataSource_dbname为数据库名，dataSource_dbtype为数据库类型，gbase_dblink_gateway_ip=和gbase_dblink_gateway_port=,他们是网关的ip和端口号，然后重启服务。_t_gcluster_dblink_ignore_use_db为1远端连接会跟随远端默认vc。注意：若目标集群有多个coor节点，dblink只能在更改了配置文件的节点使用。
2024-04-29 14:21:15
1114
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人