- 博客(13)
- 收藏
- 关注
RSS订阅原创 对文件夹中所有的文件批量替换其内容
bin/bash # 检查参数是否正确 if [ "$#" -ne 3 ];do # 备份文件（可选） cp "$file" "$file.bak" # 使用 sed 替换内容 sed -i "s/$OLD_VALUE/$NEW_VALUE/g" "$file" # 输出处理信息 echo "Processed: $file" done echo "All replacements completed."
2025-02-18 16:04:22
157
原创 pycharm 上运行 pyspark demo
创建 SparkConf 对象并设置应用名称和主节点。# 使用 reduce 方法计算 RDD 中所有元素的和。# 创建 SparkContext 对象。# 停止 SparkContext。# 将列表转换为 RDD。
2024-11-26 14:04:02
189
1
原创 dolphinscheduler(2.0.5)通过自定义 shell script实现告警通知
**${warnLevel}**>**已运行时长**：**${runTime}**">**告警事件**：**${event}**title="工作流执行预警
2024-08-12 10:22:16
1967
2
原创 dolphinscheduler(2.0.5)集成CDH安装的sqoop
a. 可以选择直接修改DS配置文件中的环境变量(所有安装了ds的机器都要修改) /opt/module/dolphinscheduler/conf/env。1. 将 mysql-connector-java-8.0.27.jar 包导入至 dolphinscheduler的lib目录下,并分发至安装了DS的所有机器。(3) 确保每台安装了dolphinscheduler的机器上安装了sqoop。b. DS的管理页面创建一个新的环境变量。
2024-08-11 14:57:23
896
原创 CDH搭建大数据集群过程中的问题记录
之前初始化 namenode 在 /dfs/nn 留下了残留数据，从而影响再次初始化。手动格式化namenode，查看日志：hdfs namenode -format。删除agent目录下面的cm_guid文件，并重启失败节点的agent服务恢复。2. 主机名不要有 _ 等特殊字符, 否则CDH启动 agent会报错。清空残留数据后，重新初始化。
2024-08-09 14:58:02
304
原创 hive 中 translate 替换
hive中 translate在替换字符串的时候会将替换的字符串拆成一个个的字符去替换。例: select translate('aaabbbcccddd','bc','')输出: aaaddd。
2024-08-08 14:45:09
332
原创 Dolphinscheduler 集成DATAX
datax默认环境变量存配置位置/opt/module/dolphinscheduler/conf/env/dolphinscheduler_env.sh。usr/java/jdk1.8.0_181-cloudera 为环境安装的位置 通过 which java 或者 echo $JAVA_HOME 查看。1. 环境配置: 按照自己服务器中相关环境安装的位置配置相应的环境变量.如果不配置,会使用datax默认的环境变量.2. 修改环境变量以后执行调度任务。执行下面命令,添加软连接.
2024-08-07 13:09:42
1405
原创 hive 从 textfile格式的表中写入数据到orc格式的表中报错
错误信息: Caused by: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow。
2024-08-06 14:32:48
406
原创 Hive建表以后comment中的中文注释为???
查看 comment 字段是否为 utf8, 如果不是utf8使用以下命令修改字段的编码,修改以后重启mysql.由于是通过CDH安装的hive 所以直接在页面配置中修改属性 javax.jdo.option.ConnectionURL。问题: 搭建hive以后在建表的时候发现 hive表中的中文注释为?解决: 1 查看元数据中的表的编码。修改完成后,重启hive。
2024-08-06 14:22:18
642
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人