- 博客(21)
- 收藏
- 关注
RSS订阅原创 更改hive表location指向
1.更改DBS表中的location字段2.更改SDS表中的location字段非分区表：UPDATE DBSJOIN TBLSJOIN SDS ON DBS.DB_ID = TBLS.DB_IDAND TBLS.SD_ID = SDS.SD_IDSET SDS.LOCATION = REPLACE ( `LOCATION`, '原始路径前缀', '目标路径前缀‘)WHEREDBS.`NAME` = '库名'AND TBLS.TBL_TYPE = 'MANAGED_T...
2021-10-25 11:52:57
1243
原创 hive小文件合并
mr:set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;//执行Map前进行小文件合并set mapred.max.split.size=256000000;tez:
2021-05-07 10:07:53
130
原创 shell命令
grep+sed批量替换：sed -i "s/spark-submit/spark-submit --proxy-user abc/g" `grep spark-submit -rl /mnt/ccc/execution/aaa| grep dag/dws_`批量杀进程：ps -ef | grep airflow | awk '{print \$2}' | xargs sudo kill -9shell中将变量值作为变量名参数传入：bootstrap=`eval echo '$..
2021-03-08 19:00:17
111
原创 各类数据库常用操作
mysql：CREATE USER 'firmware'@'%' IDENTIFIED BY 'firmware';GRANT ALL ON data_analytics.firmware_key TO 'firmware'@'%';GRANT ALL ON data_analytics.firmware_value TO 'firmware'@'%';FLUSH PRIVILEGES;mongodb：mongoexport -h host:27017 -d 库 -u 用户 -p ..
2021-03-08 18:57:38
117
原创 sqlalchemy使用
from sqlalchemy import cast, Date, TIMESTAMP, DateTime, String, BIGINT, func, and_简单查询+子连接+函数：dag_infos1 = session.query(DcmpLineage.dag_name.label('dag_name'), DcmpLineage.task_name.label('task_name'), DcmpLineage.task_type, Dc...
2021-03-08 18:49:49
342
原创 airflow 1.10.12踩坑
切换airflow账户echo "export AIRFLOW_HOME=~/airflow" >> ~/.bashrcyum -y install gccyum install -y libffi-devel python-devel openssl-develyum install python3-develyum install -y mysql-develpip3 install pymysqlpip3 install mysqlsudo rm -f /etc..
2020-11-18 22:43:53
300
原创 Hive与Hbase的联系与区别
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/V...
2018-11-20 13:45:16
174
1
转载 idea配置github创建本地仓库并上传项目
1.在github中创建一个账号：https://github.com/join?source=header-home2.下载并安装git：https://git-scm.com/downloads3.安装成功后打开Git Bash，输入下列命令，设置git全局用户名和邮箱+ View Code4.在IDEA中设置Git，在File-->Setting->Versi...
2018-10-25 16:56:42
697
1
转载 idea如何设置类头注释和方法注释
idea:类头注释：打开file->setting->Editor->Filr and Code Templates->Includes->File Header 直接在右边的文件框里编辑你说需要注释的东西，然后应用保存之后,当你创建类的时候就会自动生成注释。方法注释：打开file->setting->Editor->LiveTemplat...
2018-10-24 13:11:31
190
转载 IDEA修改servlet模板
1. 新建一个servlet , 快捷键 command+N新建servlet2. 起一个名字, 就可以OKNew Servlet然后界面就是这样但我们知道, 要想能够访问到servlet, 需要设置urlpatterns.也可以在 web.xml 中设置, 但是太过麻烦. 而myeclipse是在创建时候就已经要求你填好url了.好吧. 重点来了.IDEA中...
2018-10-24 13:08:33
3835
1
转载 Intellij idea旗舰版学生免费注册使用步骤
最近在安装Intellij idea，社区版本比旗舰版本少了很多东西，曲曲折折终于找到了学生可以免费使用旗舰版的方法：以下步骤来自Lenyo Lee的更新：JetBrains开发工具免费提供学生和教师使用。取得授权后只需要使用相同的 JetBrains 帐号就可以激活其他产品，不需要重复申请。开始申请前请先到 https://www.jetbrains.com/student/ 阅读免...
2018-10-24 13:04:58
2514
原创 HDFS配额
名称配额（Name Quota）名称配额是在对应的目录下所有文件和目录名称的数量上的限制。当超过这个配额的时候，文件或目录就会创建失败，重命名后名称配额仍然有效。因为比较简单，所以我们直接测试：步骤一：创建一个测试目录[root@testbig1 ~]# hdfs dfs -mkdir /data/test_quota1 步骤二：设置创建的目录的名称配额[root@testb...
2018-10-24 13:02:00
379
转载 大数据之路
该文章转载自http://dataguild.org/?page_id=3681大数据大数据专家是怎样炼成的？由于很少看到学习大数据的知识图谱，所以这里斗胆分享一家之言。同时，大数据有很多细分领域，这里特指通过分布式技术在海量数据中了解并分析过去发生了什么（what happened）、为什么会发生（why did it happen）、正在发生什么（what is happening...
2018-10-24 13:00:02
304
原创 大数据学习规划
所处阶段 主讲内容 技术要点 学习目标 第一阶段 ： Java语言编程基础 计算机基础 DOS常用命令；Java概述；JDK环境安装配置；环境变量配置；Java程序入门 能力养成： 能够掌握DOS系统常...
2018-10-24 12:57:50
466
原创 JavaEE知识点总结
***********************************day01_面向对象【阶段一知识回顾、继承】******************************************1:代码块(理解) (1)用{}括起来的代码。 (2)分类： A:局部代码块 用于限定变量的生命周期，及早释放，提高内存利用率。 ...
2018-10-24 12:56:10
2350
原创 Idea快捷键总结
Ctrl 快捷键 介绍 Ctrl + F 在当前文件进行文本查找 （必备） Ctrl + R 在当前文件进行文本替换 （必备） Ctrl + Z 撤销 （必备） Ctrl + Y 删除光标所在行 或 ...
2018-10-24 12:53:49
123
原创 Mysql&Hive练习语句(二)
--建表--学生表CREATE TABLE `Student`( `s_id` VARCHAR(20), `s_name` VARCHAR(20) NOT NULL DEFAULT '', `s_birth` VARCHAR(20) NOT NULL DEFAULT '', `s_sex` VARCHAR(10) NOT NULL DEFAULT '', ...
2018-10-24 12:48:57
314
原创 Mysql&Hive练习语句(一)
create table Student(sid varchar(10),sname varchar(10),sage datetime,ssex nvarchar(10));insert into Student values('01' , '赵雷' , '1990-01-01' , '男');insert into Student values('02' , '钱电' , '1990-12...
2018-10-24 12:45:57
664
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人