- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MacOS IDEA 设置 javap -c 命令 快捷键
按快捷组合键： Command + ，调出偏好设置，搜索 External Tools，然后按 + ，最后参考下图操作并保存：注意：Program 需要填写你对应JDK路径下的，一般你安装IDEA前都有设置JDK环境变量，可以直接在terminal上，echo $JAVA_HOME打印出路径...
2021-10-14 10:43:06
276
原创 每日跑数脚本调用器
###每日跑数脚本调用shell脚本 #!/bin/bash run_date=`date -d "yesterday" +%Y-%m-%d` # 检验有是否传递参数 if [ $# -eq 0 ] then echo 'please add at least one arg for specifing the process sql filepath!' exit fi...
2019-11-02 12:12:05
365
原创 pip崩溃解决命令
# 装pippython -m ensurepip# 更新pippython -m pip install --upgrade pip
2019-07-31 17:31:09
1409
原创 Flask 框架文件 requirements.txt 如何生成与使用
对于从事IT行业的我们，都会有个想法，有没有更好的方法帮助我们摆脱诸多重复的手动的工作，或者做成自动化，让我们有更多时间做更有意义的事情。当我们在使用Python开发项目时，像其他语言编程一样，会在其中使用到许多组件，甚至还需要对组件的版本有要求，不能每次都使用最新版本，所以为了便于应用的软件环境能不影响代码的执行，我们需要给我们的Flask 工程配置上依赖包列表保存为文件require...
2019-02-28 15:48:52
1979
原创 好用的XManager6 注册机
难得找到一款好用的注册机，收藏与分享百度云盘提取码：链接地址：https://pan.baidu.com/s/1f6k2GVt-G0ruzKGNoO26CA提取码：x6hgLicenses 中的号最好与编号匹配...
2019-02-20 10:59:57
9425
2
原创 gitlab 管理员密码重置
> sudo gitlab-rails console production> user = User.where(id: 1).first> user.password=“yourpassword”> user.save!> quit
2019-01-14 18:42:53
656
原创 GItlab 搭建 邮箱配置
vim /etc/gitlab/gitlab.rb/email 直接找到配置邮箱的那部分，然后在后边追加下面的配置，保存，这样后续修改就能很快找到gitlab_rails['gitlab_email_enabled'] = truegitlab_rails['gitlab_email_from'] = 'bigdata@test.cn'gitlab_rails['gitlab_em...
2018-11-30 15:53:51
1191
1
原创 python redis 存string 取 string
DB_REDIS = { 'host': localhost, 'port': 6379, 'password': 'pwd&&1', 'db': 1, 'decode_responses': True}python3使用时，给客户端配置'decode_responses': True就能保证存取的都是string，而不是想存st...
2018-11-12 16:41:38
785
原创 python 连接hiveserver2
pip install pyhs2首先得安装 saslhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl下载 环境windows 64 python 3.6.5
2018-06-11 17:41:53
1089
原创 python 写接口，两种跨域配置方便前后端测试开发
#!/usr/bin/env python# -*- coding:utf8 -*-import flaskimport osimport sysfrom flask import request, jsonify, Responsefrom flask_cors import CORSinterface_path = os.path.dirname(__file__)sys....
2018-06-04 22:23:45
4310
原创 python format 的给力用法及如何优雅地写动态sql 的反思
1. 文件形式存储SQL更优雅 使用python 写后端代码的时候，需要简单地封装一下JDBC，但是把代码嵌套sql语句会很丑也麻烦。这个时候首先想到的是以文件的形式记录。比如，我的hive sql 就是写在sql_file中，然后使用如下方式读取使用hive_sql = open(sql_file, "r").read(）2.python format 下面给出一种 format 的...
2018-06-04 21:43:40
6139
原创 Python 流式 文件下载接口代码
#!/usr/bin/env python# -*- coding:utf8 -*-import flaskimport osimport sysfrom flask import requestfrom util.json_util import *from flask import Responseimport jsonfrom conf import main_conf...
2018-06-04 20:52:50
4655
原创 SQL问题，也会导致坑时间的事情
有时简单的事情，认真对待一下，能省很多时间！！！因同事写SQL习惯性地复制粘贴，导致cross join ，开始定位的思路是查某些表是否有user_id 重复了，。。。可想而知，那么多表啊，a,b,c,d,e ..., n, o, 费时又费力。。。最后又回到检查SQL中了。。。...
2018-06-04 20:33:31
184
原创 Centos7 上 redis4.0.9 编译安装、配置及部署
参照 https://www.jianshu.com/p/bc84b2b71c1c修改了其中一些错误1.基础知识 redis是用C语言开发的一个开源的高性能键值对（key-value）数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，目前为止redis支持的键值数据类型如下字符串、列表（lists）、集合（sets）、有序集合（sorts sets）、哈希表（hashs）2.redi...
2018-05-31 11:27:02
1624
原创 Tomcat 服务器对请求中一些特殊的符号需作处理
今天我把以前开发过的已经投入生产的一个数据抽取通道Servlet中间组件，为了使用python将ETL工程化，拿出来只能放到开发环境发布，以便测试。然而之前一直用的WebSphere服务器，只能放在Tomcat中发布该中间组件，将一个请求参数中含有百分号‘%’ 的URL去访问，却碰到缺失参数的报错，百思不得解，因为之前一直认为是对的事情一下子不正确了，只能把源代码拿出来去作debug打出日
2017-07-13 23:13:23
2888
转载 2016 杭州·云栖大会 PDF 下载的一个分享
2016 杭州·云栖大会 PDF 下载http://www.apache.wiki/pages/viewpage.action?pageId=2888842预览图片如下，请点击链接跳转过去，全面支持下载，不受限制 具体详情请关注该网站说明！
2016-10-28 21:19:48
1022
原创 Hive 中数据库表的分区建议
Hive 数据仓库，对经常查询的大数据表建立分区就是对Hive SQL查询的一种优化，一般常用日期做分区，因为日期一直以来业务比较关注的统计维度，比如年度报告，月度报告，甚至季度报告等等。个人建议：使用年月日分区，作三分区，在建表语句之后使用 partitioned by (pt_year int, pt_month int, pt_date int) 增加分区后，在查询时加入分区条件可以提高
2016-09-25 22:10:12
1408
原创 Hive中建立dual表可以方便插入一条手写记录
在写Hive SQL会碰到一个坑，特别是有时使用我们自己开发的自定义函数时，想跳过不使用from语句，但会无法执行，抛出空指针异常。（高版本的hive可能没有这个问题）这时，需要一个类似Oracle数据库中的dual表。下面给出dual表的创建方法：1. 建表hive> create table dual (dummy string);OKTime taken:
2016-09-25 21:25:45
5289
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人