- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Spark的DataFrame、RDD写入到HBase的方法（Scala）
一、使用DataFrame.saveAsHadoopDataset(conn)方法。特点：适合做批量的写入。优点为批量写入方便快捷。缺点对于数据量大的DF写入速度太慢。val conn = new JobConf(HBaseConfigurationcreate())//设置HBase连接conn.set(,)conn.set(,)//设置Host和Portconn.set(TableO...
2019-01-10 14:18:06
3172
原创 linux shell中实现循环日期
#!/usr/bin/env bashstart_date="20180726"end_date="20180830"while [ "$start_date" -le "$end_date" ];do
2018-09-13 10:37:30
4337
原创 Superset 在linux( centOS 6\7 )下安装
一、安装python3.6(据说python3.4以上就可以)二、安装mysql(我安装的mysql5.7社区版)三、安装visual c++ build tools 2015，（一会附上csdn下载）四、使用pip 安装superset pip install superset五、依次执行 superset在site-packages/superse...
2018-08-20 15:46:23
1699
原创 Apache Kylin 高基数维度处理 以及 其他优化
第一个问题：在Tableau中显示的度量值如果是SUM计算，那么在Hive中最好使用的字段类型为decimal(20,0)，避免使用int以及bigint。 第二个问题：高基数维度的Cube在构建过程中报错，GC limite exceeded 以及java.lang.OutOfMemoryError: Java heap space,需要在~/conf/kylin_job_conf.xml中添...
2018-06-20 14:33:20
3107
原创 HDU4278 Faulty Odometer（进制转化问题）
题目大意：里程表会错过0 1 2 3 4 5 6 7 8 9中的 3 和 8 两个数字 也就是 正常的里程表显示0 1 2 3 4 5 6 7 8 9 坏掉的里程表只会显示 0 1 2 4 5 6 7 9 其实可以看做：0 1 2 3 4 5 6 7 即坏掉的里程表显示的是8进制的数字
2014-09-03 13:21:17
909
原创 HDU1240 Asteroids!-题目意思详解（ 三维BFS）
题目大意：先输入START N 表示这个立方体的层数是N，每一层为一个NxN的正方形。。其实就是一个NxNxN的正方体，输入时一层一层的输入。输入完立方体后，输入起点和终点的坐标。输出是 先输出 N 再输出最短路径的步数。如果走不到终点，输出NO ROUTE。坑点：它输入的起点和终点坐标不与我们输入的立方体对应。要把输出的起点终点描述看仔细了 不能想当然#include ...
2014-08-15 16:24:18
3047
2
原创 poj1088 滑雪（dfs、dp优化）
#include #include #include #include #include #include #include #include #define N 110int a,b,step=0;int anw=0;int moun[N][N];int dp[N][N];int dir[4][2]={{1,0},{0,1},{-1,0},{0,-1}};using
2014-08-12 15:14:13
1191
visual c++ 2015 build tools
2018-08-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人