CubDswill-CSDN博客

转载 hive数据倾斜的解决办法(转发，便于记录查看)

https://www.cnblogs.com/wangbin2188/p/10364375.html

2020-11-13 11:22:11 215

加入大数据大军已一年多了，一直以来都是从事传统数据仓库领域的工作，近一年开始接触基于大数据平台的数仓，并参与其中的数据开发。下面是一些常用的大数据平台组件分享，希望有帮助到从事大数据相关领域的你。首先，一门语言确实需要，不然也不好意思说是一枚程序员：R, C++, JAVA, Python等然后，hadoop的基础：分布式存储基石： HDFS(分布式文件存储系统) 分布式计算基础： MapReduce(一种编程模型，面向大数据并行处理的计算模型、框架和平台) Hadoop...

2020-10-15 14:33:35 4327 1

原创 oracle用户数据迁移

如果原来数据库中有相关数据，先删除用户：> SQLPLUS / as sysdba> DROP USER COSS6 CASCADE;删除相应的表空间：（这里只是表空间删除方法，如果你需要的表空间是一样的，不必删除，删除用户及其文件就行了）> SQLPLUS / as sysdba> DROP TABLESPACE COSS6 INCLUDING CONTENTS AND DA

2017-04-09 21:07:52 815

原创 oracle用户管理

1.语法 CREATE USER 用户名 IDENTIFIED BY 口令 [ACCOUNT LOCK|UNLOCK];2.用户权限新建立的用户，还不能正常登录数据库系统，需要相应的权限才被允许。 Oracle用户对数据库管理或对象操作的权利，分为系统权限和数据库对象权限。系统权限比如：create session，create table等，拥有系统权限的用户

2017-04-09 21:06:52 461

原创 tnsname和listener

1.配置tnsname# tnsnames.ora Network Configuration File: E:\oracle\product\10.2.0\client_1\NETWORK\ADMIN\tnsnames.ora# Generated by Oracle configuration tools.lysql = (DESCRIPTION = (AD

2017-04-09 21:05:10 571

原创 OLTP和OLAP

API：Application Programming Interface,应用程序编程接口OLAP：联机分析处理OLAP（On-Line Analytical Processing），OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。OLTP：联机事务处理OLTP（on-line transaction processing），OLTP是

2017-04-09 21:03:04 464

原创 bash基础功能之通配符和其他特殊符号

1.通配符通配符作用？匹配一个任意字符*匹配0个或任意多个任意字符，也就是可以匹配任何内容[]匹配中括号中任意一个字符。例如：[abc]代表一定匹配一个字符，或者是a，或者是b，或者是c。[-]匹配中括号中任意一个字符，-代表一

2017-03-22 21:23:41 499

原创 bash基础功能之多命令顺序执行与管道符

1.多命令顺序执行多命令执行符格式作用;命令1;命令2多个命令顺序执行，命令之间没有任何逻辑联系&&命令1&&命令2逻辑与当命令1正确执行，则命令2才会执行；当命令1执行不正确，则命令2不会执行||命令1||命令2逻

2017-03-22 21:16:11 464

原创 bash基础功能之输出重定向

1.标准输入输出设备设备文件名文件描述符类型键盘/dev/stdin0标准输入显示器/dev/stdout1标准输出显示器/dev/stderr2标准错误输出

2017-03-22 21:14:56 850

原创 bash基础功能之命令别名和常用快捷键

1.命令别名（1）语法alias 别名='原命令'[root@linux-study ~]# alias vi='vim' --定义vim命令的别名是vi[root@linux-study ~]# alias --直接输入，可以查询哪些命令被别名了（2）命令执行时顺序 □第一顺位执行用绝对路径或相对路径执行的命令。 --例如在/bin下面执行ls，就只是执行

2017-03-22 21:10:23 498

原创 bash基础功能之历史命令和命令补全

1.历史命令和命令补全 1.1 历史命令 history （1）语法history [选项][历史命令保存文件]选项： -c：清空历史命令，包括.bash_history文件中的也一并清除 -w：把缓存中的历史命令写入历史命令保存文件，默认保存在~/.bash_history注意：-w是主动将敲过的命令保存在.bash_history文件中，如

2017-03-22 21:09:08 1910

原创 shell的执行方式

首先我们了解最基础的，输出hello world！。1.echo 输出命令[root@linux-study ~]echo [选项][输出内容]选项： -e：支持反斜线控制的字符转换[root@linux-study ~]# echo "hello word!"bash: !": event not found --！在shell中有特殊作用。 [root@linux

2017-03-22 21:07:26 354

原创 shell理解

一、shell的两个功能 1.shell是一个命令行解释器，例如我们打开的terminal窗口，就可以理解为是一个shell，它为用户提供了一个像linux内核发送请求以便运行行程序的界面系统级程序，用户可以用shell来启动、挂起、停止甚至是编写一些程序。 2.shell还是一个功能相当强大的编程语言，易编写，易调试，灵活性较强。shell是解释执行的脚本语言，在she

2017-03-22 21:06:44 684

转载 Linux内存信息

1.查看内存信息cat /proc/meminfo | more 输入命令cat /proc/cpuinfo 查看physical id有几个，上述结果显示只有0，所以只有一个物理cpu；查看processor有几个，上述结果显示有0和1两个，所以有两个逻辑cpu。 (一)概念 ① 物理CPU 实际Server中插槽上的CPU个数物理cpu数量，可以数不重复的 ph

2017-03-22 21:05:02 331

转载 Linux进程管理

2017-03-22 21:03:18 323

原创图形化登录Linux

想要在远程终端使用用图形界面来操作和控制Linux服务器，就在windows下像使用MSTSC一样。linux通过XDMCP来提供这种支持，我们只要用一个终端仿真软件如：xmanager就可以实现，但是装完Xmanager后是不能直接远程连接Linux服务器的Xwindow界面的，需要对Linux进行相应的配置，详细步骤如下。前提：安装linux时一定要选上xwindow，这是最基本的

2017-03-22 21:01:04 1047

转载 SCP命令介绍

scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。虽然 rsync比scp会快一点

2017-03-22 21:00:03 718

原创 redhat手动配置yum

RHEL6通过安装光盘或ISO文件制作本地yum源的方法在使用yum安装之前是必须配置yum源的, 在不能联网的情况下, 可使用DVD光盘或ISO文件做本地yum源. 下面以RHEL6.0为例, 其它版本类似.1. 建立ISO文件存放目录(/repo/iso)和ISO文件的挂载目录(/repo/rhel6)# mkdir /repo/iso# mkdir /repo/rhe

2017-03-22 20:59:12 640

原创 Linux文件目录简介

目录存放结构多叉树 #cd/#ls 显示目录下面的文件（一下都是根目录）/bin：可执行文件，常用的命令（蓝色表示目录，绿色表示可执行文件，淡（浅）蓝色代表符号连接文件（快捷方式），有红色橙色背景的是加了冒险位的，黑背景黄色的是设备文件，紫色表示套接字文件，绿

2017-03-22 20:57:24 311

原创 LINUX 常用几个命令

1.显示日期的指令： date [xiaolou@localhost Desktop]$ dateSat Feb 14 18:48:07 PST 2015[root@test root]# date +%Y/%m/%d 2002/10/16 [root@test root]# date +%H:%M 15:32 ---------------------------

2017-03-22 20:56:13 387

转载安装图形化界面包

一、配置yum库Virtualbox下的虚拟光驱位于/dev/sr0，所以，向virtualbox加载RHEL6.1的镜像后，就可以配置yum库了1.挂载镜像[root@redhat ~]# mkdir /media/rhel[root@redhat ~]# mount -o loop /dev/sr0 /media/rhel 2.使镜像能开机自动挂载在/etc/f

2017-02-19 21:14:44 997

转载根目录空间不足

一、目的在使用CentOS6.3版本linux系统的时候，发现根目录(/)的空间不是很充足，而其他目录空间有很大的空闲，所以本文主要是针对现在已有的空间进行调整。首先，先来查看一下系统的空间分配情况： [root@CentOS-78 /]# df -h Filesystem Size Used Avail Use% Mounted on

2017-02-19 21:13:08 1704 1

原创修改系统字符集

一·查看字符集字符集在系统中体现形式是一个环境变量，以CentOS6.5为例,其查看当前终端使用字符集的方式可以有以下几种方式：1、[root@david ~]# echo $LANGzh_CN.GB180302、[root@david ~]# env |grep LANGLANG=zh_CN.GB18030LANGUAGE=zh_CN.GB18030:zh_CN.GB

2017-02-19 21:02:02 1418

原创 oracle交换分区swap不足

oracle对swap空间要求很大，因此，管理 oracle 的过程中经常会出现swap空间不足的情况，这时就要考虑扩展swap空间。有两种解决方法：一是创建新的swap分区；另一则是创建swap文件。一.增加一个新的swap分区 1.在root用户下执行fdisk [root@OCS_Test root]#fdisk /dev/hda 然后选择n,新增一个分区:/dev/hd

2017-02-19 21:00:57 1835

转载 crontab命令

请记住，时间格式是：* * * * * 命令分别代表是 “分时日月星期命令”一、crond简介crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任

2017-02-19 20:58:13 269

原创更改主机名

查看主机名命令：# uname -n csdba#hostnamecsdba1、通过hostname命令。命令格式：hostname newhostname此命令的作用是暂时的修改linux的主机名，它的存活时间linux当前的运行时间，即在重启前的运行时间内。一般修改以后就生效，但是不能永久修改2、通过配置文件/etc/sysconfig/netwo

2017-02-19 20:55:27 749

原创开机自启动Oracle和ODI代理

--linux下Oracle开机自启动1.以root身份登录linux系统2.vi /etc/oratab，确认orcl:/opt/oracle/product/10.2.0/db_1:Y这里的是Y，如果不是改成Y。3.vi /etc/rc.d/rc.local 添加以下内容： su oracle -lc "/opt/oracle/product/10.2.0/db_1/bi

2017-02-19 20:52:39 1006

原创配置DNS（解决IP能通，域名不通）

1.临时修改dns服务，重启可能会无效#vim /etc/resolv.conf，在其中加入以下内容：nameserver 8.8.8.8nameserver 202.106.196.1152.永久性配置dns服务（1）、配置ip地址文件 /etc/sysconfig/network-scripts/ifcfg-eth0添加一行DNS1=8.8.8.8 #手动

2017-02-19 20:51:10 4737

原创开启特定端口

方法一：命令模式[root@centos httpd]# /sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT[root@centos httpd]# /etc/rc.d/init.d/iptables save[root@centos httpd]# /etc/init.d/iptables restart------------

2017-02-19 16:56:03 416

转载 Oracle安装目录空间不够，增加挂载

/usr对应的挂载点/空间已经全部耗尽。为了解决这个问题，决定增加一块虚拟硬盘，然后划分好空间后将空间挂载到/usr目录下，下面是操作过程。第一步：关闭虚拟机1)确认Oracle测试库已经关闭ps -ef | grep ora_，如果没关闭，用shutdown immediate关闭数据库2)跳转到root用户，使用shutdown -h now关闭主机第二步：在虚拟机中增加一块

2017-02-19 16:54:40 5050

原创配置时间同步

时间同步命令：ntpdate time.windows.com 自动时间同步：需要配置/etc/crontab文件，实现自动执行任务让linux从time.windows.com自动同步时间vi /etc/crontab加上一句：00 0 1 * * root ntpdate -s time.windows.comtime.nist.gov 是一个时间服务

2017-02-19 16:33:22 611

原创关闭防火墙

Linux系统中，有时候要检查防火墙是否开启或者需要关闭，以下是两种情形。1) 重启后生效开启： chkconfig iptables on 关闭： chkconfig iptables off 2) 即时生效，重启后失效开启： service iptables start 关闭： service iptables stop 需要说明的是对于Linux下

2017-02-19 16:11:01 331

转载 sysctl -P 报"unknown key"错误解决办法

sysctl -P 报"unknown key"错误解决办法[root@oracle11gr2 Packages]# sysctl -pnet.ipv4.ip_forward = 0net.ipv4.conf.default.rp_filter = 1net.ipv4.conf.default.accept_source_route = 0kernel.sy

2017-02-19 16:08:25 3178

转载 Linux查看端口占用情况

linux如何查看端口被谁占用使用 netstat 进行查看！>netstat -noap | grep 80 | grep tcpProto Recv-Q Send-Q Local Address Foreign Address State PID/Program name

2017-02-19 15:25:00 539

CubDswill的博客