阿里、字节offer收割系列:数据仓库岗(面试真题,建议收藏)(1)

1、分享桥哥本人或小伙伴在面试大厂时遇到的真题,并给出参考答案!!

2、涉及岗位:主要为大数据开发、数据仓库(桥哥干过的),其它岗位也可参考

3、涵盖技术:mysql、hadoop、hive、Spark、Flink、Kudu、Impala等…

【数据倾斜篇】

一、数据倾斜表现


1)hadoop中的数据倾斜表现:

  1. 有一个多几个Reduce卡住,卡在99.99%,一直不能结束。

  2. 各种container报错OOM

  3. 异常的Reducer读写的数据量极大,至少远远超过其它正常的Reducer

  4. 伴随着数据倾斜,会出现任务被kill等各种诡异的表现。

2)hive中数据倾斜

一般都发生在Sql中group by和join on上,而且和数据逻辑绑定比较深。

3)Spark中的数据倾斜

Spark中的数据倾斜,包括Spark Streaming和Spark Sql,表现主要有下面几种:

  1. Executor l

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值