做大数据的,别把路走窄了!

见字如面,我是军哥!

我一般很少推荐人,今天必须要推荐这位朋友—熊大,他专注大数据领域,文章深入浅出质量很高,目前是某大厂数据负责人,推荐看完哈!

以下是他的文章。

我是大熊!某大厂数据负责人。

图片

“哥,听说大数据行业早就不缺人了?”

图片

我弟才大一,985院校,也感受到了寒冬。

2015就像妖风起

10年前我刚毕业的时候,大数据爆发的也莫名其妙,有点名气的公司都要玩Hadoop,没那体量也硬上。

2015年Hadoop爆发,2020年“数据中台”成为年度热词🔥,再到如今大厂“流批一体”架构招人门槛卷到PhD起步,这个行业确实经历了洗礼。

我很确信:大数据行业基础岗位的供给早已溢出。

而学校还在源源不断的批量造“牛马”。未来只会更卷,机会还有吗?

我的看法是:有!还很多!

这行卷的从来就不是技术,而是思维惯性。

就像2019年当我给团队培训SparkSQL时,有个执着于MR的工程师嚼舌头“搞SQL算什么技术”。去年他在被裁员了,微信问我能否内推,我委婉说暂时没HC。

10年前驱动我们的是技术理想,钱当时也很重要,但不是最重要的,而今天大家更多讨论的是35岁焦虑。

大模型来势汹汹  

很多公众号说:Claude、Deepseek正在摧毁SQLBoy护城河,我拍手叫好!

94085c97561dd85d05e4b4186c8bf708.png

站着说话不腰疼???你就是吃了时代的红利而已 

我觉得你说的:对!我很赞同!

生在这个时代,运气也很重要。

你也在这个大模型时代中心,能不能抓住运气,吃这个时代的红利呢?

上次听小酒馆播客:诸葛越那期,前Hulu的VP大佬,关于GPT她打了一个有趣的比喻

3872e796815c680f0d6fafd1e933d26a.png

马夫时代,突然出现了汽车。作为马夫,如果不学开车技术转行做司机,通常都会被社会所淘汰。那些被淘汰的马夫往往错估了自己的核心技能。

马夫的护城河不是训马技巧,而是对周边地图的熟悉。

作为数开人,我希望你能看清自己的护城河是什么!

更希望持续保持好奇心,积极主动去尝试新事物,例如:

  • 我思考技术方案的时候用DeepSeek提供新思考角度;  

  • Cursor就解放了我很多基础代码的时间,让我专注在核心复杂的逻辑;

未来的选择  

“每天主要写SQL,搞搞治理,也不知道在职场剧里,能不能活过35集?”

我曾经也愁!很快就释怀了。大不了,到时候一起摆地摊的时候,旁边的那个是组里SQL优化最厉害的那位。

Oracle的存储过程是数仓1.0阶段。

Hadoop生态数仓处在2.0阶段。

2.0的数仓能力为总结为“π图”(个人拙见)

21314bf7bca7a9f6d686228a6c5fb675.png

那3.0呢?  

我尝试总结数据+AI的能力栈,但它变化太快了,3个月前我构建的Agent链路,现在方案也变了,算法也变了。

现在大模型就是野蛮生长的时候,充满着不确定性,各个大厂都在摸索一套稳定的数据范式。或许靠谱的方式,先从JD里管中窥豹。

9d71303b9bfe40049665be1b22d6e568.png

4abfacca0b96885b2d6ded53e5db410d.png 

说白了,你还是要我去卷! 

不倦也可以,2.0技术也可以降维打击。

2024营收超过470亿元的公司只有500家,也称中国500强。但营收超3千万的公司有超过6000家,大量的传统企业是没有IT部门的,去传统企业躺也很舒服,不用天天追新技术!

我一个大学同学,在二线城市给传统制造业做报表,每月靠着20套Dolphin Scheduler + 帆软报表能收60万服务费。有次吃饭聊起,他说上周刚帮一位做水产批发的老板用Mysql数据搭了个进销存数据看板,相比养程序员团队,他宁可每年付我8万维护费。

9cd0e4c74d675e06e3e3a74829ed0b8e.png 

太Low,项目外包,亲戚觉得没出息

那你适合去做公务员或国家单位!国家数据局官网发布了《数据要素×三年行动计划》,就看第3-11页。  

数据要素×三年行动计划.pdf

国家已经点明了方向,势必接下来就是政策、资金猛砸的时候,有的时候往大和远点看,别太微观,个别岗位不具备代表性,研究趋势,做决策的正确率比较高!  

而且,最近国家数据局,各省市数据集团的成立,民营企业见面会,动作挺频繁的,你需要理解这背后的逻辑,ZF 工作模式一定是先建立组织和班子,再干活,而且一定会出活。

跑偏了,回到我弟

给他的建议:学历本质是公司筛选聪明人的工具,但真正的职场只认能力。  

除了平时上课,还可以做三件事:

  • 注册个阿里云账号,用DataWorks + MaxCompute完整跑通一次数据加工过程,这个过程会教你看懂80%的数开JD本质需求。  

  • 用大模型实现“认知升维”,别只盯着ChatGPT套壳应用,去Huggingface扒DLRM模型源码,看Uber怎么用Pytorch-Forecast做动态定价  

  • 混进Datawhale这类社群,去年我面过一个本科生(非985),曾在社区坚持回答了200多个Spark问题,我直接一路强保到HR,就要这个人。

说到这,我突然想起2015年,我给登顶过Oracle官网的中国区ACM演讲嘉宾,发了感想邮件,并请他推荐书籍和希望加他微信。

2个月后,前辈在朋友圈分享一个央企岗位,我果断请求内推。介于他身份太高,面试一路绿灯,让我获得了改变职业轨迹的机会。

回想这10年旅程,我有幸获得过3位前辈的关键指点,职业突破的痛点有时只是差一个真正懂行的指路人。  

当我写下这些文字时,或许就是我们建立深度连接的开始,欢迎加我微信bigbear2048

现在是从“一片蓝海”到“众人争渡”,但真正懂航海的人从不慌。

<<<  END >>>

往期精彩文章合集

【数据建模】

 数仓专家如何进行数据调研?

 建模实战:业务驱动DWD层设计策略

 从业务到数仓-网约车平台Gra建模设计

 Amazon如何设计高效的流量域模型?

【数据性能优化】

 直播电商:不一样的数据倾斜SQL优化

 直播大促如何确保实时大屏Flink稳定性

 SQL千亿数据膨胀OOM优化经验

【面试经验】

 明知我只写SQL,为何面试狂考动态规划

 面试官的陷阱,专坑“八股文选手”

大熊啊

WHAT I WANT

每周2篇原创,分享大厂数据经验,你永远百度不到的那种

图片

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值