见字如面,我是军哥!
我一般很少推荐人,今天必须要推荐这位朋友—熊大,他专注大数据领域,文章深入浅出质量很高,目前是某大厂数据负责人,推荐看完哈!
以下是他的文章。
我是大熊!某大厂数据负责人。
“哥,听说大数据行业早就不缺人了?”
我弟才大一,985院校,也感受到了寒冬。
2015就像妖风起
10年前我刚毕业的时候,大数据爆发的也莫名其妙,有点名气的公司都要玩Hadoop,没那体量也硬上。
2015年Hadoop爆发,2020年“数据中台”成为年度热词🔥,再到如今大厂“流批一体”架构招人门槛卷到PhD起步,这个行业确实经历了洗礼。
我很确信:大数据行业基础岗位的供给早已溢出。
而学校还在源源不断的批量造“牛马”。未来只会更卷,机会还有吗?
我的看法是:有!还很多!
这行卷的从来就不是技术,而是思维惯性。
就像2019年当我给团队培训SparkSQL时,有个执着于MR的工程师嚼舌头“搞SQL算什么技术”。去年他在被裁员了,微信问我能否内推,我委婉说暂时没HC。
10年前驱动我们的是技术理想,钱当时也很重要,但不是最重要的,而今天大家更多讨论的是35岁焦虑。
大模型来势汹汹
很多公众号说:Claude、Deepseek正在摧毁SQLBoy护城河,我拍手叫好!
站着说话不腰疼???你就是吃了时代的红利而已
我觉得你说的:对!我很赞同!
生在这个时代,运气也很重要。
你也在这个大模型时代中心,能不能抓住运气,吃这个时代的红利呢?
上次听小酒馆播客:诸葛越那期,前Hulu的VP大佬,关于GPT她打了一个有趣的比喻
马夫时代,突然出现了汽车。作为马夫,如果不学开车技术转行做司机,通常都会被社会所淘汰。那些被淘汰的马夫往往错估了自己的核心技能。
马夫的护城河不是训马技巧,而是对周边地图的熟悉。
作为数开人,我希望你能看清自己的护城河是什么!
更希望持续保持好奇心,积极主动去尝试新事物,例如:
我思考技术方案的时候用DeepSeek提供新思考角度;
Cursor就解放了我很多基础代码的时间,让我专注在核心复杂的逻辑;
未来的选择
“每天主要写SQL,搞搞治理,也不知道在职场剧里,能不能活过35集?”
我曾经也愁!很快就释怀了。大不了,到时候一起摆地摊的时候,旁边的那个是组里SQL优化最厉害的那位。
Oracle的存储过程是数仓1.0阶段。
Hadoop生态数仓处在2.0阶段。
2.0的数仓能力为总结为“π图”(个人拙见)
那3.0呢?
我尝试总结数据+AI的能力栈,但它变化太快了,3个月前我构建的Agent链路,现在方案也变了,算法也变了。
现在大模型就是野蛮生长的时候,充满着不确定性,各个大厂都在摸索一套稳定的数据范式。或许靠谱的方式,先从JD里管中窥豹。
说白了,你还是要我去卷!
不倦也可以,2.0技术也可以降维打击。
2024营收超过470亿元的公司只有500家,也称中国500强。但营收超3千万的公司有超过6000家,大量的传统企业是没有IT部门的,去传统企业躺也很舒服,不用天天追新技术!
我一个大学同学,在二线城市给传统制造业做报表,每月靠着20套Dolphin Scheduler + 帆软报表能收60万服务费。有次吃饭聊起,他说上周刚帮一位做水产批发的老板用Mysql数据搭了个进销存数据看板,相比养程序员团队,他宁可每年付我8万维护费。
太Low,项目外包,亲戚觉得没出息
那你适合去做公务员或国家单位!国家数据局官网发布了《数据要素×三年行动计划》,就看第3-11页。
数据要素×三年行动计划.pdf
国家已经点明了方向,势必接下来就是政策、资金猛砸的时候,有的时候往大和远点看,别太微观,个别岗位不具备代表性,研究趋势,做决策的正确率比较高!
而且,最近国家数据局,各省市数据集团的成立,民营企业见面会,动作挺频繁的,你需要理解这背后的逻辑,ZF 工作模式一定是先建立组织和班子,再干活,而且一定会出活。
跑偏了,回到我弟
给他的建议:学历本质是公司筛选聪明人的工具,但真正的职场只认能力。
除了平时上课,还可以做三件事:
注册个阿里云账号,用DataWorks + MaxCompute完整跑通一次数据加工过程,这个过程会教你看懂80%的数开JD本质需求。
用大模型实现“认知升维”,别只盯着ChatGPT套壳应用,去Huggingface扒DLRM模型源码,看Uber怎么用Pytorch-Forecast做动态定价
混进Datawhale这类社群,去年我面过一个本科生(非985),曾在社区坚持回答了200多个Spark问题,我直接一路强保到HR,就要这个人。
说到这,我突然想起2015年,我给登顶过Oracle官网的中国区ACM演讲嘉宾,发了感想邮件,并请他推荐书籍和希望加他微信。
2个月后,前辈在朋友圈分享一个央企岗位,我果断请求内推。介于他身份太高,面试一路绿灯,让我获得了改变职业轨迹的机会。
回想这10年旅程,我有幸获得过3位前辈的关键指点,职业突破的痛点有时只是差一个真正懂行的指路人。
当我写下这些文字时,或许就是我们建立深度连接的开始,欢迎加我微信bigbear2048
现在是从“一片蓝海”到“众人争渡”,但真正懂航海的人从不慌。
<<< END >>>
往期精彩文章合集
【数据建模】
从业务到数仓-网约车平台Gra建模设计【数据性能优化】
【面试经验】
大熊啊
WHAT I WANT
每周2篇原创,分享大厂数据经验,你永远百度不到的那种