超级会员免费看
本文深入探讨了Spark性能优化中的关键步骤——数据序列化，重点关注Kryo序列化的优势和使用方法。讨论了Kryo如何提高性能、减少内存消耗，以及何时和如何注册自定义类以优化性能。建议在网络密集型Spark应用中尝试使用Kryo，并调整相关配置以适应不同场景。
前言
在使用Spark进行数据开发的时候，避不开的一个问题就是性能调优。网上一搜一大堆所谓的调优策略很多作者自己都不知所云，导致读者看了后只会更加困惑。我们在研究一个技术的时候第一手资料永远都请参考官网，官网对性能优化不一定是最全甚至最优，但是可以解决大部分问题。根据官方的总结，性能优化最重要的只有两个：
- 数据序列化
- 内存调优
本文主要对数据序列化对性能影响进行全面性的总结。
spark调优之前请大声喊三遍：
Spark性能优化考虑的第一步就是数据序列化
Spark性能优化考虑的第一步就是数据序列化
Spark性能优化考虑的第一步就是数据序列化
数据序列化
序列化（Serialization
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
