超级会员免费看
本文档介绍了在CDH6.3中遇到的Spark2.4.0与Hive2.1、Hadoop3.0等组件的兼容性问题。详细描述了启动Spark集群的步骤，包括配置JAVA_HOME、设置 slaves 文件、调整Spark默认端口。还讨论了由于组件依赖低版本Hadoop导致的错误，提供了通过maven依赖树分析和修改pom.xml映射解决问题的方法。
1.背景
最近环境切换到CDH6.3，用到Spark2.4，Hive2.1，Hadoop3.0，Beam等组件，Beam中嵌套了很多组件的原生API。
2.安装
2.1 Spark
具体步骤略，照着网上文档按步骤就可以安装好，下面步骤，展示如何启动Master,Worker进程。
安装目录：/opt/cloudera/parcels/CDH/lib/spark，操作主目录。
spark-env.sh
在此配置文件末尾添加JAVA_HOME环境变量
export JAVA_HOME=/usr/local/jdk
slaves
这个文件如果没有，自己创建一个，文件内容配置Worker节点的主机名，每个节点都配置下文件。
示例：
m4.server
nlp.server
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
