JSON_ZJS的博客

[root@Spark1 hadoop]# hiveException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/service/HiveServerException at java.lang.Class.forName0(Native Method) at j...

副本节点的选择（机架感知） 1、默认情况下 第一个副本在client所处的节点上，如果客户端在集群之外，（在win7上运行程序，写文件到集群上），随机选一个。 第二个副本和第一个副本在不同机架上，节点随机选 第三个副本和第二个副本在相同的机架上，节点随机 2、hadoop2.7.2 第一个副本在client...

Hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable问题 配置完hadoop启动的时候出现如下警告信息：WARN util.NativeCodeL...

SparkContext源码分析粗略的说明一下SparkContext源码！createTaskScheduler（）针对不同的提交模式，执行不同的方法（local，standalone、yanr等）standalone模式===》》创建一个TaskSchedulerImpl1、       底层通过操作SchedulerBackend，针对不同种类的cluster（stand

Spark之Master主备切换机制原理