pyspark -- Please check environment variables PYSPARK_PYTHON

最新推荐文章于 2024-09-20 11:28:34 发布

coder_oyang

最新推荐文章于 2024-09-20 11:28:34 发布

阅读量1.1k

点赞数

分类专栏： Python 大数据文章标签： spark

本文链接：https://blog.csdn.net/coder_oyang/article/details/107325860

版权

Python 同时被 2 个专栏收录

16 篇文章

订阅专栏

大数据

11 篇文章

订阅专栏

Exception:Python in worker has different version 3.6 than that in driver 2.7，PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set

from __future__ import print_function
from pyspark import *
import os

os.environ['PYSPARK_PYTHON'] = 'C:/Python27/python2.exe'

if __name__ == '__main__':
    # sc = SparkContext("local")
    sc = SparkContext(appName='first App')
    rdd = sc.parallelize("hello PySpark world".split(' '))
    counts = rdd.map(lambda word: (word, 1)) \
        .reduceByKey(lambda a, b: a + b)
    # counts.saveAsTextFile('F:/out')
    counts.foreach(print)

    sc.stop()

出现这样的问题，是因为，pyspark的python环境与 driver也就是主节点的python环境版本不一致

本地安装了py2 以及py3两个环境，通过在程序中指定 PYSPARK_PYTHON 的方式：在pycharm运行正常，可是通过 spark-sumit 方式提交仍然出现这样的问题，因默认为py2环境，而pycharm指定环境为py3，所以出现上述情况，将pycharm Python interpret 指定为py2，正常；

想通过win10设置默认python的方式，实现spark-submit，修改环境变量path中python的地址即可