Spark运行Python代码

最新推荐文章于 2024-04-27 03:32:03 发布

伙伴几时见

最新推荐文章于 2024-04-27 03:32:03 发布

阅读量8.2k

点赞数 1

分类专栏： python数据挖掘

python数据挖掘专栏收录该内容

74 篇文章

订阅专栏

两种方法：

使用 spark-submit 解释执行python脚本
使用 python 解释执行python脚本

1. 使用Spark-submit解释执行python脚本

Python脚本中需要在开头导入spark相关模块，调用时使用spark-submit提交，示例代码如下：

===========================================================

"""odflow.py"""
from pyspark import SparkContext

fileDir = "/TripChain3_Demo.txt"
# sc = SparkContext("local", "ODFlow")
sc = SparkContext("spark://ITS-Hadoop10:7077", "ODFlow")
lines = sc.textFile(fileDir)

# python不能直接写多行的lambda表达式，所以要封装在函数中
def toKV(line):
    arr = line.split(",")
    t = arr[5].split(" ")[1].split(":")
    return (t[0]+t[1]+","+arr[11]+","+arr[18],1)

r1 = lines.map( lambda line : toKV(line) ).reduceByKey(lambda a,b: a+b)
# 排序并且存入一个（repartition）文件中
r1.sortByKey(False).saveAsTextFile("/pythontest/output")

===========================================================

发布命令为：

spark-submit \
  --master spark://ITS-Hadoop10:7077 \
  odflow.py

2. 使用 python 解释执行python脚本

直接用python执行会出现错误:

ImportError: No module named pyspark
ImportError: No module named py4j.java_gateway

缺少pyspark和py4j这两个模块，这两个包在Spark的安装目录里，需要在环境变量里定义PYTHONPATH，编辑~/.bashrc或者/etc/profile文件均可

vi ~/.bashrc # 或者 sudo vi /etc/profile
# 添加下面这一行
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
# 使其生效
source ~/.bashrc # 或者 sudo source /etc/profile

然后关闭终端，重新打开，用python执行即可

python odflow.py

原文链接：http://blog.csdn.net/houmou/article/details/50925573

python odflow.py