为了账号安全,请及时绑定邮箱和手机立即绑定

如何使用PyCharm编写Spark程序

/ 猿问

如何使用PyCharm编写Spark程序

qq_花开花谢_0 2018-10-28 04:00:18

如何使用PyCharm编写Spark程序


查看完整描述

1 回答

?
开满天机

TA贡献1654条经验 获得超15个赞

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import os

import sys

 

# Path for spark source folder

os.environ['SPARK_HOME'] = "/Users/dustinchen/Documents/APP/spark-1.6.1-bin-hadoop2.6"

 

# You might need to enter your local IP

# os.environ['SPARK_LOCAL_IP']="192.168.2.138"

 

# Path for pyspark and py4j

sys.path.append("/Users/dustinchen/Documents/APP/spark-1.6.1-bin-hadoop2.6/python")

sys.path.append("/Users/dustinchen/Documents/APP/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip")

 

try:

    from pyspark import SparkContext

    from pyspark import SparkConf

 

    print ("Successfully imported Spark Modules")

except ImportError as e:

    print ("Can not import Spark Modules", e)

    sys.exit(1)

 

sc = SparkContext('local')

words = sc.parallelize(["scala", "java", "hadoop", "spark", "akka"])

print(words.count())

 


查看完整回答
反对 回复 2018-11-14
  • 1 回答
  • 0 关注
  • 859 浏览
我要回答
慕课专栏
更多

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信