怎样在spark单机上编写运行scala程序

Question

怎样在spark单机上编写运行scala程序

Answer 1

使用Scala写一个测试代码：

object Test { def main(args: Array[String]): Unit = { println("hello world")     } }

就把这个Test视为类，项目组织结构如：

然后设置编译选项：

然后在项目文件夹下面可以找到编译好的Jar包：

复制到Spark指定的目录下（自己建的）：

启动Spark，然后提交任务：

spark-submit --class Test --master spark://localhost:7077 /home/data/myjar/Hello.jar