Windows下搭建Spark

下载地址

• scala: http://www.scala-lang.org/download/all.html (2.11.8)

• spark: https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.1.2/

• Hadoop：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.4/

spark安装与配置

将程序解压，然后配置环境变量，将spark的bin目录配置到环境变量中；

hadoop安装与配置

1. 将程序解压，然后配置环境变量HADOOP_HOME，将hadoop的bin目录配置到环境变量中；

2. https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1 下载hadoop.dll和winutils.exe到hadoop的bin目录，如果报错，则将hadoop.dll拷贝到C:/Windows/System32目录

3. 启动hadoop

hadoop namenode -format
cd %HADOOP_HOME%\sbin
start-all.cmd

4. jps查看启动结果

11072
8576 ResourceManager
10724 NameNode
14084
15780 SparkSubmit
16612 DataNode
3172
13228 Jps
14316 PluginMain
4156

scala安装与配置

在spark安装目录中的jar中找到scala的版本，然后到上面的下载地址中下载对应的版本，此处为2.11.8，最后将scala安装好即可，注意安装路径中不能包含空格。

运行spark

使用spark-shell命令即可启动spark。