5.4 配置Spark源码阅读环境

由于Spark使用SBT作为项目管理构建工具,SBT的配置文件中配置了依赖的jar包网络路径,在编译或者生成指定类型项目时,需要从网络下载jar包,需要预先安装Git。在Linux操作系统或者Windows操作系统中(可以下载Git Shell,在Git Shell中进行命令行操作)通过sbt/sbt gen-idea命令,生成Intellij项目文件,然后在Intellij IDEA中直接通过“Open Project”选项打开项目。

1)克隆Spark源码。命令如下:


  1. git clone https//github.com/apache/spark

2)生成项目。

3)在所需的软件安装好后,在Spark源代码根目录下输入以下代码。


  1. sbt/sbt gen-idea

这样SBT会自动下载依赖包和编译源文件编译,并生成Intellij所需的项目文件。

如果在Eclipse下,则需要运行如下代码:


  1. sbt/sbt gen-eclipse

这样SBT会自动下载依赖包和编译源文件编译,并生成Eclipse所需的项目文件。用户就可以在IDE中查看源码了。