如何编译Spark 1.5.2

这篇文章将为大家详细讲解有关如何编译Spark 1.5.2，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

在编译spark 1.5.2 时，由于maven版本过低导致出错（貌似使用oschina国内镜像也出现了错误，所以没采用国内镜像，这样就慢一些，但是没关系，能成功就行）

升级maven到最新的版本：

                             （1）卸载之前的maven, sudo apt-get autoremove maven

                             （2）下载最新的maven, apache-maven-3.3.9-bin.tar.gz

                             （3）sudo tar -zxvf  apache-maven-3.3.9-bin.tar.gz -C /usr

                             （4）sudo gedit  ~/.bashrc

                             （5） # MAVEN

                                        export MAVEN_HOME=/usr/apache-maven-3.3.9

                                        export PATH=${MAVEN_HOME}/bin:$PATH

                            （6）source ~/.bashrc

  设置Maven内存， 

export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1g -XX:ReservedCodeCacheSize=512m"

                   （这里得设置 MaxPermSize=1g ，不然会出现 OutOfMemoryError）

 开始编译： mvn -Pyarn -Dyarn.version=2.6.0 -Dhadoop.version=2.6.0 -DskipTests clean -U package

-vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M

-Xms    JVM初始分配的堆内存大小，默认是物理内存的1/64。
-Xmx   JVM最大分配的堆内存大小，默认是物理内存的1/4。
-XX:PermSize  JVM初始分配的非堆内存大小，默认是物理内存的1/64。
-XX:MaxPermSize  JVM最大分配的非堆内存大小，默认是物理内存的1/4。
-XX:NewSize  JVM初始分配的新生代堆区域内存大小。
-XX:MaxNewSize  JVM最大分配的新生代堆区域内存大小。
-XX:ReservedCodeCacheSize  编译代码时的缓存空间大小。

关于“如何编译Spark 1.5.2”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。