这篇文章主要讲解了“如何解决eclipse spark提交远程任务异常”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“如何解决eclipse spark提交远程任务异常”吧！
计算
安全
数据库
网络和加速
企业服务
java.lang.IllegalStateException: Library directory scala-2.11\jars' does not exist; make sure Spark is built.package my.test;
import java.io.IOException;
import org.apache.spark.deploy.SparkSubmit;
import com.huangyueran.spark.utils.Constant;
public class Main {
public static void main(String[] args) throws IOException {
System.setProperty("HADOOP_USER_NAME", "hadoop");
System.setProperty("user.name", "hadoop");
//System.setProperty("HADOOP_CONF_DIR", "C:\\eclipse-workspace\\SparkDemo\\src\\main\\resources");
//System.setProperty("HADOOP_CONF_DIR", "C:\\my\\soft\\hadoop\\hadoop-2.8.5\\hadoop-2.8.5\\etc\\hadoop");
System.out.println("------------"+System.getenv("HADOOP_CONF_DIR"));
System.out.println("------------"+System.getenv("HADOOP_HOME"));
String appName = "wordCount-yarn-cluster";
String className = "my.test.WordCount";
String path = "C:\\eclipse-workspace\\SparkDemo\\target\\SparkDemo-1.0-SNAPSHOT.jar";
path = Constant.HDFS_FILE_PREX +"/user/zzm/SparkDemo-1.0-SNAPSHOT.jar";
String [] arg0=new String[]{
// "--jars",Constant.HDFS_FILE_PREX +"/user/zzm/spark-lib",
"--master","yarn",//ip端口
"--deploy-mode","cluster",
"--name",appName,
"--class",className,//运行主类main
//"--spark.yarn.archive",Constant.HDFS_FILE_PREX + "/user/zzm/spark-lib",
"--executor-memory","2G",
"--total-executor-cores","10",
"--executor-cores","2",
path,//在linux上的包 可改为hdfs上面的路径
// "LR", "20180817111111", "66"//jar中的参数，注意这里的参数写法
};
SparkSubmit.main(arg0);
}
}需要配置spark和hadoop得本地环境才能本地提交yarn cluster
感谢各位的阅读，以上就是“如何解决eclipse spark提交远程任务异常”的内容了，经过本文的学习后，相信大家对如何解决eclipse spark提交远程任务异常这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：https://my.oschina.net/xiaominmin/blog/5020852
