温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何使用eclipse spark

发布时间:2021-10-13 14:36:02 来源:亿速云 阅读:130 作者:iii 栏目:编程语言

这篇文章主要介绍“如何使用eclipse spark ”,在日常操作中,相信很多人在如何使用eclipse spark 问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”如何使用eclipse spark ”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

package my.test;

import java.io.IOException;

import org.apache.spark.deploy.SparkSubmit;

import com.huangyueran.spark.utils.Constant;

public class Main {
public static void main(String[] args) throws IOException {
	System.setProperty("HADOOP_USER_NAME", "hadoop");
	System.setProperty("user.name", "hadoop");
	
	//System.setProperty("HADOOP_CONF_DIR", "C:\\eclipse-workspace\\SparkDemo\\src\\main\\resources");
	//System.setProperty("HADOOP_CONF_DIR", "C:\\my\\soft\\hadoop\\hadoop-2.8.5\\hadoop-2.8.5\\etc\\hadoop");
	
	
	System.out.println("------------"+System.getenv("HADOOP_CONF_DIR"));
	
	System.out.println("------------"+System.getenv("HADOOP_HOME"));
	
	
	String appName = "wordCount-yarn-cluster";
	String className = "my.test.WordCount";
	String path = "C:\\eclipse-workspace\\SparkDemo\\target\\SparkDemo-1.0-SNAPSHOT.jar";
	path = Constant.HDFS_FILE_PREX +"/user/zzm/SparkDemo-1.0-SNAPSHOT.jar";
		String [] arg0=new String[]{
		// "--jars",Constant.HDFS_FILE_PREX +"/user/zzm/spark-lib",		
		"--master","yarn",//ip端口
		"--deploy-mode","cluster",
		 "--name",appName,
		 "--class",className,//运行主类main
		 //"--spark.yarn.archive",Constant.HDFS_FILE_PREX + "/user/zzm/spark-lib",
		 "--executor-memory","2G",
		 "--total-executor-cores","10",
		 "--executor-cores","2",
		 path,//在linux上的包 可改为hdfs上面的路径
		// "LR", "20180817111111", "66"//jar中的参数,注意这里的参数写法
		};
		SparkSubmit.main(arg0);
}
}

如何使用eclipse spark

一直卡着:

spark-defaults.conf新增配置解决:

#spark.yarn.jar                 hdfs://udp02:8020/user//spark-lib/*.jar

到此,关于“如何使用eclipse spark ”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI