Spark设置setMaster=local，不提交集群，在本地启用多线程模拟运行
object SparkUtil {
private val logger = Logger.getLogger(getClass.getName, true)
def getSparkContext(appName:String, local:Boolean=false, threadNum:Int=4):SparkContext = {
val conf = new SparkConf().setAppName(appName)
if(local)
conf.setMaster(s"""local[$threadNum]""")
val sc = new SparkContext(conf)
return sc
}
}
SparkUtil.getSparkContext("testApp",true) // 本地启4个线程模拟运行本地模式运行可以测试主要的程序逻辑，并不能一定在集群中正确运行.
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
