一 . sparkconf 这个需要在代码里面写,在代码里面写了,那么就不能更改了,即便你在外面传递了一个参数,最终也会在代码里面生效,它的优先级最高
二 . sparksubmit / spark-shell 等脚本,一般在这里面传递,针对我这个应用的参数
三 . 配置文件 在conf 目录下,注意如果需要让参数生效,得template 去掉: 默认的,全局的
这三个地方都可以设置参数,如果说,我们对同样一个参数进行设置,最终是哪个地方生效
这三个地方的优先级是: sparkconf > sparksubmit > 配置文件
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。