本篇文章为大家展示了如何进行Spark Job 动态分配资源的分析，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
项目中使用spark 自带的thrift-server做hdfs数据查询统计服务。当数据过多时，thrift-server 需要分配大量的资源，当不需要查询时分配当量的资源又显得非常浪费，因此想到是否有可能动态分配资源。
（thrift-server也是一个job（yarn app），因此这种方法同样适用于一般的spark job）。
目前动态资源分配只适合spark on yarn，配置方式如下。
修改所有节点yarn node-manager配置，在$HADOOP_HOME/etc/hadoop/yarn-site.xml中添加：
<property><name>yarn.nodemanager.aux-services.spark_shuffle.class</name><value>org.apache.spark.network.yarn.YarnShuffleService</value></property><property><name>spark.shuffle.service.port</name><value>7337</value></property>
将$SPARK_HOME/lib/spark-1.3.0-yarn-shuffle.jar copy到 $HADOOP_HOME/share/hadoop/yarn/lib 目录下。
重启yarn。
修改 $SPARK_HOME/conf/spark-default.conf 文件，添加以下内容：
spark.shuffle.service.enabled true spark.shuffle.service.port 7337 spark.dynamicAllocation.enabled true spark.dynamicAllocation.minExecutors 1spark.dynamicAllocation.maxExecutors 12spark.dynamicAllocation.schedulerBacklogTimeout 1spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 5spark.dynamicAllocation.cachedExecutorIdleTimeout 60
这里使用spark中内置的thrift-server验证。
启动thrift-server，只配置 --executor-memory 参数。
sbin/start-thriftserver.sh --master yarn-client --executor-memory 1g
通过application UI可看到executors分配，当有并发查询或者查询压力比较大时，会申请更多的executor，空闲时回收。
上述内容就是如何进行Spark Job 动态分配资源的分析，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
