本篇文章给大家分享的是有关Spark中怎么调用Jni程序，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。
1.jni调用中的资源销毁问题处理。
从saprk on yarn 模式下，每提交一次任务，就启动一组进程，并在任务完成后进程销毁，因此，只要确保全局资源只存在一份就可以保证不会发生内存泄漏，系统崩溃的情况。
2.jni程序中的多个方法之间静态对象可共享。
3.corsegenbackend进程在任务提交时被创建，并在任务执行完成后被销毁，此进程个数在yarn模式下通过 --num-executors设置。
4.在spark上，任务可能跑在多个进程上，如果jni程序中包含C++静态对象，如何确保静态对象只被初始化加载一次？。
解决方法：
1.写在 mapparition中，但是被调用次数过多是个缺点。
2.写在static块中，可以确保每个进程只对该方法调用一次。
5.spark中的mappartitions方法，如果在后台调用了一次 df.first();则可能会发生只被map一次的情况。
以上就是Spark中怎么调用Jni程序，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
