温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

怎么在IDEA上运行Flink任务

发布时间:2021-07-23 18:01:43 来源:亿速云 阅读:641 作者:chen 栏目:大数据

这篇文章主要介绍“怎么在IDEA上运行Flink任务”,在日常操作中,相信很多人在怎么在IDEA上运行Flink任务问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么在IDEA上运行Flink任务”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;

IDEA是常用的IDE,我们编写的flink任务代码如果能直接在IDEA运行,会给学习和开发带来很大便利,例如改完代码立即运行不用部署、断点、单步调试等;

环境信息

  1. 电脑:2019版13寸MacBook Pro,2.3 GHz 四核Intel Core i5,8 GB 2133 MHz LPDDR3

  2. 操作系统:macOS Catalina 10.15.3

  3. JDK:1.8.0_211

  4. Maven:3.6.0

  5. IDEA:2018.3.5 (Ultimate Edition)

  6. Flink版本:1.9.2

关于正版IDEA

如何免费使用正版IDEA,可以参考《免费申请和使用IntelliJ IDEA商业版License指南》

开发

  1. 首先确保您电脑上maven已装好;

  2. 创建一个flink任务的maven工程,找个干净目录执行以下命令:

mvn \
archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java \
-DarchetypeVersion=1.9.2
  1. 按提示输入groupId、artifactId、version、package等内容:

怎么在IDEA上运行Flink任务 4. 现在maven工程已生成,用IDEA导入这个工程,如下图:

怎么在IDEA上运行Flink任务 5. 以maven的类型导入:

怎么在IDEA上运行Flink任务 6. 导入成功后的样子:

怎么在IDEA上运行Flink任务 7. 修改<font color="blue">StreamingJob.java</font>,加入功能是监听本地<font color="blue">18081</font>端口,得到的字符串做word count操作,完整代码在此下载:https://raw.githubusercontent.com/zq2599/blog_demos/master/files/StreamingJob.java

怎么在IDEA上运行Flink任务 8. 现在的代码已经能运行,但flink网页却还不能访问,会显示以下错误信息,需要继续做些设置:

怎么在IDEA上运行Flink任务 9. 下载flink-1.9.2安装包,这里面有flink网页服务用到的一个jar,地址是:https://www-eu.apache.org/dist/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11.tgz 10. <font color="blue">flink-1.9.2-bin-scala_2.11.tgz</font>下载后解压,在lib目录下有个<font color="blue">flink-dist_2.11-1.9.2.jar</font>文件,记住此文件的位置,稍后会用到; 11. 回到IDEA,在项目上点击右键,点击菜单<font color="blue">Open Module Settings</font>:

怎么在IDEA上运行Flink任务 12. 在弹出的窗口做如下操作,目的是给项目中增加jar:

怎么在IDEA上运行Flink任务 13. 弹出选择文件的窗口,请选择刚才准备好的文件<font color="blue">flink-dist_2.11-1.9.2.jar</font>:

怎么在IDEA上运行Flink任务 14. 设置工作已经完成,由于StreamingJob的工作是读取本机18081端口的数据,所以我们要把18081端口的服务启动起来,不然StreamingJob运行时是连不上端口的,打开一个控制台,执行命令:<font color="blue">nc -l 18081</font> 15. 现在可以将StreamingJob运行起来,如下图,右键点击StreamingJob,选择<font color="blue">Run 'StreamingJob.main()':</font>即可启动flink任务,如果想打断点调试,请选择<font color="blue">Debug 'StreamingJob.main()'</font>

怎么在IDEA上运行Flink任务 16. 回到刚才执行nc命令的控制台,输入一些字符串,例如"aaa bbb aaa",然后回车; 17. 再回到IDEA,可见StreamingJob已经从18081端口读到了数据并且输出了统计结果:

怎么在IDEA上运行Flink任务 18. 在IDEA的控制台搜索关键字<font color="blue">localhost</font>,如下图红框,可以查到flink网页的端口,我这里是<font color="blue">62641</font>:

怎么在IDEA上运行Flink任务 19. 浏览器访问<font color="blue">http://localhost:62641</font>,如下图,可见flink网页已经正常显示,正在运行的任务也能看到:

怎么在IDEA上运行Flink任务

至此,最简单的IDEA运行flink任务的实战就完成了,如果您也在学习flink,希望本文能给您一些参考;

到此,关于“怎么在IDEA上运行Flink任务”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI