【#yyds干货盘点#IDEA上运行Flink任务】男儿欲遂平生志,六经勤向窗前读。这篇文章主要讲述#yyds干货盘点#IDEA上运行Flink任务相关的知识,希望能为你提供帮助。
欢迎访问我的GitHub
- 按提示输入groupId、artifactId、version、package等内容:
文章图片
- 现在maven工程已生成,用IDEA导入这个工程,如下图:
文章图片
- 以maven的类型导入:
文章图片
- 导入成功后的样子:
文章图片
- 修改==StreamingJob.java==,加入功能是监听本地==18081==端口,得到的字符串做word count操作,完整代码在此下载:https://raw.githubusercontent.com/zq2599/blog_demos/master/files/StreamingJob.java
文章图片
- 现在的代码已经能运行,但flink网页却还不能访问,会显示以下错误信息,需要继续做些设置:
文章图片
- 下载flink-1.9.2安装包,这里面有flink网页服务用到的一个jar,地址是:https://www-eu.apache.org/dist/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11.tgz
- ==flink-1.9.2-bin-scala_2.11.tgz==下载后解压,在lib目录下有个==flink-dist_2.11-1.9.2.jar==文件,记住此文件的位置,稍后会用到;
- 回到IDEA,在项目上点击右键,点击菜单==Open Module Settings==:
文章图片
- 在弹出的窗口做如下操作,目的是给项目中增加jar:
文章图片
- 弹出选择文件的窗口,请选择刚才准备好的文件==flink-dist_2.11-1.9.2.jar==:
文章图片
- 设置工作已经完成,由于StreamingJob的工作是读取本机18081端口的数据,所以我们要把18081端口的服务启动起来,不然StreamingJob运行时是连不上端口的,打开一个控制台,执行命令:==nc -l 18081==
- 现在可以将StreamingJob运行起来,如下图,右键点击StreamingJob,选择Run StreamingJob.main():即可启动flink任务,如果想打断点调试,请选择==Debug StreamingJob.main()==
文章图片
- 回到刚才执行nc命令的控制台,输入一些字符串,例如" aaa bbb aaa" ,然后回车;
- 再回到IDEA,可见StreamingJob已经从18081端口读到了数据并且输出了统计结果:
文章图片
- 在IDEA的控制台搜索关键字==localhost==,如下图红框,可以查到flink网页的端口,我这里是==62641==:
文章图片
- 浏览器访问==http://localhost:62641==,如下图,可见flink网页已经正常显示,正在运行的任务也能看到:
文章图片
至此,最简单的IDEA运行flink任务的实战就完成了,如果您也在学习flink,希望本文能给您一些参考;
推荐阅读
- k8s集群Job负载支持多个Pod可靠并发,如何权衡利弊选择适合的并行计算模式()
- C语言文件操作
- #yyds干货盘点# 一文带你 RocketMQ 源码调试环境搭建
- G1垃圾回收器在并发场景调优
- Jmeter 脚本开发之——扩展函数
- Asp.Net Core Swagger 页面适配 Nginx 二级目录 | 完美解决方案 #yyds干货盘点#
- TCP和UDP基本原理1-(H3CNE)
- Ansible的脚本—playbook剧本
- 银行卡信息精准识别-智能快速绑卡