本篇内容介绍了“flink运行模式有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。
下载地址
历史下载地址和最新下载地址
国内地址
计算架构:JobManager和TaskManger
JobManager主要负责调度task,协调checkpoint已经错误恢复等
TaskManger具体任务执行
Flink SQL,原型是阿里2019开源 Blink代码。
Flink SQL定义sql语句,代码加载实现数据结构化和处理功能。
Table API:
有source和sink概念,source是输入源,sink为输出源,代码有相关sql方法,无需定义sql语句。
DataStream和DataSetAPI,纯代码实现计算,一个负责实时,一个服务批处理。
资料
三种模式
Yarn-session 模式
Single job 模式
预先在yarn上面划分一部分资源给flink集群用,flink提交的所有任务,共用这些资源
每次提交任务,都会创建一个新的flink集群
无hadoop集群,flink自身集群运行。
本地主机计算
模式一:Local(本地)模式
模式二:Standalone(独立)模式
on yarn模式
“flink运行模式有哪些”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。