这篇文章主要介绍“Flink Connect怎么使用”,在日常操作中,相信很多人在Flink Connect怎么使用问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Flink Connect怎么使用”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
Connect算子:功能与union类似,将两个流(union支持两个或以上)合并为一个流,但区别在于connect不要求数据类型一致
示例环境
java.version: 1.8.x
flink.version: 1.11.1
示例数据源 (项目码云下载)
Flink 系例 之 搭建开发环境与数据
Connect.java
import com.flink.examples.DataSource;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.api.java.tuple.Tuple4;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.CoMapFunction;
import java.util.Arrays;
import java.util.List;
/**
* @Description Connect算子:功能与union类似,将两个流(union支持两个或以上)合并为一个流,但区别在于connect不要求数据类型一致
*/
public class Connect {
/**
* 将两个不区分数据类型的数据流合并成一个数据流,并打印
* @param args
* @throws Exception
*/
public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
List<Tuple3<String, String, Integer>> tuple3List = DataSource.getTuple3ToList();
//dataStream 1
DataStream<Tuple3<String, String, Integer>> dataStream1 = env.fromCollection(tuple3List);
//dataStream 2
DataStream<Tuple3<String, String, Integer>> dataStream2 = env.fromCollection(Arrays.asList(
new Tuple3<>("医生", "上海", 2),
new Tuple3<>("老师", "北京", 4),
new Tuple3<>("工人", "广州", 9)
));
//合关两个数据流
DataStream<Tuple4<String, String, Integer, String>> dataStream = dataStream1.connect(dataStream2)
.map(new CoMapFunction<Tuple3<String, String, Integer>, Tuple3<String, String, Integer>, Tuple4<String, String, Integer, String>>() {
//表示dataStream1的流输入
@Override
public Tuple4<String, String, Integer, String> map1(Tuple3<String, String, Integer> value) throws Exception {
return Tuple4.of(value.f0, value.f1, value.f2, "用户");
}
//表示dataStream2的流输入
@Override
public Tuple4<String, String, Integer, String> map2(Tuple3<String, String, Integer> value) throws Exception {
return Tuple4.of(value.f0, value.f1, value.f2, "职业");
}
});
//打印
dataStream.print();
env.execute("flink Split job");
}
}
打印结果
(张三,man,20,用户)(李四,girl,24,用户)(王五,man,29,用户)(刘六,girl,32,用户)(伍七,girl,18,用户)(吴八,man,30,用户)(医生,上海,2,职业)(老师,北京,4,职业)(工人,广州,9,职业)
到此,关于“Flink Connect怎么使用”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:https://my.oschina.net/u/437309/blog/4677535