这篇文章主要介绍“Flink Process怎么用”,在日常操作中,相信很多人在Flink Process怎么用问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Flink Process怎么用”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
process算子:处理每个keyBy(分区)输入到窗口的批量数据流(为KeyedStream类型数据流)
示例环境
java.version: 1.8.x
flink.version: 1.11.1
示例数据源 (项目码云下载)
Flink 系例 之 搭建开发环境与数据
Process.java
import com.flink.examples.DataSource;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;
import org.apache.flink.streaming.api.windowing.windows.GlobalWindow;
import org.apache.flink.util.Collector;
import java.util.Iterator;
import java.util.List;
/**
* @Description process算子:处理每个keyBy(分区)输入到窗口的批量数据流(为KeyedStream类型数据流)
*/
public class Process {
/**
* 遍历集合,分别打印不同性别的总人数与年龄之和
* @param args
* @throws Exception
*/
public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
List<Tuple3<String, String, Integer>> tuple3List = DataSource.getTuple3ToList();
DataStream<String> dataStream = env.fromCollection(tuple3List)
.keyBy((KeySelector<Tuple3<String, String, Integer>, String>) k -> k.f1)
//按数量窗口滚动,每3个输入数据流,计算一次
.countWindow(3)
//处理每keyBy后的窗口数据流,process方法通常应用于KeyedStream类型的数据流处理
.process(new ProcessWindowFunction<Tuple3<String, String, Integer>, String, String, GlobalWindow>() {
/**
* 处理窗口数据集合
* @param s 从keyBy里返回的key值
* @param context 窗口的上下文
* @param input 从窗口获取的所有分区数据流
* @param out 输出数据流对象
* @throws Exception
*/
@Override
public void process(String s, Context context, Iterable<Tuple3<String, String, Integer>> input, Collector<String> out) throws Exception {
Iterator<Tuple3<String, String, Integer>> iterator = input.iterator();
int total = 0;
int i = 0;
while (iterator.hasNext()){
Tuple3<String, String, Integer> tuple3 = iterator.next();
total += tuple3.f2;
i ++ ;
}
out.collect(s + "共:"+i+"人,平均年龄:" + total/i);
}
});
dataStream.print();
env.execute("flink Process job");
}
}
打印结果
4> girl共:3人,平均年龄:24
2> man共:3人,平均年龄:26
到此,关于“Flink Process怎么用”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:https://my.oschina.net/u/437309/blog/4709281