#

combinebykey

  • spark通过combineByKey算子实现条件性聚合的方法

    实际开发过程中遇到了需要实现选择性聚合的场景,即对于某一个key对应的数据,将满足条件的记录进行聚合,不满足条件的则不进行聚合。 使用spark处理这种计算场景时,想到了使用combineByKey算

    作者:sirius_kb
    2020-07-20 05:50:18