温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Pandas如何实现groupby分组的apply转换

发布时间:2021-09-10 10:35:31 阅读:291 作者:chen 栏目:大数据
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

本篇内容介绍了“Pandas如何实现groupby分组的apply转换”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

知识:Pandas的GroupBy遵从split、apply、combine模式

Pandas如何实现groupby分组的apply转换

这里的split指的是pandas的groupby,我们自己实现apply函数,apply返回的结果由pandas进行combine得到结果

 
GroupBy.apply(function)
  • function的第一个参数是dataframe

  • function的返回结果,可是dataframe、series、单个值,甚至和输入dataframe完全没关系

 
本次实例演示:
  1. 怎样对数值列按分组的归一化?

  2. 怎样取每个分组的TOPN数据?

 

实例1:怎样对数值列按分组的归一化?

将不同范围的数值列进行归一化,映射到[0,1]区间:

  • 更容易做数据横向对比,比如价格字段是几百到几千,增幅字段是0到100

  • 机器学习模型学的更快性能更好

归一化的公式:

Pandas如何实现groupby分组的apply转换

 
演示:用户对电影评分的归一化

每个用户的评分不同,有的乐观派评分高,有的悲观派评分低,按用户做归一化

import pandas as pd
 
ratings = pd.read_csv(    "./datas/movielens-1m/ratings.dat",     sep="::",    engine='python',     names="UserID::MovieID::Rating::Timestamp".split("::"))ratings.head()

# 实现按照用户ID分组,然后对其中一列归一化def ratings_norm(df):    """    @param df:每个用户分组的dataframe    """    min_value = df["Rating"].min()    max_value = df["Rating"].max()    df["Rating_norm"] = df["Rating"].apply(        lambda x: (x-min_value)/(max_value-min_value))    return dfratings = ratings.groupby("UserID").apply(ratings_norm)
 
ratings[ratings["UserID"]==1].head()
 

可以看到UserID==1这个用户,Rating==3是他的最低分,是个乐观派,我们归一化到0分;

 

实例2:怎样取每个分组的TOPN数据?

获取2018年每个月温度最高的2天数据

fpath = "./datas/beijing_tianqi/beijing_tianqi_2018.csv"df = pd.read_csv(fpath)# 替换掉温度的后缀℃df.loc[:, "bWendu"] = df["bWendu"].str.replace("℃""").astype('int32')df.loc[:, "yWendu"] = df["yWendu"].str.replace("℃""").astype('int32')# 新增一列为月份df['month'] = df['ymd'].str[:7]df.head()
 
def getWenduTopN(df, topn):    """    这里的df,是每个月份分组group的df    """    return df.sort_values(by="bWendu")[["ymd""bWendu"]][-topn:]df.groupby("month").apply(getWenduTopN, topn=1).head()

我们看到,grouby的apply函数返回的dataframe,其实和原来的dataframe其实可以完全不一样

“Pandas如何实现groupby分组的apply转换”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

原文链接:https://my.oschina.net/czant/blog/4485842

AI

开发者交流群×