温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

大数据处理的3 个小技巧分别是什么

发布时间:2022-01-04 15:39:09 阅读:165 作者:柒染 栏目:大数据
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

今天就跟大家聊聊有关大数据处理的3 个小技巧分别是什么,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

数据处理无所不在,掌握常用技巧,事半功倍。

此系列使用 Pandas 开展数据处理分析,总结其中常用、好用的数据分析技巧。

我使用的 Pandas 版本如下,顺便也导入 Pandas 库。

>>> import pandas as pd>>> pd.__version__'0.25.1'
 

今天使用的数据集名称:IMDB-Movie-Data,取自 Kaggle,百度网盘下载链接如下:

链接: https://pan.baidu.com/s/15u7Hf2y5dSFwek2vA1-zjg 提取码: bvfx

在开始前先确保解释器和数据集在同一目录下:

>>> import os>>> os.chdir('D://source/dataset') # 这是我的数据集所在目录>>> os.listdir() # 确认此目录已经存在 IMDB-Movie-Data 数据集['drinksbycountry.csv''IMDB-Movie-Data.csv''movietweetings''titanic_eda_data.csv''titanic_train_data.csv']
 

准备工作就位后,正式开始数据处理技巧之旅。

 
1 Pandas 移除某列

导入数据

>>> df = pd.read_csv("IMDB-Movie-Data.csv")>>> df.head(1) # 导入并显示第一行   Rank                    Title                    Genre  ...   Votes Revenue (Millions) Metascore0     1  Guardians of the Galaxy  Action,Adventure,Sci-Fi  ...  757074             333.13      76.0[1 rows x 12 columns]
 

使用 pop 方法移除指定列:

>>> meta = df.pop("Title").to_frame() # 移除 Title 列
 

确认是否已被移除:

>>> df.head(1) # df 变为 11列   Rank                    Genre  ... Revenue (Millions) Metascore0     1  Action,Adventure,Sci-Fi  ...             333.13      76.0[1 rows x 11 columns]
     
2 统计标题单词数

pop 后得到 meta,显示 meta 前 3 行:

>>> meta.head(3)                     Title0  Guardians of the Galaxy1               Prometheus2                    Split
 

标题是由单词组成,中间用空格分隔。

# .str.count(" ") + 1 得到单词个数 >>> meta["words_count"] = meta["Title"].str.count(" ") + 1 >>> meta.head(3) # words_count 列代表单词个数                     Title  words_count0  Guardians of the Galaxy            41               Prometheus            12                    Split            1
     
3 Genre 频次统计

下面统计电影 Genre 的频次,

>>> vc = df["Genre"].value_counts()
 

下面显示电影 Genre 的 Top5 ,最高频为出现 50 次的 Action,Adventure,Sci-Fi 类,次之为 48 次的 Drama 类:

>>> vc.head()Action,Adventure,Sci-Fi    50Drama                      48Comedy,Drama,Romance       35Comedy                     32Drama,Romance              31Name: Genre, dtype: int64
 

展示 Top5 的饼状图:

>>> import matplotlib.pyplot as plt>>> vc[:5].plot(kind='pie')<matplotlib.axes._subplots.AxesSubplot object at 0x000001D65B114948>>>> plt.show()
 
大数据处理的3 个小技巧分别是什么  

看完上述内容,你们对大数据处理的3 个小技巧分别是什么有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注亿速云行业资讯频道,感谢大家的支持。

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

原文链接:https://my.oschina.net/u/4585819/blog/4401033

AI

开发者交流群×