这篇文章主要介绍Pandas怎么读取大文件,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
如何利用read_csv函数读取没有表头的文件
get_chunk()方法来分块读取数据
concat()方法将数据库进行叠加(垂直方向)
若数据量过大,采取随机抽放(是否放回)
<!--MORE-->
filepath = open("taobao.csv",errors="ignore") # 指定文件路径
reader = pd.read_csv(filepath,
header=None,
names=["user_id","item_id","cat_id","type","time"], # 指定列属性名称
iterator=True)
# loop,chunkSize,chunks = True, 10000000, [] # 连续赋值语句
loop = True
chunkSize = 10000000
chunks = []
while loop: # loop一直为True,执行循环
try:
chunk = reader.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
# 如果考虑数据量过大,只抽取部分的数据来进行分析,采取不放回抽样的方式
# pd.concat(chunks, ignore_index=True).sample(frac=0.05, replace=False) 不放回抽样、记录不重复
df = pd.concat(chunks, ignore_index=True)
以上是“Pandas怎么读取大文件”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:https://my.oschina.net/u/4271000/blog/5000811