小编给大家分享一下如何加快pandas计算速度，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！
什么问题困扰我们？
使用pandas，当您运行以下行时：
# Standard apply
df.apply(func)
得到这个CPU使用率：
标准pandas适用 - 仅使用1个CPU
即使计算机有多个CPU，也只有一个完全专用于您的计算。
而不是下边这种CPU使用，想要一个简单的方法来得到这样的东西：
并行Pandas适用 - 使用所有CPU
Pandaral·lel 如何帮助解决这个问题？
Pandaral·lel 的想法是将pandas计算分布在计算机上所有可用的CPU上，以显着提高速度。
安装：
$ pip install pandarallel [--user]
导入和初始化：
# Import
from pandarallel import pandarallel
# Initialization
pandarallel.initialize()
用法：
使用带有pandas DataFrame的简单用例df和要应用的函数func，只需替换经典apply的parallel_apply。
# Standard pandas apply
df.apply(func)
# Parallel apply
df.parallel_apply(func)
做完了！
请注意如果不想并行化计算，仍然可以使用经典apply方法。
也可以通过将显示每个工作CPU一个进度条progress_bar=True的initialize功能。
并行应用进度条
并配有更复杂的情况下使用带有pandas DataFrame df，该数据帧的两列column1，column2和功能应用func：
# Standard pandas apply
df.groupby(column1).column2.rolling(4).apply(func)
# Parallel apply
df.groupby(column1).column2.rolling(4).parallel_apply(func)
基准
对于此处提供的四个示例，请执行以下配置：
https://github.com/nalepae/pandarallel/blob/master/docs/examples.ipynb
操作系统：Linux Ubuntu 16.04
硬件：Intel Core i7 @ 3.40 GHz - 4核
4核上的标准与并行（越低越好）
除了df.groupby.col_name.rolling.apply速度仅增加x3.2因子之外，平均速度增加约x4因子，即使用过的计算机上的核心数。
它是如何在引擎盖下工作的？
调用parallel_apply时，Pandaral·lel：
实例化一个Pyarrow Plasma共享内存
https://arrow.apache.org/docs/python/plasma.html
为每个CPU创建一个子进程，然后要求每个CPU在DataFrame的子部分上工作
将所有结果合并到父进程中
以上是“如何加快pandas计算速度”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
