这篇文章将为大家详细讲解有关python怎么提高计算速度,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
Python语言近年来人气爆棚。它广泛应用于数据科学,人工智能,以及网络安全问题中,由于代码可读性较强,学习效率较高,吸引了许多非科班的同学进行学习。然而,使用Python一段时间以后,发现它在速度上完全没有优势可言,特别是计算密集型任务里,性能问题一直是Python的软肋。本文主要介绍了Python的JIT编译器Numba,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。
首先要回答这样一个问题:当运行同一个程序时,为什么Python会比其他语言慢2到10倍?为什么我们无法将它变得更快?
以下是最主要的原因:
“它是GIL(Global Interpreter Lock全局解释器锁)”
“它是解释型语言而非编译语言”
“它是动态类型语言
由于本文的着重点并不是解释Python速度慢的原因以及背后的逻辑,这部分就不深入探讨了,欢迎有兴趣的同学自行搜索。
为了兼具移植性和性能,聪明的工程师们发明了 JIT 这个东西,所谓的 JIT 就是说在解释型语言中,对于经常用到的或者说有较大性能提升的代码在解释的时候编译成机器码,其他一次性或者说没有太大性能提升的代码还是以字节码的方式执行。这样的话,就能在保证移植性的同时,又能让性能提升一大截,
JIT编译在代码运行时动态将Python代码编译为机器代码执行,由于避免了Python内置的解释器,运行速度会有很大提升。比较流行的JIT方案是Numba和Pypy,但由于Python的历史包袱和语法变化等原因,没有一个能够完美实现的方案。方案各自存在不同的优缺点,需要在根据使用领域选择合适的方案。
Pypy支持全局的加速,但对C库支持不好,较为适合用于Web服务等事务型任务。
Numba能够对某些函数和库进行加速,高性能的同时保持了Python的兼容性,但使用的范围会受到一定限制。
我们主要介绍Numba的基本用法,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。
Numba通过使用LLVM技术,将Python代码编译生成优化后的机器码,可以大幅提高代码执行效率。
关于安装
首先是安装numba,根据python环境,运行不同的安装命令:
conda install numba pip install numba
一句话总结:使用Numba最简单的方式就是在函数定义前加@jit 或 @njit的装饰即可。
Numba通过在函数定义前加decorator(修饰符)来申明是否进行加速。如上文所说,最简单的使用方法是@jit。对于Numba的@jit有两种编译模式:nopython和object模式。
nopython模式会完全编译这个被修饰的函数,函数的运行与Python解释器完全无关,不会调用Python的C语言API。如果想获得最佳性能,推荐使用此种模式。同时由于@jit(nopython=True)太常用了,Numba提供了@njit修饰符,和这句话等价,方便使用。但这种模式要求函数中所有变量的类型都可以被编译器推导(一些基本类型,如不能是一些库或自己定义的数据类型等),否则就会报错。
object模式中编译器会自动识别函数中循环语句等可以编译加速的代码部分,并编译成机器码,对于剩下不能识别的部分交给Python解释器运行。如果想获取最佳性能,避免使用这种方法(For best performance avoid using this mode!)。
如果没设置参数nopython=True,Numba首先会尝试使用nopython模式,如果因为某些原因无法使用,则会使用object模式。加了nopython后则会强制编译器使用nopython模式,但如果代码出现了不能自动推导的类型,有报错的风险。
from numba import jit
import random, time
def monte_carlo_pi(sam):
account = 0
for i in range(sam):
x = random.random()
y = random.random()
if (x ** 2 + y ** 2) < 1.0:
account += 1
return 4.0 * account / sam
@jit
def jit_monte_carlo_pi(sam):
account = 0
for i in range(sam):
x = random.random()
y = random.random()
if (x ** 2 + y ** 2) < 1.0:
account += 1
return 4.0 * account / sam
loops = [100000, 1000000, 10000000, 100000000, 1000000000]
for loop in loops:
startTime = time.time()
monte_carlo_pi(loop)
t = time.time() - startTime
print('python {} loop: {}'.format(loop, t))
startTime = time.time()
jit_monte_carlo_pi(loop)
t = time.time() - startTime
print('numba {} loop: {}'.format(loop, t))
对于以上代码,运行的结果是:
python 100000 loop: 0.0469999313354
numba 100000 loop: 0.213999986649
python 1000000 loop: 0.478999853134
numba 1000000 loop: 0.0110001564026
python 10000000 loop: 4.82499980927
numba 10000000 loop: 0.107000112534
python 100000000 loop: 48.728000164
numba 100000000 loop: 1.05900001526
python 1000000000 loop: 489.142100134
numba 1000000000 loop: 11.01402001452
可以看到,jit编译后有约47倍的提升。循环次数越多,numba的加速效果就越明显。对于更复杂的计算函数,numba可能会有更好的效果。
关于“python怎么提高计算速度”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。