不懂PyTorch中in-place operation的含义是什么？其实想解决这个问题也不难，下面让小编带着大家一起学习怎么去解决，希望大家阅读完这篇文章后大所收获。
in-place operation在pytorch中是指改变一个tensor的值的时候，不经过复制操作，而是直接在原来的内存上改变它的值。可以把它成为原地操作符。
在pytorch中经常加后缀“_”来代表原地in-place operation，比如说.add_() 或者.scatter()。python里面的+=，*=也是in-place operation。
下面是正常的加操作,执行结束加操作之后x的值没有发生变化：
import torch x=torch.rand(2) #tensor([0.8284, 0.5539]) print(x) y=torch.rand(2) print(x+y) #tensor([1.0250, 0.7891]) print(x) #tensor([0.8284, 0.5539])
下面是原地操作，执行之后改变了原来变量的值：
import torch x=torch.rand(2) #tensor([0.8284, 0.5539]) print(x) y=torch.rand(2) x.add_(y) print(x) #tensor([1.1610, 1.3789])
在官方问文档中由这一段话：
如果你使用了in-place operation而没有报错的话，那么你可以确定你的梯度计算是正确的。
补充知识：PyTorch中nn.ReLU(inplace=True)中inplace的作用
我们用PyTorch搭建神经网络时，会遇到nn.ReLU(inplace=True),inplace=True是什么意思呢？
nn.Conv2d(64,192,kernel_size=3,stride=1,padding=1),
nn.ReLu(inpalce=True),# inplace为True，默认为False
意思是：是否将计算得到的值直接覆盖之前的值
例如：x = x+1
即对原值x进行+1操作后得到的值，直接赋值给x
而不是如下找一个中间变量y：
y=x+1
x=y
先将x进行+1操作后赋值给中间变量y，然后将y值赋给x
这样就需要内存存储变量y
因此当inplace=True时：
就是对从上层网络nn.Conv2d中传递下来的tensor直接进行修改，这样能够节省运算内存，不用多存储其他变量。
感谢你能够认真阅读完这篇文章，希望小编分享PyTorch中in-place operation的含义是什么内容对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，遇到问题就找亿速云，详细的解决方法等着你来学习!
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
