这篇文章主要介绍了tensorflow如何实现自定义梯度反向传播，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
以sign函数为例：
sign函数可以对数值进行二值化，但在梯度反向传播是不好处理，一般采用一个近似函数的梯度作为代替，如上图的Htanh。在[-1,1]直接梯度为1，其他为0。
计算
安全
数据库
网络和加速
企业服务
#使用修饰器，建立梯度反向传播函数。其中op.input包含输入值、输出值，grad包含上层传来的梯度
@tf.RegisterGradient("QuantizeGrad")
def sign_grad(op, grad):
input = op.inputs[0]
cond = (input>=-1)&(input<=1)
zeros = tf.zeros_like(grad)
return tf.where(cond, grad, zeros)
#使用with上下文管理器覆盖原始的sign梯度函数
def binary(input):
x = input
with tf.get_default_graph().gradient_override_map({"Sign":'QuantizeGrad'}):
x = tf.sign(x)
return x
#使用
x = binary(x)感谢你能够认真阅读完这篇文章，希望小编分享的“tensorflow如何实现自定义梯度反向传播”这篇文章对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，更多相关知识等着你来学习!
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
