DDR爱好者之家

PyTorch中 tensor.detach() 和 tensor.data 的区别详解
站长资源 2024/11/25 佚名
12 1538
DDR爱好者之家 Design By 杰米

PyTorch0.4中，.data 仍保留，但建议使用 .detach(), 区别在于 .data 返回和 x 的相同数据 tensor, 但不会加入到x的计算历史里，且require s_grad = False, 这样有些时候是不安全的, 因为 x.data 不能被 autograd 追踪求微分 。

.detach() 返回相同数据的 tensor ,且 requires_grad=False ,但能通过 in-place 操作报告给 autograd 在进行反向传播的时候.

举例：

tensor.data

> a = torch.tensor([1,2,3.], requires_grad =True)
> out = a.sigmoid()
> c = out.data
> c.zero_()
tensor([ 0., 0., 0.])

> out     # out的数值被c.zero_()修改
tensor([ 0., 0., 0.])

> out.sum().backward() # 反向传播
> a.grad    # 这个结果很严重的错误，因为out已经改变了
tensor([ 0., 0., 0.])

tensor.detach()

> a = torch.tensor([1,2,3.], requires_grad =True)
> out = a.sigmoid()
> c = out.detach()
> c.zero_()
tensor([ 0., 0., 0.])

> out     # out的值被c.zero_()修改 !!
tensor([ 0., 0., 0.])

> out.sum().backward() # 需要原来out得值，但是已经被c.zero_()覆盖了，结果报错
RuntimeError: one of the variables needed for gradient
computation has been modified by an

以上这篇PyTorch中 tensor.detach() 和 tensor.data 的区别详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

DDR爱好者之家 Design By 杰米
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
DDR爱好者之家 Design By 杰米
ddrfans.com DDR爱好者之家
8,675无损音乐
1,324高清电影
213破解软件
70,141收录资讯

更新日志

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网
DDR爱好者之家 Design By 杰米