DDR爱好者之家

踩坑:pytorch中eval模式下结果远差于train模式介绍
站长资源 2024/11/24 佚名
80 1538
DDR爱好者之家 Design By 杰米

首先，eval模式和train模式得到不同的结果是正常的。我的模型中，eval模式和train模式不同之处在于Batch Normalization和Dropout。Dropout比较简单，在train时会丢弃一部分连接，在eval时则不会。Batch Normalization，在train时不仅使用了当前batch的均值和方差，也使用了历史batch统计上的均值和方差，并做一个加权平均（momentum参数）。在test时，由于此时batchsize不一定一致，因此不再使用当前batch的均值和方差，仅使用历史训练时的统计值。

我出bug的现象是，train模式下可以收敛，但一旦在测试中切换到了eval模式，结果就很差。如果在测试中仍沿用train模式，反而可以得到不错的结果。为了确保是程序bug而不是算法本身就不适合于预测，我在测试时再次使用了训练集，正常情况下此时应发生过拟合，正确率一定会很高，然而eval模式下正确率仍然很低。参照网上的一些说法（Performance highly degraded when eval() is activated in the test phase
），我调大了batchsize，降低了BN层的momentum，检查了是否存在不同层使用相同BN层的bug，均不见效。有一种方法说应在BN层设置track_running_stats为False，它虽然带来了好的效果，但实际上它只不过是不用eval模式，切回train模式罢了，所以也不对。

学习了在训练过程中，如何将BN层中统计的均值和方差输出。即在forward()中，

# bn是一个BN层，torch.nn.batch_normalization(...)
print(bn.running_mean)
print(bn.running_var)

同时学习了如何输出一个Tensor自身的均值和方差，即

# x是一个Tensor，dims是需要计算的维度
print(x.cpu().detach().numpy().mean(dims)
print(x.cpu().detach().numpy().var(dims)

观察每一层的输出结果，发现出现了很大的方差，才猛然意识到自己的输入数据没有做归一化（事后想想也确实如此，毕竟模型和训练方法都是github上参考别人的，出错概率很小；反而是自己写的DataSet部分，其实是最容易出错的）。给模型加上归一化后，eval和train的结果就没有问题了。

再次验证了我的观点：越是玄学的问题，越是傻逼的bug。

补充知识：Pytorch中的train和eval用法注意点

1.介绍

一般情况，model.train()是在训练的时候用到，model.eval()是在测试的时候用到

2.用法

如果模型中没有类似于BN这样的归一化或者Dropout，model.train()和model.eval()可以不要（建议写一下，比较安全），并且model.train()和model.eval()得到的效果是一样

如果模型中有类似于BN这样的归一化或者Dropout，并且程序需要边训练和边测试，最好就是用model.eval()测试完之后，后面补一个model.train()。

其中model.train()是保证BN用每一批数据的均值和方差，而model.eval()是保证BN用全部训练数据的均值和方差；而对于Dropout，model.train()是随机取一部分网络连接来训练更新参数，而model.eval()是利用到了所有网络连接（结果是取了平均）

以上这篇踩坑:pytorch中eval模式下结果远差于train模式介绍就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

DDR爱好者之家 Design By 杰米
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
DDR爱好者之家 Design By 杰米
ddrfans.com DDR爱好者之家
8,675无损音乐
1,324高清电影
213破解软件
70,141收录资讯

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。

《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。

更新日志

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网
DDR爱好者之家 Design By 杰米