DDR爱好者之家

Keras 实现加载预训练模型并冻结网络的层
站长资源 2024/11/16 佚名
60 1538
DDR爱好者之家 Design By 杰米

在解决一个任务时，我会选择加载预训练模型并逐步fine-tune。比如，分类任务中，优异的深度学习网络有很多。

ResNet, VGG, Xception等等... 并且这些模型参数已经在imagenet数据集中训练的很好了，可以直接拿过来用。

根据自己的任务，训练一下最后的分类层即可得到比较好的结果。此时，就需要“冻结”预训练模型的所有层，即这些层的权重永不会更新。

以Xception为例：

加载预训练模型：

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))

include_top = False : 不包含顶层的3个全链接网络

weights : 加载预训练权重

随后，根据自己的分类任务加一层网络即可。

网络具体参数：

model.summary

得到两个网络层，第一层是xception层，第二层为分类层。

由于未冻结任何层，trainable params为：20, 811, 050

Keras 实现加载预训练模型并冻结网络的层

冻结网络层：

由于第一层为xception，不想更新xception层的参数，可以加以下代码：

model.layers[0].trainable = False

Keras 实现加载预训练模型并冻结网络的层

冻结预训练模型中的层

如果想冻结xception中的部分层，可以如下操作：

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))
for i, layer in enumerate(model.layers[0].layers):
 if i > 115:
 layer.trainable = True
 else:
 layer.trainable = False
 print(i, layer.name, layer.trainable)

Keras 实现加载预训练模型并冻结网络的层

Keras 实现加载预训练模型并冻结网络的层

加载所有预训练模型的层

若想把xeption的所有层应用在训练自己的数据，并改变分类数。可以如下操作：

model = Sequential()
model.add(Xception(include_top=True, weights=None, classes=NUM_CLASS))

* 如果想指定classes，有两个条件：include_top：True， weights：None。否则无法指定classes

补充知识：如何利用预训练模型进行模型微调（如冻结某些层，不同层设置不同学习率等）

由于预训练模型权重和我们要训练的数据集存在一定的差异，且需要训练的数据集有大有小，所以进行模型微调、设置不同学习率就变得比较重要，下面主要分四种情况进行讨论，错误之处或者不足之处还请大佬们指正。

（1）待训练数据集较小，与预训练模型数据集相似度较高时。例如待训练数据集中数据存在于预训练模型中时，不需要重新训练模型，只需要修改最后一层输出层即可。

（2）待训练数据集较小，与预训练模型数据集相似度较小时。可以冻结模型的前k层，重新模型的后n-k层。冻结模型的前k层，用于弥补数据集较小的问题。

（3）待训练数据集较大，与预训练模型数据集相似度较大时。采用预训练模型会非常有效，保持模型结构不变和初始权重不变，对模型重新训练

（4）待训练数据集较大，与预训练模型数据集相似度较小时。采用预训练模型不会有太大的效果，可以使用预训练模型或者不使用预训练模型，然后进行重新训练。

以上这篇Keras 实现加载预训练模型并冻结网络的层就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

DDR爱好者之家 Design By 杰米
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
DDR爱好者之家 Design By 杰米
ddrfans.com DDR爱好者之家
8,675无损音乐
1,324高清电影
213破解软件
70,141收录资讯

RTX 5090要首发 性能要翻倍！三星展示GDDR7显存

三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。

首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。

据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。

更新日志

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网
DDR爱好者之家 Design By 杰米