DDR爱好者之家

keras实现多GPU或指定GPU的使用介绍
站长资源 2024/11/24 佚名
28 1538
DDR爱好者之家 Design By 杰米

1. keras新版本中加入多GPU并行使用的函数

下面程序段即可实现一个或多个GPU加速：

注意：使用多GPU加速时，Keras版本必须是Keras2.0.9以上版本

from keras.utils.training_utils import multi_gpu_model  #导入keras多GPU函数
import VGG19   #导入已经写好的函数模型，例如VGG19

if G <= 1:
  print("[INFO] training with 1 GPU...")
  model = VGG19（）

# otherwise, we are compiling using multiple GPUs
else:
  print("[INFO] training with {} GPUs...".format(G))
  # we'll store a copy of the model on *every* GPU and then combine
  # the results from the gradient updates on the CPU
  with tf.device("/cpu:0"):
    # initialize the model
    model1 = VGG19（）
    # make the model parallel(if you have more than 2 GPU)
    model = multi_gpu_model(model1, gpus=G)

2.指定使用某个GPU

首先在终端查看主机中GPU编号：

watch -n -9 nvidia-smi

查询结果如下所示：

keras实现多GPU或指定GPU的使用介绍

显示主机中只有一块GPU，编号为0

2.1 下面方法是直接在终端运行时加入相关语句实现指定GPU的使用

export CUDA_VISIBLE_DEVICES=0 python test.py
# 表示运行test.py文件时，使用编号为0的GPU卡
export CUDA_VISIBLE_DEVICES=0,2 python test.py
# 表示运行test.py文件时，使用编号为0和2的GPU卡

2.2 下面方法是在Python程序中添加 

import os
# 使用第一张与第三张GPU卡
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 2"

补充知识：踩坑记----large batch_size cause low var_acc

有时候，我们在训练模型前期，会出现很高的train_acc(训练准确率),但var_acc（验证准确率）却很低。这往往是因为我们模型在训练过程中已经进入局部最优，或者出现过拟合的现象。造成这种情况有多种原因，我只提出以下几点，有补充的可以在下面留言，我补充。

（1）.训练数据分布不均匀，可能你的训练数据某一类别占据了大多数，比如95%的数据为苹果，5%的数据为其他类别，那么模型为了拟合训练数据，则模型会偏袒于把识别结果归属于苹果，而验证集的数据是正常的，那么便会出现高train_acc，低val_acc。

（2）.训练数据没有shuffle，那么整个batch里面将会是同一个类别数据，比如都为苹果的图片，那么训练一个batch，那么模型输出将会往这一类别靠拢，会形成一个很高的acc的假象，但这个模型泛化能力却很低，因为这个模型都只会为了拟合这批同类的数据。

（3）.训练集跟验证集的预处理不一致，这个是细节问题，输入的图片分布不一致，那么必然会影响到验证结果。

（4）.模型过于复杂，造成过拟合现象，特别是在于训练数据集不多的情况下，更容易出现过拟合。

（5）.这个也是最难发现的，就是过大的batch_size，造成训练前期，模型还未收敛，出现很高的train_acc，却有很低的val_acc，亲测，在120个类别，参数只有七万的分类模型中，在batch-size等于64的情况下，在第二个epoch时，train_acc达到80%，val_acc却只有6%，train_loss跟val_loss也是相差很大，而在batch_size在等于8的情况下，在第二个epoch，train_acc跟val_acc皆能达到60%，且还有上升的趋势。至于为什么，个人认为，模型在大的batch_size的情况下，模型泛化能力下降，且更难拟合，每个epoch所包含的step也更少，且在adam的优化算法，前期的学习率较高，模型出现了振荡，一直在局部最优值徘徊，具体原因不知。

接下来分析下，batc_size对模型的影响：

large batch_size:

好处：训练的更快，每一step都包含更多的训练集，模型准确率会更高，不容易受到噪声的影响，稳定性更好。

small batch_size:

好处：不容易陷入局部最优，泛化能力更强。

总结：

（1）.large batch_size，虽然训练模型的训练误差会更低，但往往在execute的时候，效果却不尽人意。

（2）.在时间允许的情况下，建议batch_size在32或以下。

以上这篇keras实现多GPU或指定GPU的使用介绍就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

DDR爱好者之家 Design By 杰米
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
DDR爱好者之家 Design By 杰米
ddrfans.com DDR爱好者之家
8,675无损音乐
1,324高清电影
213破解软件
70,141收录资讯

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。

《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。

更新日志

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网
DDR爱好者之家 Design By 杰米