Tensorflow&Keras下的GPU使用机制

                                     Tensorflow&Keras下的GPU使用机制

• 写在前面：文章出自于https://ibz.bz/2019/05/17/787053.html，感谢原作者的贡献。
• 写作目的：结合自己踩过的坑，查了太多解决方案，记点笔记。

1.问题描述

        在使用TensorFlow&Keras通过GPU进行加速训练时，有时在训练一个任务的时候需要去测试结果，或者是需要并行训练数据的时候就会显示OOM显存容量不足的错误。以下简称在训练一个任务的时候需要去测试结果，或者是需要并行训练数据为进行新的运算任务。

         首先介绍下TensorFlow&Keras GPU使用的机制：TensorFlow&Keras会在有GPU可以使用时，自动将数据与运算放到GPU进行训练（这个不同于MXNet与PyTorch处理方式不同，MXNet与PyTorch需要手动编程去指定数据与运算的Device，这里不讨论这些方法之间的优劣，选择适合自己的就好了），默认充满GPU所有显存。 所以当用户在运行一个运算任务时会占据所有显存，如果再去开启一个新任务就会内存不足，引起OOM显存容量不足的错误。

2.问题分析

通过对上述问题解读，应该可以通过以下的方法解决：

• 当一个训练任务默认占据所有GPU显存的时候，可以使用CPU进行新的任务（这显然不是最优方法，使用CPU进行新的任务速度会很慢）
• 当一个训练任务默认占据所有GPU显存的时候，用户可以设定此任务占用的GPU显存大小，现在再使用GPU进行新的任务时，就可以并行运行了
• 如果有多个GPU可以默认指定任务在不同GPU上。

3.解决方案

1. 解决方法一：使用CPU进行新的任务

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '-1' 
 
# 打印 TF 可用的 GPU
print(os.environ['CUDA_VISIBLE_DEVICES'])
 
# -1 表示不使用GPU

自测：治标不治本的方法，不使用GPU，只使用CPU，就不报错了。但是只使用CPU进行新的任务速度会很慢，尤其是大规模预训练模型的任务处理，慢得想捶电脑！

2. 解决方法二：设定任务占用的GPU显存大小

        如果GPU资源有限，这个解决方案适合你。

        由于TensorFlow&Keras运行一个运算任务时会占据所有显存，其实有时并没有用到那么多。这样做也会有点问题就是，单个任务会变慢一点，笔者测试结果是在使用上述方法并行运行两个单个任务速度变为0.8左右，但是换来了可以运行两个任务，还是很值得的。（推测变慢的原因是两个任务并行运算时，对GPU压力更大，每个任务上分配的性能就会降低，类似于在电脑上跑多个任务，电脑会卡顿）

         这样做要注意一点，在分配显存空间后，模型训练占据的内存要设置好（这个是指实际占用内存，可以通过修改batch_size来控制），不要超出你所分配的大小，不然会有不期望的结果出现。具体操作如下：

import tensorflow as tf

# 在开启对话session前，先创建一个 tf.ConfigProto() 实例对象
gpuConfig = tf.ConfigProto(allow_soft_placement=True)

# 限制一个进程使用 60% 的显存
gpuConfig.gpu_options.per_process_gpu_memory_fraction = 0.6

# 把你的配置部署到session  变量名 sess 无所谓
sess1 =tf.Session(config=gpuConfig)

# 这样，如果你指定的卡的显存是2000M的话，你这个进程只能用1200M。

自测：这里我没做实验，和同事讨论过，确实是这样，所以延用原作者的结果。

输出结果（with 1228 MB memory，代表使用1228 MB，这与设置的0.6 * 2000相符）

Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 1228 MB memory) ->

physical GPU (device: 0, name: GeForce MX150, pci bus id: 0000:01:00.0, compute capability: 6.1)

3. 解决方法三：多个GPU指定在不同GPU运行

        如果GPU资源充足，这个解决方案适合你。

        把不同任务放置在不同GPU上，要注意如果是和同事共用，要约定好如何分配，免得大家都用了同一个（尤其是研究生期间实验室的GPU资源）。设置方法与方法一类似。-1代表不使用，0代表第一个，1代表第二个。以两个GPU举例，第一个任务开头可以使用如下，第二个任务就把0改为1，多个GPU方法类似。注意一点要放置在开头位置。

import os

os.environ['CUDA_VISIBLE_DEVICES'] = '0'

# 打印 TF 可用的 GPU
print(os.environ['CUDA_VISIBLE_DEVICES'])

# -1 表示不使用GPU 0代表第一个

如果多于两个GPU，想在某个任务设置多个GPU，可以使用下述方法：

import os
 
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1'
 
# 打印 TF 可用的 GPU
print(os.environ['CUDA_VISIBLE_DEVICES'])
 
# -1 表示不使用GPU 0代表第一个