GPU的显存占用和算力利用直接影响模型的训练速度

显存一直占用，但是显卡使用率大多数情况为0

GPU利用率低问题

1.提高线程数

2.打开

# 在pytorch 加载数据时提高线程数，打开pin_memory
torch.utils.data.DataLoader(image_datasets[x],
                            batch_size=batch_size, 
                            shuffle=True,
                            num_workers=8,
                            pin_memory=True)

3.数据预处理占用比较久

中的数据预处理

    # dict(
    #     type='Expand',
    #     mean=img_norm_cfg['mean'],
    #     to_rgb=img_norm_cfg['to_rgb'],
    #     ratio_range=(1, 2)),
    # dict(
    #     type='MinIoURandomCrop',
    #     min_ious=(0.4, 0.5, 0.6, 0.7, 0.8, 0.9),
    #     min_crop_size=0.3),

这部分注释掉会比较快

暂时不知道如何处理

参考链接：

模型训练 GPU利用率低，占用低怎么破 gpu使用低-Ning的博客-CSDN博客

using too much cpu · Issue #4488 · open-mmlab/ ·

训练加速--一个可能忽视的细节（也一样），为什么显卡使用率老是为0？的博客-CSDN博客

深度学习训练时GPU利用率忽高忽低如何解决？ - 知乎 ()

【深度学习】踩坑日记：模型训练速度过慢，GPU利用率低_模型跑的慢的原因-CSDN博客

深度强化学习遇到问题：模型训练速度过慢、GPU利用率较低，CPU利用率很低问题总结与分析。 - 知乎 ()