用GPU跑深度学习的时候显存溢出 RuntimeError: CUDA out of memory

hxh207

3362人浏览 · 2022-10-29 20:54:15

hxh207 · 2022-10-29 20:54:15 发布

用GPU跑深度学习的时候显存溢出

2022.10.29 本文记录一次跑深度学习时显存溢出的情况

在本机（windows、NVIDIA GeForce RTX 3060、6G显存）跑图算法时显存溢出，如下：

在这里插入图片描述
这里显示我的显存总共6G，跑该代码需要3.45G，但留给PyTorch的只剩3.65G，比所需要的并未超出多少，所以会出现显存溢出的情况。

我的解决办法是：

首先，缩小batch_size，原来是10，现在缩小为5来进行训练：

在这里插入图片描述

然后，我在每个epoch训练后加入清理缓存的操作，即

torch.cuda.empty_cache()

在这里插入图片描述

做完上述两步即可正常运行了。

另外，要注意的一点是，在test或者validate的时候，是不需要计算存储梯度参数值的，所以记得使用：with torch.no_grad():循环

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

2026 国产机器人综合实力 TOP10 榜单出炉，人形机器人领跑行业

宇树科技 Unitree H1 以 96.8 分登顶，运动控制与全身协同能力突出；榜单同时覆盖工业、协作、商用服务机器人，达阔、擎朗、节卡、新松、埃斯顿、越疆、普渡成功上榜。近日，中国机器人产业研究院（CRII）发布 2026 年度国产机器人综合实力 TOP10 权威榜单，从技术创新、产品性能、市场表现等五大维度完成评估。可以看到，国内机器人赛道百花齐放，人形机器人商业化加速落地，工业机器人核心自

DAMO开发者矩阵

Skild AI带着Physical Self-Play来了！想把 AlphaGo 那套搬到物理 AI 中。

DAMO开发者矩阵

微信机器人还能怎么升级？个人微信API接口结合AI决策能力的应用探索

微信机器人升级到结合AI决策能力，最大风险不是决策做错，是不分场景让AI自主决策。查物流AI自主决策没问题，错了重查就行；退款审批AI自主决策，错了钱退不回来。区别在于决策可不可逆——可逆决策AI自主，不可逆决策AI建议人工确认。升级的关键不是让AI决策能力多强，是划清AI自主决策和人工确认的边界，边界由决策可逆性和风险等级决定，而非由AI能力决定。