清除GPU存储
有时 Control-C 中止运行后 GPU 存储没有及时释放，需要手动清空。
1 Pytorch代码
在 PyTorch 内部可以
1 | torch.cuda.empty_cache() |
2 命令行
在命令行可以先使用 ps 找到程序的 PID，再使用 kill 结束该进程
1 | ps aux | grep python kill -9 [pid] |
3 Nvidia重置
直接重置没有被清空的 GPU
1 | nvidia-smi --gpu-reset -i [gpu_id] |
补充：设置为 cuDNN benchmark 模式
Benchmark 模式会提升计算速度，但是由于计算中有随机性，每次网络前馈结果略有差异
1 | torch.backends.cudnn.benchmark = True |
如果想要避免这种结果波动，设置
1 | torch.backends.cudnn.deterministic = True |