python 推理函数执行完毕后如何手动释放显存

在 Python 中，可以使用 torch.cuda.empty_cache() 函数手动释放显存。这个函数将会清空 PyTorch 的缓存，包括已经分配但未使用的显存。使用方法如下：

import torch

# 执行推理函数

# 手动释放显存
torch.cuda.empty_cache()

需要注意的是，手动释放显存可能会导致性能下降，因为下次使用时需要重新分配显存。因此，建议在不必要的情况下不要手动释放显存，让 PyTorch 自动管理显存。