torchcudaOutOfMemoryError CUDA out of memory Tried to allocate 102400 MiB GPU 0; 300 GiB total capacity; 146 GiB already allocated; 41628 MiB free; 198 GiB reserved in total by PyTorch If reserved mem

以上错误提示是CUDA内存不足错误。程序尝试分配1024.00 MiB的内存，但GPU只有3.00 GiB的总容量，已经分配了1.46 GiB的内存，剩余416.28 MiB可用内存。此外，PyTorch总共保留了1.98 GiB的内存。如果保留内存远大于分配内存，可以尝试设置max_split_size_mb参数来避免内存碎片化。可以参考PyTorch的内存管理文档和PYTORCH_CUDA_ALLOC_CONF了解更多信息。