没有CUDA情况下,如何在Transformer模型库中加载ChatGLM-6B模型
如果您的电脑没有CUDA,那么调用.cuda()方法会报错。您可以尝试以下方法:
- 从预训练模型中加载模型,但是不调用
.cuda()方法,即不将模型显式地移动到GPU上。这样会将模型加载到CPU上,但是可能会影响模型的运行速度。
model = AutoModel.from_pretrained('THUDM/chatglm-6b', trust_remote_code=True).half()
- 使用torch.device指定模型的device为CPU。这样也可以将模型加载到CPU上。
import torch
device = torch.device('cpu')
model = AutoModel.from_pretrained('THUDM/chatglm-6b', trust_remote_code=True).half().to(device)
无论哪种方法,都可以将模型加载到CPU上运行。但是需要注意的是,如果您的CPU性能较低,可能会影响模型运行速度。
原文地址: https://www.cveoy.top/t/topic/nRQq 著作权归作者所有。请勿转载和采集!