如果您的电脑没有CUDA,那么调用.cuda()方法会报错。您可以尝试以下方法:

  1. 从预训练模型中加载模型,但是不调用.cuda()方法,即不将模型显式地移动到GPU上。这样会将模型加载到CPU上,但是可能会影响模型的运行速度。
model = AutoModel.from_pretrained('THUDM/chatglm-6b', trust_remote_code=True).half()
  1. 使用torch.device指定模型的device为CPU。这样也可以将模型加载到CPU上。
import torch

device = torch.device('cpu')
model = AutoModel.from_pretrained('THUDM/chatglm-6b', trust_remote_code=True).half().to(device)

无论哪种方法,都可以将模型加载到CPU上运行。但是需要注意的是,如果您的CPU性能较低,可能会影响模型运行速度。

没有CUDA情况下,如何在Transformer模型库中加载ChatGLM-6B模型

原文地址: https://www.cveoy.top/t/topic/nRQq 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录