LlamaTokenizer 旧版行为导致模型权重加载错误

您正在使用< class 'transformers.models.llama.tokenization_llama.LlamaTokenizer'>的旧版行为。这意味着在特殊标记之后的标记将无法正确处理。我们建议您阅读相关的拉取请求，网址为https://github.com/huggingface/transformers/pull/24565

根据您提供的错误信息，您还需要提供一个offload_folder来加载模型的权重。另外，如果您使用的模型以此格式提供权重，请确保已安装safetensors。

您可以按照提供的建议操作，以解决您遇到的问题。