tokenizer = AutoTokenizerfrom_pretrainedrbt3def process_functiondata process_data = tokenizerdatareview max_length = 128 truncation = True process_datalabels = datalabel return process_data这段
这个错误是因为代码中没有导入AutoTokenizer。请确保在代码的开头添加以下导入语句：
from transformers import AutoTokenizer
这样就可以使用AutoTokenizer了。
原文地址: https://www.cveoy.top/t/topic/iZ7M 著作权归作者所有。请勿转载和采集!