解决Python代码报错: NameError: name 'AutoTokenizer' is not defined

这段代码报错是因为代码中没有导入 AutoTokenizer。请确保在代码的开头添加以下导入语句：

from transformers import AutoTokenizer

这样就可以使用 AutoTokenizer 了。

示例代码:

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('./rbt3')

def process_function(data):
    process_data = tokenizer(data['review'], max_length = 128, truncation = True)
    process_data['labels'] = data['label']
    return process_data

注意:

• 确保您已经安装了 Transformers 库: pip install transformers
• './rbt3' 是您预训练模型的路径，请根据实际情况进行修改。