NLP使用SST-2数据集实例通过应用NLTK中的函数word tokenize 0将每个数据集转换为单个令牌列表 计算Word probability
首先,我们需要导入必要的库和数据集:
import nltk
from nltk.tokenize import word_tokenize
from nltk.probability import FreqDist
from nltk.corpus import stopwords
nltk.download('punkt')
nltk.download('stopwor