针对data垃圾邮件数据集纯文本字母第一列type第二列texttype中ham为非垃圾邮件spam为垃圾邮件怎么使用python对数据集进行数据清洗显示是否为垃圾邮件的检测关键字词并可以自行添加新的关键词进行新的预测

1. 导入数据集

首先需要将数据集导入Python中。假设数据集的文件名为spam.csv，可以使用pandas库中的read_csv函数读取该文件：

import pandas as pd

data = pd.read_csv('spam.csv')

2. 数据清洗

在数据清洗阶段，需要去除数据集中的无用信息、处理缺失值、重复值等。在本例中，可以先去除第一列type，因为我们只需要text列中的文本信息。

data.drop(['type'], axis=1, inplace=True)

3. 关键词提取

接下来需要提取文本中的关键词。可以使用nltk库中的word_tokenize函数将文本分词，并使用nltk库中的stopwords集合去除停用词。然后可以使用Python中的Counter函数统计每个单词出现的次数，并按照出现次数从高到低排序。

import nltk
from nltk.corpus import stopwords
from collections import Counter

# 下载停用词
nltk.download('stopwords')

# 去除停用词
stop_words = set(stopwords.words('english'))

# 分词并去除停用词
words = []
for text in data['text']:
    tokens = nltk.word_tokenize(text)
    words += [word.lower() for word in tokens if word.isalpha() and word.lower() not in stop_words]

# 统计单词出现次数
word_count = Counter(words)

# 按照出现次数从高到低排序
sorted_words = sorted(word_count.items(), key=lambda x: x[1], reverse=True)

4. 关键词筛选

接下来需要根据关键词判断邮件是否为垃圾邮件。可以通过观察数据集中垃圾邮件和非垃圾邮件中出现频率较高的单词，将它们作为垃圾邮件和非垃圾邮件的判断关键词。在本例中，可以选择出现次数最多的前100个单词作为判断关键词。

# 选择出现次数最多的前100个单词作为判断关键词
keywords = [word[0] for word in sorted_words[:100]]

# 显示判断关键词
print(keywords)

5. 垃圾邮件预测

有了判断关键词后，就可以对新的邮件进行预测了。对于每个邮件，可以统计邮件中出现了多少个判断关键词。如果出现关键词的数量超过了一个阈值（例如30个），就可以将该邮件判断为垃圾邮件。

# 判断关键词出现次数阈值
threshold = 30

# 对每个邮件进行预测
for i, text in enumerate(data['text']):
    # 分词并去除停用词
    tokens = nltk.word_tokenize(text)
    words = [word.lower() for word in tokens if word.isalpha() and word.lower() not in stop_words]
    
    # 统计判断关键词出现次数
    count = sum([1 for word in words if word in keywords])
    
    # 显示预测结果
    if count >= threshold:
        print('邮件{}是垃圾邮件'.format(i))
    else:
        print('邮件{}不是垃圾邮件'.format(i))

6. 添加新的关键词

如果想要添加新的关键词，只需要将新的单词添加到keywords列表中即可。例如，如果想要将“free”和“win”添加为新的关键词，可以使用以下代码：

# 添加新的关键词
keywords += ['free', 'win']
``