TF-IDF 自然语言处理文本重要性衡量指标：示例详解

假设语料库中共有N条语句。\n\n1. 对于词项"今天"，计算TF (Term Frequency)：\n - 在第一条语句中出现1次，TF("今天") = 1\n - 在第二条语句中未出现，TF("今天") = 0\n - 在第三条语句中未出现，TF("今天") = 0\n\n 计算DF (Document Frequency)：\n - 在语料库中出现1次，DF("今天") = 1\n\n 计算IDF (Inverse Document Frequency)：\n - IDF("今天") = log(N / (DF("今天") + 1))\n \n 计算TF-IDF：\n - TF-IDF("今天") = TF("今天") * IDF("今天")\n\n2. 对于词项"NLP"，计算TF：\n - 在第一条语句中未出现，TF("NLP") = 0\n - 在第二条语句中未出现，TF("NLP") = 0\n - 在第三条语句中未出现，TF("NLP") = 0\n\n 计算DF：\n - 在语料库中未出现，DF("NLP") = 0\n\n 计算IDF：\n - IDF("NLP") = log(N / (DF("NLP") + 1))\n \n 计算TF-IDF：\n - TF-IDF("NLP") = TF("NLP") * IDF("NLP")\n\n所以，根据给定的语料库和假设的情况下，"今天"的TF-IDF值为 TF-IDF("今天") = 1 * IDF("今天")，"NLP"的TF-IDF值为 TF-IDF("NLP") = 0 * IDF("NLP").