Spacy库Token对象属性详解：token.text, token.has_vector, token.vector_norm, token.vector, token.is_oov

Spacy库Token对象属性详解：token.text, token.has_vector, token.vector_norm, token.vector, token.is_oov

Spacy库中的Token对象是文本处理的核心，它表示文本中的一个单词或标点符号。Token对象包含多个属性，其中五个重要属性是：

1. token.text: 表示token的文本内容，包含标点符号和空格等。
2. token.has_vector: 表示token是否有对应的词向量。如果有，返回True；如果没有，返回False。
3. token.vector_norm: 表示token的词向量的L2范数。
4. token.vector: 表示token的词向量，为一个一维数组。
5. token.is_oov: 表示token是否为未登录词（Out of Vocabulary）。如果是，返回True；如果不是，返回False。

基本属性: token.text和token.is_oov是Token对象的基本属性，无论是否使用预训练词向量模型，它们都存在。

高级属性: token.has_vector、token.vector_norm和token.vector是Token对象的高级属性，需要使用预训练的词向量模型进行初始化，例如en_core_web_md或en_core_web_lg等模型。

理解这些属性能够帮助你更好地理解Spacy库的运作机制，并更有效地进行文本分析和处理。