• token.text: 表示token的文本内容,类型为字符串。
  • token.has_vector: 表示token是否有对应的词向量,类型为布尔值。
  • token.vector_norm: 表示token的词向量的L2范数,类型为浮点数。
  • token.is_oov: 表示token是否是未知词(Out of Vocabulary),即是否在词向量表中找不到对应的词向量,类型为布尔值。

这些属性都是针对单个token的,其中包含的元素如下:

  • token.text: 字符串。
  • token.has_vector: 布尔值。
  • token.vector_norm: 浮点数。
  • token.is_oov: 布尔值。
Spacy 库中 Token 属性详解:text、has_vector、vector_norm、is_oov

原文地址: https://www.cveoy.top/t/topic/jYuD 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录