人口属性注释挑战与解决方案：感知与客观性的平衡

从图像中手动注释人口属性存在许多挑战，如[3]中详细讨论的那样。外部观察者感知到的属性可能与被注释人的真实属性不一致。此外，某些属性的定义，如与种族或种族相关的属性，是模棱两可和主观的[20]。尽管如此，人口属性的注释对于衡量数据集或模型输出的不平衡程度至关重要。我们试图通过首先向注释人员和潜在用户澄清注释不对应于真实属性而是感知属性，以及通过收集每个样本的多个注释来减轻主观性的影响，并使用两个与种族相关的属性而不是一个，并分享匿名注释者的属性以揭示注释者背景与其感知之间的潜在相关性来缓解这些问题。