注释者人口统计和注释者间一致性分析

注释者人口统计

为了解参与数据标注的注释者群体特征，我们进行了一项调查，收集了他们的年龄、性别、国籍和肤色信息。

调查问题:

• 年龄: 以输入文本框的形式收集。* 性别: 以多选表单的形式收集，选项包括男性、女性、非二元和其他。* 国籍: 以输入文本框的形式收集。* 肤色类型: 以多选表单的形式收集，根据菲茨帕特里克标度提供六个选项。

统计结果: (如图3所示)

• 年龄: * 9.5% 的注释者年龄低于30岁。 * 88.1% 的注释者年龄介于30至64岁之间。 * 2.4% 的注释者年龄超过65岁。* 性别: * 42.9% 的注释者为女性。 * 57.1% 的注释者为男性。 * 没有其他性别被报告。* 肤色: * 大多数注释者的肤色类型为浅色 (类型1、2和3)。 * 14.3% 的注释者肤色类型为4、5或6。* 国籍: * 73.8% 的注释者来自美国。 * 20.2% 的注释者来自印度。 * 其他国籍包括巴西、英国、欧洲和中国，每个国家各有一名注释者。

注释者之间的一致性

为了评估数据标注的可靠性，我们使用注释者之间的一致性来衡量不同注释者对属性的感知程度。我们采用了以下两种指标:

• 3+ 和 2+: 分别表示三个或更多注释者，以及两个或更多注释者达成一致意见的区域比例。* Fleiss' kappa (κ): 一种统计指标，用于衡量多个评价者之间的一致性程度。根据 [49] 中的标准，我们根据 κ 值设置协议等级。

表2 展示了训练集中的注释者之间的一致性结果。'标签' 列表示类别数量加上不确定类别 (+1)。

结论: 通过分析注释者的人口统计特征和他们之间的一致性，我们可以更好地理解数据标注过程中的潜在偏差和可靠性。这对于确保高质量的数据集和可靠的机器学习模型至关重