多轮标注法：利用裁剪区域和完整图像收集感知属性

在前两轮中，我们向工人展示被裁剪的区域，以避免上下文被用来预测人口属性[6]。在最后一轮中，由于上下文是必要的，我们向工人展示了带有感兴趣人物周围边界框的完整图像。我们要求他们从给定的列表中选择感知到的属性。对于所有轮次，每个区域都由三个不同的工人注释。为了确保质量，我们对注释样本进行随机验证。

工人必须满足三个条件：1）成为Masters，这是平台授予具有高质量工作的工人的资格，2）按照我们的机构审查委员会批准的同意书同意，3）进行一项调查以收集工人的人口统计数据。由于工人自身的属性可能会影响对属性的感知[15]，我们对工人的调查进行了匿名处理，并与其余的注释一起发布。