Despite the impressive results on controlled benchmarks a critical drawback arises the larger the training set the less control over the data With toxic content easily accessible on the Internet model

尽管在受控基准测试中取得了令人印象深刻的结果，但存在一个关键缺点：训练集越大，对数据的控制就越少。由于互联网上有大量的有害内容，使用未经筛选的数据集训练的模型更容易学习到有害的世界表征，包括社会偏见，这导致模型在不同社会人口群体中表现出不同的性能[57]。获取不公平的表征的风险很高，因为在训练有偏见的数据集上训练的模型不仅学会复制偏见，而且通过使预测比原始数据更有偏见来放大偏见[22, 53, 56]。当模型在现实世界中使用时，这种情况就变得有害了[10]。 手动注释的数据集[16,30]已被证明受到社会偏见的影响[21,32,60,61]，但在自动抓取的数据集中，这个问题变得更加严重[8,9]。为了克服社会偏见，公平协议必须同时包括在数据集和模型开发阶段。数据分析[8,9,21,32,52,58]、评估指标[22,40,53]，以及其他技术手段可以用于检测和减轻偏见。