模型复杂度与性能：参数规模、数据质量和查询措辞的影响

例如，仅拥有数百万参数的模型无法成功完成三位数加法或两位数乘法问题，但对于拥有数十亿参数的模型，某些模型的准确性会有所提高。类似的提升也出现在其他任务中，包括解码国际音标、解密单词的字母顺序、识别混合了印地语和英语的段落中的冒犯性内容以及生成与斯瓦希里语谚语类似的英语翻译。

简介

然而，研究人员很快意识到，模型的复杂性并非唯一的决定因素。如果数据质量足够高，即使是拥有较少参数或小型数据集的模型，也能挖掘出一些意想不到的能力。此外，查询的措辞也会影响模型响应的准确性。例如，当Dyer和他的同事使用多项选择格式提出电影表情符号任务时，准确性的提高不是突然跳跃，而是随着更多复杂性的逐渐增加。去年，在神经信息处理系统大会（NeurIPS）上，Google Brain的研究人员展示了如何让一个模型解释自己（一种称为思维链推理的能力），该模型可以正确解决数学问题，而没有这个提示的同一模型则不能。