大型语言模型的惊人能力：参数量、数据质量和推理能力的影响

举例来说，仅有数百万个参数的模型不能成功完成三位数加法或两位数乘法问题，但是对于拥有数十亿个参数的模型，一些模型的准确性会急剧提高。对于其他任务，如解码国际音标、拼出单词、识别'Hinglish'（一种印地语和英语的混合语）段落中的冒犯内容以及生成'Kiswahili'谚语的英语表述等，也会出现类似的跃升。

简介 但研究人员很快意识到，模型的复杂性并不是唯一的驱动因素。如果数据质量足够高，一些数据较小的模型也可以发挥出意想不到的能力，或者是在数据集较小的情况下进行训练。此外，查询的措辞也影响了模型响应的准确性。例如，当Dyer和他的同事们使用多项选择格式提出电影表情符号任务时，准确性的提高不是一个突然的跃升，而是随着复杂度的增加而逐渐增加。去年，在NeurIPS这个领域的旗舰会议上，Google Brain的研究人员展示了一个能够解释自身（称为链式思维推理能力）的模型能够正确解决数学应用题，而没有这个提示的同样的模型则不能。