上下文学习调查：大型语言模型的新范式

关于上下文学习的调查\n董青秀、李磊、戴大麦、郑策、吴志勇、常宝宝、孙旭、徐京京、李磊、隋志芳\n随着大型语言模型（LLMs）的能力增强，上下文学习（ICL）已成为自然语言处理（NLP）的一种新范式，其中LLMs仅基于与少量示例增强的上下文进行预测。探索ICL以评估和推广LLMs的能力已成为一种新趋势。本文旨在调查和总结ICL的进展和挑战。我们首先提出ICL的正式定义，并阐明其与相关研究的相关性。然后，我们组织和讨论先进的技术，包括训练策略、演示设计策略以及相关分析。最后，我们讨论ICL的挑战，并提供进一步研究的潜在方向。我们希望我们的工作能够鼓励更多的研究，揭示ICL的工作原理并改进ICL。\n备注：收集的论文截至2023年5月22日\n主题：计算与语言（cs.CL）；人工智能（cs.AI）\n引用为：arXiv:2301.00234 [cs.CL]\n（或arXiv:2301.00234v3 [cs.CL]适用于此版本）\n\nhttps://doi.org/10.48550/arXiv.2301.00234\n专注于更多学习