一文读懂 RSI：大模型递归自进化五大技术路线全景解析
原文：https://mp.weixin.qq.com/s/shogmWqsWOZ6XfM40CAVLw
大语言模型（LLM）正从静态预训练工具迈向动态自我演化系统。传统的模型能力提升高度依赖人工标注数据、人工编写提示词以及人工设计智能体（Agent）工作流。当人类专家的调优速度和高质量数据供给触及瓶颈时，递归****自进化（Recursive Self-Improvement，简称 RSI） 成为突破大模型能力上限的核心范式。
本篇从四个维度深度洞察RSI：什么是RSI、何时用RSI、怎么用RSI、RSI分类（典型论文代表与开源框架） 。重点介绍 RSI 的五大技术分类、及其前沿论文与主流开源项目。
什么是 RSI
在人工智能领域，递归自进化（RSI） 是指一个 AI 系统不仅能够自主提升自身的任务表现，还能够改进 ⌈产生这种改进的机制本身⌋，从而形成持续迭代的正向飞轮。
为了通俗理解 RSI，可以将 LLM 系统下的 RSI 划分为三个递进层级（参考 https://github.com/lobehub/awesome-rsi 、 https://arxiv.org/abs/2607.07663 、 https://arxiv.org/abs/2607.07663 ）：
| 演进层级 | 通俗比喻 | 核心特征 | 改了什么 | 是否持久化 |
| 单次自我修正（Self-Refinement） | 学生交卷前自己检查一遍 | 仅针对当前这一道题的输出进行反思和重写，做完即忘 | 当前单次回答文本 | 否（下次遇到同类题还会犯错） |
| 持续自进化（Persistent Self-Improvement） | 学生把错题整理进错题本，下次考试前翻看 | 将成功经验或修正后的策略保存下来，复用到后续的新任务中 | 模型权重、外部记忆库、提示词模板或工具集 | 是（能力改变会保留到下一轮） |
| 递归自进化（Recursive Self-Improvement, RSI） | 学生不仅改错题，还总结并升级了自己的学习方法论 | 改进机制本身也成为被改进的对象；系统优化了自己的优化器、代码结构或学习算法 | 元提示词）、智能体底层源码、训练框架或奖励生成机制 | 是（且改进行为本身会越来越高效） |
简言之，普通 Agent 是人类写好固定程序，大模型调用干活；而具备 RSI 能力的系统是大模型自己写程序、自己造数据、自己评测结果，并用更好的自己去迭代下一代自己。
RSI的适用场景
RSI 并非万能银弹。由于递归迭代需要消耗大量推理算力，且存在越改越偏（模型坍缩或目标漂移）的风险，工程落地前需严格评估场景匹配度。
强烈推荐 RSI 的四大场景
-
拥有客观、可自动验证反馈信号的场景：例如代码生成（能否通过单元测试）、数学定理证明（能否通过形式化验证器）、算法性能优化（运行耗时是否缩短）、游戏与模拟环境交互（得分是否提高）。只要有明确的对错标准，RSI 就能不知疲倦地自我进化。
-
人工设计提示词或工作流陷入瓶颈的复杂系统：当一个复杂 AI 系统包含十几个子模块和工具调用时，人工微调提示词犹如盲人摸象。此时适合用脚手架级 RSI（如 DSPy、TextGrad）自动搜索最优配置。
-
高质量人类标注数据枯竭的垂直领域：当基座模型需要在特定专业领域提升推理能力，但缺乏人工标注数据时，可通过模型级或多智能体 RSI（如 SPIN、R-Zero）实现从零数据的自博弈进化。
-
开放式环境下的长期伴随式任务：例如个人编程助手、桌面操作智能体（OS Agent）或自动化科研助手。系统需要在长达数周的运行中不断积累新工具、新技能和用户偏好（如 Voyager、Letta）。
不建议使用 RSI 的三大场景
-
缺乏可靠评判标准的纯主观任务：例如开放式文学创作、无标准答案的情感闲聊。如果让模型自己评判自己的主观输出（且无外部锚点），极易发生自我迎合（Reward Hacking）和多样性坍缩。
-
对单次响应延迟和Token成本极度敏感的实时业务：真递归进化往往需要成百上千次探索与验证。若业务仅需毫秒级简单分类或单轮问答，固定提示词或常规微调性价比更高。
-
无安全沙箱隔离的高危生产环境：允许自修改代码的智能体，若直接在生产服务器上改写自身逻辑，可能引发死循环、破坏环境或绕过安全限制。
RSI落地五大步
无论采用哪种分类下的 RSI 技术，将一个普通大模型系统改造为递归****自进化系统，一般需要经历以下标准五步：
-
先划清能改什么：别一上来就让系统改自己的源代码。从低风险开始，先只让它改提示词和外部记忆；进阶阶段再开放生成并保存tool；最后才考虑动源码或模型权重。
-
配一个靠谱的裁判：这是整件事的命脉。裁判要尽可能客观，优先用编译器报错、单元测试通过率、沙箱运行结果、基准测试得分。实在要用大模型当裁判，得配上明确的评分细则，或者让多个模型投票，别让它一个人说了算。
-
让提议者对症下药：安排一个元智能体，专门读上一轮的失败日志、得分反馈和历史代码，找出错在哪，然后提出具体修改方案：重写一段代码、改一条提示词，或者造一批更难的题。
-
建⌈版本档案馆⌋，保留多样版本：只保留最新版本容易钻进死胡同。学进化算法的做法（如 Darwin Gödel Machine 或 OpenEvolve），把多个表现不错、各有特点的历史版本都存起来。只有通过验证、确认没有变差的修改，才允许进主分支。
-
第五步：加上⌈预算熔断与防退化护栏⌋：提前定好最大迭代轮数、Token 消耗上限；代码必须跑在 Docker 沙箱里；另外单独留一份测试集，系统看不见、碰不到，专门用来查它是不是在刷分或过拟合。
LLM RSI 应用分类全景图
根据系统在自进化过程中修改的目标对象与进化闭环层级，目前学术界与工业界将 RSI 划分为五大核心类别 （参考 https://github.com/lobehub/awesome-rsi 、 https://arxiv.org/abs/2607.07663 、 https://arxiv.org/abs/2607.07663 ）：
| 分类名称 | 核心修改对象 | 算力****门槛 | 代表性论文 | 开源框架 |
| 模型权重与训练层自进化（Model-Level RSI） | 模型自身参数权重、微调数据与内部奖励信号 | 高（需 GPU 训练） | Self-Rewarding LMs, SPIN, Quiet-STaR, SEAL | SPIN, SEAL, self-rewarding-lm-pytorch |
| 提示词与脚手架程序自进化（Prompt & Scaffold RSI） | 提示词、优化器函数、复合系统文本梯度与工作流拓扑 | 低~中（仅推理 API） | STOP, ADAS, TextGrad, DSPy | DSPy, TextGrad, STOP, ADAS |
| 上下文、记忆与技能库自进化（Context, Memory & Skill RSI） | 外部记忆网络、结构化上下文剧本、可执行技能代码库 | 低（仅推理 API） | Voyager, Reflexion, A-MEM, ACE, MemEvolve | Voyager, Letta, A-MEM, ACE, MemEvolve |
| 能改自己代码的智能体（Self-Modifying Coding RSI） | 智能体自身的底层源码、元优化逻辑与算法实现 | 中（需代码沙箱） | Gödel Agent, DGM, AlphaEvolve, ShinkaEvolve, Hyperagents | Gödel Agent, DGM, OpenEvolve, ShinkaEvolve, HyperAgents |
| 多智能体协同与全自动 AI 研发（Multi-Agent & Auto AI R&D） | 多智能体博弈策略、全流程科研实验与训练代码 | 中~高（视实验规模） | R-Zero, EvoAgentX, The AI Scientist (v1/v2) | R-Zero, EvoAgentX, AI-Scientist-v2, autoresearch |
下面按照这五大分类，逐一拆解每个类别的核心逻辑、代表论文与开源框架。
模型权重与训练层RSI
模型层RSI就是让大模型自己出题、自己答题、自己打分，再用高分数据微调自己，从而更新参数权重，不再依赖人工新数据。适用于手里有开源小模型或中型基座模型（如Llama、Qwen），想提升数学推理、代码或指令遵循能力，但缺高质量标注数据或GPT-4蒸馏数据时。做法是搭一套生成—打分—微调（SFT/DPO/RL）的迭代脚本，每轮微调后的新模型充当下一轮的数据生成器和裁判，循环3到5轮，直到验证集指标收敛。
下面将介绍该方向的典型论文。
Self-Rewarding Language Models（自我奖励语言模型）
-
标题：Self-Rewarding Language Models
-
github：https://github.com/lucidrains/self-rewarding-lm-pytorch
论文来自 Meta AI 团队，发表于 ICML 2024。作者的思考点是：传统的人类反馈强化学习（RLHF）需要训练一个独立的奖励模型（Reward Model）。这个奖励模型一旦训练好就被冻结了，无法跟着主模型一起变强，还会受限于人类标注数据的数量和质量天花板。
作者提出自奖励语言模型：让同一个大模型身兼 运动员（生成回答）和 裁判员（给回答打分）两职，在多轮迭代中同时提升做题能力和判卷能力。每一轮迭代分为三步：① 让当前模型自己生成新的指令题目和多个候选回答；②通过LLM-as-a-Judge提示词，让模型自己给这些候选回答打分，构建出偏好数据集（选出好回答与差回答）；③ 用直接偏好优化（DPO）算法微调模型，得到下一代模型。因为模型变强了，它下一轮当裁判的水平也随之提高，从而形成递归自进化闭环。
论文为LLM的研究提供了新思路：摆脱对人类反馈的依赖，走向持续自我改进。它在做事能力和自我评判能力两条轴上同时进步，为通往超人类水平的训练信号打开了一扇门。作者也坦言这只是开端，仍有大量问题待探索。
SPIN（自博弈微调将弱模型转化为强模型）
-
标题：Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models
这篇论文来自 UCLA 团队，发表于 ICML 2024。监督微调（SFT）依赖人类标注数据，是提升大模型的关键手段。但问题在于：SFT 之后模型仍有明显短板，而继续获取高质量人类标注的成本又极高。能否不增加任何新标注数据，就让弱模型自己长成强模型？这是本文要回答的问题。
论文提出 SPIN（Self-Play Fine-Tuning），灵感来自 AlphaGo 的自我对弈。核心机制是：让当前模型与自己的旧版本对局。具体来说，旧版本模型对同样的提示生成回答，作为负样本；人类标注数据作为正样本。新模型训练目标是分辨两者：把人类数据挑出来，把机器生成的识别出去。每轮训练后，上一轮的新模型又变成下一轮的对手，如此迭代。理论上作者证明了：该训练目标只有当模型分布完全对齐人类数据分布时才达到最优，也就是说这个自博弈过程会不断逼近人类水平。
这项工作证明自我对弈机制可以迁移到大模型对齐上，充分榨取已有 SFT 数据的潜力。其最大价值在于降低了对昂贵人类标注和 GPT-4 级别外部反馈的依赖，为模型自主进化提供了一条无需专家对手的可行路径。
Quiet-STaR（让语言模型学会在开口前先思考）
-
标题：Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking
论文来自斯坦福团队。此前的 STaR 方法只在问答任务里学习推理：从示例中推断解题理由，再从答对的样本中学习。这种设定太受限了。作者认为，推理其实隐含在几乎所有书面文本中：比如证明里省略的步骤、对话背后的心理推断。理想情况是让模型在任意文本上学习这些未言明的理由，而不局限于问答场景。
Quiet-STaR 是 STaR 的推广：让模型在每个 token 位置生成内心独白，用来解释和预测后续文本。这面临三大挑战：生成续写的计算开销太大、模型起初根本不会生成和利用内部想法、以及需要超越单个 token 的长程预测。对应地，作者提出三项技术：① 逐 token 并行采样，并行生成各位置的思路；② 引入可学习的思考起始与结束标记，让模型自己决定何时思考；③ 扩展的教师强制技术，混合有无思考的路径来训练。整个流程不依赖任务标签，在普通互联网语料上即可继续预训练。
这项工作把推理学习从特定任务解放到任意文本，让模型在预训练阶段就能内化先想后说的习惯。它标志着向更通用、更可扩展的语言模型推理迈出一步，也是后来思维链内化、测试时思考这一技术路线的重要先声。
SEAL（自适配语言模型：自己生成微调指令改写自身权重）
-
标题：Self-Adapting Language Models
论文来自 MIT 团队（Pulkit Agrawal 组）。大模型能力强大但本质上是静态的：训练完成后权重就被冻结，面对新知识、新任务或新示例，缺少自我调整的机制。以往的自适应方案要么靠外挂模块，要么靠辅助网络，模型本身并不参与掌控自己的更新过程。
作者提出 SEAL（Self-Adapting LLMs）框架。核心思想是让模型生成自编辑：面对新输入时，模型自己产出一段生成物，它可以换不同方式重组信息、指定优化超参数，甚至调用工具做数据增强和梯度更新。这些自编辑经过 SFT 后，会转化为持久的权重更新，而不是临时的上下文。为了让模型学会写出有效的自编辑，作者用强化学习来训练：以更新后模型的下游表现作为奖励信号，形成生成自编辑→更新权重→评估效果→改进自编辑的闭环。整个过程不需要任何外挂网络，模型用自己的生成物直接控制自己的进化。
这项工作把模型改造自己从提示层面的上下文学习推进到权重层面，是迈向能自我引导、持续进化的语言模型的重要一步。它暗示未来的模型可能不再只靠人类定期的重训，而是自主决定学什么、怎么学、何时更新自己。
提示词与脚手架RSI
这种做法不改动大模型底层的参数权重，把大模型当成冻结的CPU，而是让大模型自己重写调用它自己的外围控制代码（脚手架Scaffold）和提示词模板。适用于使用闭源商业API（如GPT-4o、Claude 3.5、Gemini）、无法微调权重，但希望在长文档分析、代码生成、多步推理等复杂业务上取得远超单次调用准确率的场景。用法是把人工写Prompt的过程换成编译器优化或进化搜索：你只需定义好输入输出接口和一个评测指标函数，框架就会在后台自动跑几十轮实验，帮你改写出最优的提示词组合与工作流代码。
下面将介绍该方向的代表性论文。
STOP（自授优化器：递归自改进的代码生成）
-
标题：Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation
论文发表于 COLM 2024。当前许多 AI 系统靠脚手架程序工作：用 Python 等语言编写代码，编排多次大模型调用来获得更好的输出。问题是，这些脚手架都由人类手工设计。作者提出的疑问是：能否让模型自己改进这个脚手架，甚至是改进改进器本身？
论文提出 STOP（Self-Taught Optimizer）。首先由人类写一个极简的种子脚手架程序，比如只做最简单的单次提问。接着进入递归循环：把这个脚手架程序本身的源码，连同目标任务的评分函数，一起发给GPT-4，要求它写出一个更强的优化策略代码。实验中，系统自己发明出了集束搜索、遗传算法和模拟退火等复杂脚手架策略。而且每一代新脚手架改写下一代脚手架的效率，都比上一代更高。
ADAS（智能体系统的自动化设计）
-
标题：Automated Design of Agentic Systems
目前研究者投入大量精力，手工设计各种智能体系统。这些系统把基础模型当作模块来组合，比如思维链、自我反思、工具调用等。但机器学习的历史反复证明，人工设计的方案最终会被自动学习的方案取代。现有智能体设计依赖人类直觉，效率低，也难以探索全部可能性。所以问题在于：能否让智能体的设计过程本身实现自动化。
作者提出一个关键思路：用代码来定义智能体。编程语言是图灵完备的，用代码表达智能体理论上可以覆盖任何可能的设计，包括新的提示词、工具使用和工作流。在此基础上，论文提出Meta Agent Search算法：由一个元智能体不断编写和改进新智能体，所有历史发现会存入一个不断增长的档案库，供后续迭代参考。这样，智能体的设计就能像程序一样被持续迭代和进化。
这项工作表明，智能体设计可以像其他机器学习任务一样被自动化。它开辟了一个前景广阔的新方向：让AI自动设计出越来越强大的智能体系统。作者强调，只要在安全的前提下发展，这一方向有望让自动化设计的智能体更好地造福人类。
TextGrad（用文本做自动“微分”）
-
标题：TextGrad: Automatic "Differentiation" via Text
如今的 AI 突破越来越多来自由多个大语言模型和复杂组件组合而成的复合 AI 系统。如何对这类系统进行系统化、自动化的优化，成为最关键的新挑战之一。神经网络早期也面临过同样的困境，直到反向传播和自动微分出现，才让优化变得开箱即用。问题是：能否为复合 AI 系统找到类似反向传播的通用优化方法。
TextGrad 的核心思想是用文本代替数值梯度。在计算图中，大语言模型对各个变量（可以是代码片段、提示词，甚至是分子结构）给出丰富的自然语言改进建议，这些反馈像梯度一样沿图反向传播，逐层指导优化。框架完全沿用 PyTorch 的语法和抽象，用户只需定义目标函数，无需调整任何组件或提示词，即可开箱使用。
TextGrad 证明了文本反馈可以像梯度一样驱动系统优化，为复合 AI 系统提供了通用的优化基础设施。它复用了深度学习中成熟的反向传播思想，大幅降低了智能体系统的优化门槛，为下一代 AI 系统的快速开发奠定了基础。
DSPy（将声明式LM调用编译为自提升流水线）
-
标题：DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines
目前构建语言模型流水线，普遍依赖硬编码的提示词模板。这些模板是冗长的字符串，靠人工反复试验才摸索出来。一旦更换模型或任务，模板往往需要重写，既脆弱又费时。能否像训练神经网络那样，用系统化的方法自动开发和优化语言模型流水线。
DSPy 将语言模型流水线抽象为文本转换图。开发者通过声明式模块描述任务，例如要求答案有据可依，而不必手写具体提示词。这些模块是可参数化的，能够通过收集和使用示范样本来学习。框架配备一个编译器，它会自动优化整条流水线：包括生成优质示范、微调权重、改进****指令等，以最大化用户给定的指标，从而实现流水线的自我改进。
DSPy 证明了语言模型流水线可以像传统机器学习一样声明式编程、自动编译优化，摆脱对手工提示工程的依赖。它显著降低了流水线开发和迁移成本，让小模型也能逼近大模型的表现，为构建可靠的语言模型应用提供了系统化的编程范式。
上下文、记忆与技能库RSI
通俗来说，就是给大模型配一个可自动进化的外挂大脑（动态记忆网络）和一个可自动扩充的工具箱（技能代码库）。每次做完任务，智能体都会自动复盘：做错了，就把教训写进避坑指南；做对了，就把解题代码封装成一个新函数存起来，下次直接调用。什么时候用呢？当智能体需要处理长周期、跨会话的连续任务，比如操作电脑桌面、玩开放世界游戏、长期维护代码库、做个性化智能助手，而且希望避免每次对话重置后又从零开始踩坑时，就该用它。怎么用？在智能体主循环旁边挂载一个反思与归档模块。每次任务结束后，自动触发反思提示词，把经验转化成结构化笔记或可执行的Python函数，存入向量数据库或本地技能文件夹中。
Voyager（基于大语言模型的开放式具身智能体）
-
标题：Voyager: An Open-Ended Embodied Agent with Large Language Models
让智能体在开放世界中持续学习和探索，是具身 AI 的核心难题。传统方法依赖强化学习，需要大量训练且容易灾难性遗忘，学会新技能就忘掉旧技能。现有智能体也难以在没有人类监督的情况下自主设定目标、不断发现新事物。如何构建一个能像人类一样在开放世界中终身学习的智能体。
Voyager 由三个关键组件构成。① 自动课程，由 GPT-4 根据智能体当前状态自动提出合适的探索目标，最大化好奇心驱动。② 可增长的技能库，复杂行为被存储为可执行的代码，需要时检索调用，技能可以组合复用，让能力快速叠加。③ 迭代提示机制，结合环境反馈、执行报错和自我验证来不断改进程序。整个过程通过黑盒方式调用 GPT-4，无需微调模型参数。
Voyager展示了大语言模型可以充当开放世界智能体的大脑，实现无监督的持续探索和技能积累。它把技能以代码形式存起来，好处是可解释、可组合，还天然缓解了遗忘问题。这为构建通用、开放式的终身学习智能体提供了一条新路径。
Reflexion（以语言强化学习驱动的语言智能体）
-
标题：Reflexion: Language Agents with Verbal Reinforcement Learning
大语言模型正被广泛用作智能体，与游戏、编译器、API 等外部环境交互。但传统强化学习要从试错中学习，需要海量训练样本和昂贵的模型微调，代价高、效率低。语言智能体如何快速、低成本地从失败中吸取教训，成为亟待解决的问题。
Reflexion 的核心是用文字反馈代替梯度更新。其工作流程是：① 智能体执行任务，获得环境反馈；② 智能体对自己的表现进行语言反思，总结失败原因和改进方向；③ 反思文本被存入情景记忆缓冲区；④ 在下次尝试时，这份记忆会引导智能体做出更好的决策。该框架非常灵活，反馈信号可以是数值评分或自由文本，来源可以是外部环境，也可以是模型内部模拟。
Reflexion 表面语言本身就是一种高效的学习媒介，无需微调权重即可实现类似强化学习的自我改进。它成本低、即插即用，为语言智能体的快速试错学习提供了全新范式，也启发了后续大量智能体反思机制的研究。
A-MEM（大语言模型智能体的智能体记忆）
-
标题：A-MEM: Agentic Memory for LLM Agents
大语言模型智能体执行复杂任务时，需要记忆系统来利用历史经验。现有系统只具备基础的存储和检索能力，即使引入图数据库，记忆的组织方式依然粗糙。更关键的是，它们的操作和结构都是固定的，难以适应多样化的任务需求。
A-MEM 遵循 Zettelkasten 方法的基本原则，通过动态索引和链接构建互联知识网络。当新记忆加入时：① 系统生成一张结构化笔记，包含上下文描述、关键词和标签等属性；② 分析历史记忆，找出有意义的关联并建立链接；③ 触发记忆演化，新记忆的融入会更新旧记忆的描述和属性，让整个记忆网络持续精炼。整个过程由智能体自主决策，兼具结构化组织与灵活适应性。
A-MEM 把记忆从静态仓库升级为会自我生长的知识网络，记忆之间能自动关联并随新信息演化。这显著提升了智能体利用历史经验的效率，为构建长期运行、持续学习的 LLM 智能体提供了更强大的记忆基础设施。项目代码已开源。
ACE（智能体上下文工程：演化上下文剧本实现自我改进）
-
标题：Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models
智能体和领域推理等应用越来越依赖上下文适配，即用指令、策略或证据修改输入，而不是微调权重。但现有方法存在两大缺陷：① 简洁性偏差，为了精简摘要而丢掉宝贵的领域洞察；② 上下文崩塌，反复重写导致细节被逐渐侵蚀，信息越改越少。
ACE 将上下文视为可演化的操作手册，通过模块化流程持续优化：① 生成器执行任务并产生轨迹；② 反思器从成功与失败中提炼经验教训；③ 整理器将经验以结构化、增量式的条目合并进上下文，避免整段重写。这种增量更新既保留了细节知识，又能利用长上下文模型的能力。ACE 既可离线优化系统提示词，也可在线优化智能体记忆，还能仅凭自然执行反馈学习，无需人工标注。
ACE 能让 LLM 系统以极低开销实现可扩展、高效率的自我改进。它把上下文优化从手工艺术变成工程化流程，为不依赖权重更新的自适应 AI 系统提供了实用范式。
MemEvolve（智能体记忆系统的元进化：连记忆架构本身一起进化）
-
标题：MemEvolve: Meta-Evolution of Agent Memory Systems
自进化记忆系统正在重塑 LLM 智能体的发展模式。以往工作依赖人工设计的记忆架构，用来存储轨迹、提炼经验、合成工具。但这一范式有个根本缺陷：记忆虽能让智能体层面不断进化，记忆架构本身却是静态的，无法根据不同任务自动调整学习机制。
MemEvolve 将进化的对象从经验扩展到记忆架构，让两者协同进化：① 智能体在与环境交互中积累经验性知识；② 框架同时自动优化记忆系统的设计方式，即如何编码、存储、检索、管理记忆。为此，论文还发布了 EvolveLab，一个统一的记忆系统代码库，它把 12 个代表性记忆系统提炼为模块化设计空间，涵盖编码、存储、检索、管理四个维度，为自进化系统提供标准化实现和公平的实验场地。
MemEvolve 把自我进化从经验积累提升到学习机制进化的更高层次，突破了人工记忆架构静态僵化的瓶颈。配合开源的 EvolveLab，它为未来开放式自进化智能体系统奠定了统一的基础设施和研究范式。
Letta（原 MemGPT，状态化自演化智能体平台）
Letta（原名MemGPT）是一个用于构建有状态****智能体的平台，核心特点是让AI具备高级记忆能力，能够随时间学习和自我改进。
项目当前活跃代码位于 letta-ai/letta-code，包含智能体运行框架、交互式终端UI、App Server、频道集成和运行时。通过 Docker 或 pip install letta 启动服务，创建 Agent 后，它会自动利用内置的 core_memory_replace 和 core_memory_append 工具在长期运行中持续更新对用户和任务的认知。
自我指向与代码自修改RSI
这是最接近图灵机自指涉、也最贴近硬核奇点****假说的一类RSI。智能体拥有最高权限，能读取和修改自己运行源码（或目标核心算法源码）。运行中它直接打开自己的.py代码文件，打补丁、加功能、重构自己的优化逻辑，再用新版本的自己继续修改下一代自己。
什么时候用？一是要解决极具挑战性的软件工程任务，比如SWE-bench级别的复杂代码库修复，现有固定逻辑的编程Agent频频卡壳；二是要探索未知的数学构造、底层算子优化或全新算法，比如更快的矩阵乘法、编译器调度策略。
怎么用？必须在Docker沙箱或隔离虚拟环境里运行。给定初始智能体源码（或待进化算法模板）和自动化评测脚本，启动“自检源码→提交Git补丁→跑基准测试验证→择优保留分支”的进化循环。
Gödel Agent（递归自我改进的自指式智能体框架）
-
标题：Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement
大语言模型大幅提升了 AI 智能体的能力。但现有智能体系统，无论是固定流水线还是预定义的元学习框架，都受限于人工设计的组件，无法搜索整个智能体设计空间，因此可能错过全局最优的设计。
Gödel Agent 的核心是自我指涉：智能体能够审视并改写自己的运行逻辑。① 智能体通过运行时环境获得对自身架构的完整访问权限；② 它仅需接收高层目标作为提示，自主决定如何修改自身的策略和行为；③ 修改后的智能体继续运行、继续改进，形成递归自我提升循环。整个过程不依赖预定义的优化算法或固定流程，进化方向完全由智能体自己决定。
Gödel Agent 验证了递归自我改进的可行性：智能体可以成为自己改进的主体，而非被改进的对象。这为探索完整智能体设计空间提供了新思路，同时也为迈向更高级的自主 AI 系统提供了重要参考。
Darwin Gödel Machine（达尔文哥德尔机：自改进智能体的开放式演化）
-
标题：Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents
当今 AI 系统的架构由人类设计且固定不变，无法自主持续改进。元学习虽能自动发现新算法，但受限于人工设定的搜索空间。理论上的哥德尔机要求每次修改都可证明有益，但实践中几乎无法证明。核心问题是：如何让 AI 系统安全地自动改进自己。
DGM 用实证验证代替数学证明。① 系统不断修改自身代码，这同时也增强了修改自身代码的能力，形成正循环；② 每次修改都通过编程基准测试实证检验收益；③ 受达尔文演化启发，系统维护一个智能体****档案库，从中采样智能体并用基础模型生成新的变体；④ 探索形成一棵不断生长的多样化智能体树，可并行开辟多条改进路径，避免陷入局部最优。
AlphaEvolve（面向科学与算法发现的进化型编程智能体）
-
标题：AlphaEvolve: A coding agent for scientific and algorithmic discovery
-
github：https://github.com/google-deepmind/alphaevolve_results
最先进的 LLM 在面对开放科学问题和大规模系统优化等高难度任务时，单次生成往往力不从心。此前的自动发现方法（如 FunSearch）适用范围较窄。如何把 LLM 的代码生成能力组织成一个能持续迭代改进的系统，去攻克真正的难题。
AlphaEvolve 编排了一条自主运行的 LLM 流水线，采用进化式策略：① 由 LLM 直接修改目标算法的代码，生成多个候选版本；② 一个或多个评估器持续给每个版本打分反馈；③ 表现好的代码进入种群，作为后续演化的基础，循环迭代、逐代变强。整个过程无需人类逐步干预，只要给出目标函数，系统就能自主进化。
AlphaEvolve 证明进化式编码智能体能在真实工程和基础科学问题上取得超越人类的进展。它大幅拓展了自动算法发现的适用范围，展示了 LLM 与进化搜索结合的巨大潜力，有望在科学与计算领域带来广泛而深远的影响。
ShinkaEvolve（迈向开放式且高样本效率的程序演化）
-
标题：ShinkaEvolve: Towards Open-Ended and Sample-Efficient Program Evolution
把 LLM 当作变异算子的进化式智能体，已在通用科学发现中取得进展。但现有代码进化方法有两大硬伤：一是样本低效，往往需要数千次评估才能找到有效解；二是闭源，阻碍了社区的广泛采用和扩展。
ShinkaEvolve 引入了三项关键创新：① 父代采样技术，在探索新方向与利用优质解之间取得平衡；② 代码新颖性拒绝采样，过滤掉与已有方案过于雷同的候选，避免浪费评估预算在重复区域；③ 基于多臂tiger机****的 LLM 集成选择，动态挑选最适合当前任务的模型组合。三者结合大幅压缩了搜索所需的评估次数。
ShinkaEvolve 证明开放式程序进化可以既高效又便宜。通过开源和极低的评估成本，它把原本只有大公司玩得起的自动科学发现能力民主化，让普通研究者也能在多样化计算问题上开展开放式探索。
Hyperagents（超智能体：将任务智能体与元智能体合二为一的自指涉框架）
-
标题：Hyperagents
自我改进 AI 旨在减少对人工工程依赖，让系统学会优化自己的学习过程。但现有方法依赖固定的人工设计元层机制，改进速度受限。前作达尔文哥德尔机（DGM）在编程领域实现了开放式自我改进，但它依赖一个特殊假设：任务和自我修改都是编程，改进编程能力恰好能转化为改进自我改进能力。这一对齐关系在编程之外的其他领域并不成立。
Hyperagents 把系统写成一个可编辑的程序，内含两部分：① 任务****智能体，负责解决目标任务；② 元智能体，负责修改任务智能体和它自己。关键在于，元层的修改流程本身也是可编辑的，即实现了元认知式自我修改——不仅改进行为，还改进产生未来改进的机制。论文将 DGM 扩展为 DGM-Hyperagents（DGM-H），去除了领域对齐假设，理论上可支持任何可计算任务的自加速改进。
DGM-Hyperagents 展示了一种新形态的开放式 AI 系统：它不只是寻找更好的解，而是持续改进自己寻找解的方法。这打破了领域限制，让自我加速改进有望推广到任意任务，是通用自我改进 AI 的重要一步，代码已开源。
多智能体协同与全自动 AI 研发RSI
单打独斗容易遇到瓶颈，不如组建一个AI自动化研究院或左右互搏战队。一部分智能体专门出难题、提科研假设，一部分专门解难题、写训练代码跑实验，还有评审智能体验真审稿。整个团队在对抗或协作中共同进化，甚至直接自动研发出更好的下一代AI模型。适用于以下场景：① 希望在完全没有外部题库的情况下，让模型通过出题者vs解题者左右互搏无限提升推理能力；② 希望让AI 7×24小时全自动跑机器学习实验，自动改网络架构、调超参、跑GPU训练、看Loss曲线继续改。使用方法如下：零数据自博弈可用R-Zero启动Challenger与Solver交替强化学习；自动化模型训练与算法研发可用autoresearch或AI-Scientist-v2，交给智能体一张GPU和基础训练脚本，让它过夜自动跑完几十轮实验迭代。
R-Zero（零数据下自我演化的推理LLM）
-
标题：R-Zero: Self-Evolving Reasoning LLM from Zero Data
自进化 LLM 是通往超级智能的可扩展路径，即让模型自主生成经验并从中学习。但现有的训练方法仍严重依赖人工策划的任务和标注，通常通过微调或强化学习来使用。要超越人类智能，靠人类出题和标注是根本性的瓶颈。
R-Zero 从一个基础 LLM 出发，每一轮迭代分为两阶段。① 训练出题者：出题者生成一道新题，让当前的解题者独立做 $$$$ 次；如果解题者全对（太简单）或全错（太难），出题者都不得分；只有当解题者的正确率接近 $$50$$（恰好处在能力边界的“最近发展区”）时，出题者才获得最高奖励。② 训练解题者：筛选出这批难度适中的好题，以解题者多次采样中的多数投票结果作为伪标签，用组相对策略优化（GRPO）强化训练解题者。双方交替升级，实现无数据自举。
R-Zero 通过出题人—解题人的博弈式共进化，模型可以完全摆脱人类标注，自主生成训练信号并持续变强。这为迈向超越人类水平、无需人工监督的 AI 系统提供了一条可扩展的路径。
EvoAgentX（自动进化智能体工作流****的框架）
-
标题：EvoAgentX: An Automated Framework for Evolving Agentic Workflows
多智能体系统（MAS）已成为编排大语言模型和专业工具、协作解决复杂任务的强大范式。但现有 MAS 框架有两大痛点：① 需要手工配置工作流，缺乏对动态进化和性能优化的原生支持；② 各类 MAS 优化算法各自为政，没有被整合进统一的框架，难以组合使用。
EvoAgentX 采用模块化架构，包含五个核心层：① 基础组件层，提供底层能力；② 智能体层，管理各类智能体；③ 工作流层，负责编排执行；④ 进化层，整合了 TextGrad、AFlow、MIPRO 三种优化算法，迭代改进智能体提示词、工具配置和工作流拓扑；⑤ 评估层，衡量优化效果。用户只需定义任务和目标，平台即可自动完成生成—执行—评估—进化的闭环。
EvoAgentX 把分散的 MAS 优化算法统一到一个开源平台上，让多智能体工作流从手工搭建走向自动进化。它大幅降低了构建和优化智能体系统的门槛，为开发持续自我改进的 LLM 应用提供了实用工具。
The AI Scientist & The AI Scientist-v2（迈向全自动开放式科学发现）
-
标题：The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery
-
论文地址：https://arxiv.org/abs/2408.06292（v1）
-
github：https://github.com/SakanaAI/AI-Scientist（v1）
让 AI 智能体开展科学研究、发现新知识，是通用人工智能的重大挑战之一。前沿模型目前只能充当人类科学家的助手，负责头脑风暴、写代码或做预测，仅覆盖科研流程的一小部分。AI 能否独立走完整个科研流程。
The AI Scientist 构建了端到端的科研流水线：① 生成新颖的研究想法；② 编写代码并执行实验；③ 将结果可视化；④ 撰写一篇完整的科学论文；⑤ 运行模拟评审流程对论文打分。整个过程原则上可以循环迭代，以开放式方式持续发展想法，模拟人类科学共同体的运作。论文还设计了一个自动审稿人，用于评估生成论文的质量。
The AI Scientist 标志着科学发现新时代的开端：AI 智能体首次被应用于 AI 研究本身的全流程。它展示了低成本、可大规模复制的科研自动化潜力，让无限的创意与创新有望被释放到世界上最困难的问题上。为后续研究（如 v2 版本）奠定了基础。
-
标题：The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search
-
论文地址：https://arxiv.org/abs/2504.08066（v2）
-
github：https://github.com/SakanaAI/AI-Scientist-v2（v2）
前代系统（AI Scientist-v1）虽然能自动写论文，但依赖人工编写的代码模板，且只能处理特定领域的任务，泛化能力有限。能否造出一个不靠人类模板、能独立完成从提出想法到撰写论文全流程的科研智能体。
AI Scientist-v2 实现了完整的科研闭环：① 提出科学假设；② 设计并执行实验；③ 分析和可视化数据；④ 自主撰写论文手稿。相比 v1，它摆脱了对人工代码模板的依赖，可泛化到多个机器学习领域。其核心创新是渐进式智能体树搜索，由一个专门的实验管理器智能体统一调度，系统性地探索不同研究方向。此外，它还引入了视觉语言模型（VLM）反馈循环，迭代打磨论文图表的内容与美观度。
这项工作证明 AI 已能独立完成科学研究的全部环节。自主科学发现技术的进步，有望极大提升科研生产力的可扩展性、加速科学突破。论文同时开源了代码，并讨论了 AI 科研中的安全问题，呼吁在发展中审慎推进。
autoresearch（Karpathy 极简自动化 AI 训练研究循环）
由 Andrej Karpathy 开源的极简 AI4AI 自进化项目（核心代码仅 600 余行）。它让 AI 智能体在单张 GPU 上自主阅读并修改大模型训练脚本 train.py（如改优化器、改注意力机制、调学习率），每次固定训练 5 分钟，只要验证集指标（val_bpb）变好就保留 Git 提交，变差就回滚，一晚上可全自动跑完 50~100 轮模型演进实验。
选型速查指南
| 诉求与资源条件 | 推荐的RSI | 首选****开源框架 | 预期成本 |
| 用闭源 API 做业务应用，想自动提高准确率，不想手调 Prompt | 提示词与脚手架RSI | DSPy 或 TextGrad | 极低（几十美元 API 费，数十分钟） |
| 做长期运行的 Agent，希望它越用越懂业务、记住教训并攒工具 | 上下文、记忆与技能库RSI | Letta、ACE 或 A-MEM | 低（无需训练，随日常交互演进） |
| 想自动搭建并优化复杂的多智能体团队拓扑 | 多智能体协RSI | EvoAgentX | 低~中（验证集评测 API 消耗） |
| 有明确性能指标的算法/代码优化难题，想让 AI 进化出更强代码 | 自我指向代码自修RSI | OpenEvolve 或 ShinkaEvolve | 中（数百次 API 调用 + 沙箱测试） |
| 有单张或多张 GPU，想让 AI 自己改训练脚本跑实验或微调开源模型 | 模型权重与训练层RSI 全自动 AI 研发RSI | autoresearch、SPIN 或 R-Zero | 中~高（需 GPU 算力过夜运行） |
原文地址: https://www.cveoy.top/t/topic/qHPy 著作权归作者所有。请勿转载和采集!