# RSI 技术全景：从自反馈到可验证的递归改进

研究截点：2026-11-05。本文是 RSI Atlas 的中文主文档。原有 `00_RSI_overview.md` 作为输入资料保留，不以其中的日期、分类或性能描述代替原文核验。

> 本页是总览入口。详解见[算法手册](04_Algorithm_Handbook.md)、[近一年研究](06_Latest_Year_Research.md)和下列专题；[动态图](../../index.html#loops)展示十个机制闭环。分类和数学表达是本文的分析框架，不冒充某一篇论文提出的统一理论，也不将文档完成等同于全部论文全文复核。

| 专题 | 阅读入口 |
|---|---|
| 自训练、任务生成、环境与 AI 研发 | [训练与环境](chapters/02_Training_Environments_and_AI_Research.md) |
| Agent 记忆、技能、工作流与 Harness | [Agent 与 Harness](chapters/03_Agent_Skills_and_Harness.md) |
| 元递归、评测、泛化、成本和安全 | [Meta-RSI 与科学评测](chapters/04_Meta_RSI_Evaluation_and_Safety.md) |
| 综述、产业案例与未解决问题 | [综述与研究前沿](chapters/05_Surveys_Industry_and_Frontiers.md) |

> 本地归档采用精选策略：保留 27 篇经典基础与代表性方法论文，另保护原有 2 份资料；其他文献仅保留在线链接。见[经典论文、保留理由与 PDF 清单](../../catalog/classics.md)及[全量文献链接索引](../../catalog/index.md)。批量下载已暂停，收录或引用某篇论文不再意味着下载其 PDF。

## 1. 先建立总览视角

Recursive Self-Improvement（递归自我改进，RSI）不应仅按论文标题是否出现 “recursive” 筛选。关键问题是：**系统改变了什么，这种改变是否跨轮次保留，改进后的系统是否参与下一轮改进，以及收益由谁独立验证？**

“重新回答一次”“训练一次模型”“自动做一次实验”“重写自己的优化程序”是四件不同的事。它们可以组成一条发展链，但不能互相替代证据。

本文同时使用三个轴：

| 轴    | 要回答的问题                  | 分类原则                                    |
| ---- | ----------------------- | --------------------------------------- |
| 改进对象 | 哪个持久状态发生变化？             | 模型、数据与环境、记忆与技能、工作流与 Harness、评价器、研究与改进过程 |
| 闭环深度 | 下一轮的改进能力如何受到上一轮影响？      | 单次修订、持续适应、系统级递归、改进器的递归                  |
| 证据强度 | 如何排除自评分上涨、泄漏、额外预算或人工选择？ | 原始来源、执行验证、独立留出、迁移测试、持续多轮测量              |

### 1.1 六个对象家族

![RSI 方法家族树及代表作](../../pics/rsi-family.svg)

[交互式家族图](../../pics/rsi-family.html) | [30 篇方法的分类、日期与原文附表](03_Method_Map_and_Timeline.md)

| 家族 | 被改进的持久状态 | 典型机制 | 代表作及原文 | 首要风险 |
|---|---|---|---|---|
| A. 模型与训练 | 权重、训练算法、奖励与蒸馏配方 | 自训练、可验证奖励、自博弈、在线策略蒸馏 | [STaR](https://arxiv.org/abs/2203.14465)、[ReST](https://arxiv.org/abs/2308.08998)、[SEAL](https://arxiv.org/abs/2506.10943) | 合成数据偏移、奖励投机、遗忘 |
| B. 数据、任务与环境 | 课程、任务生成器、模拟器与世界模型 | 难度自适应、环境生成、发现历史回放 | [POET](https://arxiv.org/abs/1901.01753)、[PAIRED](https://arxiv.org/abs/2012.02096)、[Absolute Zero](https://arxiv.org/abs/2505.03335) | 模拟器偏差、任务分布萎缩 |
| C. Agent 记忆与技能 | 经验库、程序化工具、可复用技能 | 反思、经验归纳、技能提炼与选择 | [Reflexion](https://arxiv.org/abs/2303.11366)、[Voyager](https://arxiv.org/abs/2305.16291) | 错误记忆固化、检索成本、负迁移 |
| D. Harness 与协作结构 | 控制代码、提示、上下文管理、路由和工作流 | 程序搜索、结构演化、Pareto 优化 | [DSPy](https://arxiv.org/abs/2310.03714)、[AFlow](https://arxiv.org/abs/2410.10762)、[GEPA](https://arxiv.org/abs/2507.19457) | 基准过拟合、依赖脆弱、模型适配失效 |
| E. 评价器与验证过程 | 裁判、测试、奖励函数、准入规则 | 测试生成、外部验证、评估器校准 | [Constitutional AI](https://arxiv.org/abs/2212.08073)、[Self-Rewarding LM](https://arxiv.org/abs/2401.10020) | “自己出题、自己判卷”形成共谋式偏差 |
| F. AI 研发与元改进 | 实验策略、改进算子、优化器本身 | 自动研究、改进器重写、搜索策略学习 | [Goedel Machine](https://arxiv.org/abs/cs/0309048)、[STOP](https://arxiv.org/abs/2310.02304)、[DGM](https://arxiv.org/abs/2505.22954) | 无可靠研究价值信号、计算成本与选择偏差 |

这些家族允许交叉标注。例如，一个系统可能先生成更好的环境（B），据此训练模型（A），再由模型搜索 Harness（D）。不应为了画成树而隐藏这种耦合。

图中的连线表示本文的分类关系，不是论文之间的技术继承。使用评价信号、训练评价器、自动改变评价规则也不是同一个命题；E 类方法需要逐一核验究竟改变了哪一项。[Self-Refine](https://arxiv.org/abs/2303.17651)作为任务内输出修订的边界对照收录，不仅凭自反馈就认定为持久 RSI。

### 1.2 闭环深度不是成熟度排名

- **L0，输出修订**：同一问题内反思或重采样，没有可复用状态更新。
- **L1，持续适应**：经验、技能或参数跨任务保留，但改进流程主要由人固定。
- **L2，系统递归**：改进后的组件参与后续改进，形成可观测的多轮反馈。
- **L3，元递归**：系统修改负责提出、选择或组织改进的机制，并单独验证其改进效率。

L3 不自动意味着更可靠，也不意味着能力会无限增长。一个有独立验证的 L1 系统，可以比只展示训练集曲线的 L3 原型更有工程价值。文中的层级是审计语言，不是领域统一标准。

## 2. 时间线应该怎样读

技术史至少要区分三条并行线：训练侧自举、推理与 Agent 外部状态演化、AI 研发流程自动化。时间图中的先后关系只表示公开时间，**不等于已证明的技术继承关系**。

![RSI 发展时间轴：训练与环境、记忆与控制、研究与元改进](../../pics/rsi-timeline.svg)

[交互式时间轴](../../pics/rsi-timeline.html) | [逐篇首发日期、代表意义与来源](03_Method_Map_and_Timeline.md)

时间列是等宽阶段，不是真实时间比例尺，也不是性能坐标。图中采用论文首次公开版本日期，不与产品公告、代码公开或论文修订日期混用；例如 DGM 首次公开为 2025-05-29，而非其 2026 年修订时间。图中只选择部分里程碑，同年其他代表作见附表。

| 阶段              | 核心问题                     | 从这一阶段走向下一阶段的条件      |
| --------------- | ------------------------ | ------------------- |
| 理论与早期元学习        | 改进自身是否可能，改进收益如何定义？       | 可执行的改进对象与可信评价       |
| 自反馈与推理自举        | 能否利用自身输出改善求解？            | 将错误纠正转化为跨任务的能力积累    |
| 经验、技能与工作流       | 不更新权重能否积累能力？             | 版本化状态、独立测试、可恢复的执行环境 |
| 自修改 Agent 与自动研究 | 能否改写求解或研究程序？             | 区分任务收益与改进能力收益       |
| 多对象协同与元递归       | 模型、Harness、环境、评价器能否共同进步？ | 稳定性、成本归因与跨分布验证      |

2026 年的来源已显示研究对象从单一输出扩展到研究过程、Harness 和环境。然而，论文数量或命名变化本身不能证明“智能爆炸”或开放式长期复利已被实现。[R1][R2]

## 3. 一个可审计的统一闭环

定义系统状态

$$
S_t=(\theta_t,H_t,M_t,D_t,E_t,V_t,I_t),
$$

其中 $\theta$ 是模型参数，$H$ 是 Harness，$M$ 是记忆与技能，$D$ 是数据，$E$ 是环境与任务分布，$V$ 是评价器，$I$ 是改进机制。一次循环可以写成：

$$
\mathcal C_t=\operatorname{Propose}(S_t,I_t,B_t),\qquad
\widehat S_{t+1}=\operatorname{Select}(\mathcal C_t;V_t,\mathcal D_{\mathrm{dev}}).
$$

只有独立验收通过，才激活候选：

$$
S_{t+1}=\begin{cases}
\widehat S_{t+1}, & \operatorname{Gate}(\widehat S_{t+1},S_t;\mathcal D_{\mathrm{holdout}})=1,\\
S_t, & \text{otherwise}.
\end{cases}
$$

$B_t$ 是单轮预算。开发集可以给优化器反馈；最终留出集不得被反复暴露给搜索过程。实践中需要区分可轮换的晋级验证集与最终盲测集，不能把每轮使用的同一验证集一直称为“独立测试”。

### 3.1 真正需要报告的不是一条分数曲线

$$
\Delta Q_t=Q(S_{t+1};\mathcal D_{\mathrm{test}})-Q(S_t;\mathcal D_{\mathrm{test}}).
$$

$Q$ 的定义、任务集、随机种子和资源上限必须保持可比。多个任务的异质量纲需要分别报告或事先约定归一化规则。不要直接把不同基准的百分点平均成“通用智能提升”。

还要报告改进成本 $C_{\mathrm{improve}}$ 和部署成本 $C_{\mathrm{serve}}$。若新版本每次调用节约 $\delta c>0$，且质量及风险满足约束，则简化的成本回本点为：

$$
N_{\mathrm{break-even}}=\left\lceil\frac{C_{\mathrm{improve}}}{\delta c}\right\rceil.
$$

这是本文的成本核算示意，未包含机会成本、迁移成本和长期维护，不是某篇论文报告的实验结果。

## 4. 代表路线的技术辨析

### 4.1 模型与训练：学习算子和搜索框架要分开测

[Frontis-MA1 / OpenRSI](https://arxiv.org/abs/2607.28568) 将可执行机器学习工程任务、算子学习和长时搜索放在同一研究框架中。其摘要将 Draft、Improve、Debug、Crossover 作为训练与搜索共享的操作，并明确报告固定框架换模型、固定模型换框架的迁移实验。这种分解比“完整系统击败基线”更能判断收益来源。[R3]

但一个训练后模型与搜索框架联合获得较高分数，并不足以证明改进器能无限递归升级。还需要多轮代际传递、持久增益和等预算的反事实对照。

### 4.2 环境与探索：Dream-RSI 不是笼统的“做梦训练模型”

[Dream-RSI](https://arxiv.org/abs/2609.14858) 的原始摘要将发现历史树构造成回放模拟器，用较便宜的离线反馈优化显式探索策略，再把策略送回在线发现过程。底层基础 Agent 不变，主要改进的是编排层的探索策略。[R4]

这条路线的技术吸引力是降低长时探索的策略评价成本；需要特别审计的是回放覆盖范围、历史之外的候选如何评价，以及离线排名是否能迁移到在线发现。它同时属于 B、D、F，而不应仅因标题含 “worlds” 就归为基础世界模型训练。

### 4.3 记忆、技能和 Harness：外部状态也是学习载体

跨任务保留的可执行技能、上下文策略和控制代码，能改变系统的行为分布，即使模型参数完全冻结。因而“无训练”不等于“无学习”，但也不等于“递归”。要检查具体哪个状态变化、谁提出变化、谁评价变化以及何时被复用。

[AI4AI Survey](https://www.preprints.org/manuscript/202608.2108) 及其[维护仓库](https://github.com/KaiWU5/Awesome-AI4AI)把 Harness 与模型设计、基准分开组织，适合作为发现入口；仓库收录本身不是每篇论文方法有效性的独立证明。[R1]

### 4.4 评价器：最容易被忽略的递归对象

在[从有界自修订到自主研究循环的综述](https://arxiv.org/abs/2607.07663)中，自评价被单列为对象。其核心提醒是：每个改进闭环，都隐含“某个反馈信号可以替代人类判断”的假设。[R2]

本文建议按任务区分形式验证、可执行测试、外部观测、独立裁判和内生自评分。形式验证只能证明形式化规格覆盖的性质；执行测试也不保证规格本身正确。不能把这条排序解释为不依赖任务的绝对优劣关系。

### 4.5 自修改与元改进：不要把理论保证和实证搜索混为一谈

[Goedel Machine](https://arxiv.org/abs/cs/0309048)给出可证明有益自修改的理论框架；[DGM](https://arxiv.org/abs/2505.22954)则维护编码 Agent 存档，借助基础模型生成代码修改，再通过编码基准实证评价。后者并不是前者最优性证明的工程实现，也不能把特定编码基准上的提升直接外推为开放世界的无限递归增长。[R6]

[STOP](https://arxiv.org/abs/2310.02304)把代码生成优化器本身纳入改进对象；[SICA](https://arxiv.org/abs/2504.15228)强调编码 Agent 的自修改；[AlphaEvolve](https://arxiv.org/abs/2506.13131)强调在可执行评价下进行算法和程序搜索。三者都涉及程序，但“改进任务求解器”“改进研究流程”“改进负责提出下一轮变化的优化器”需要分别审计。类似地，[GEPA](https://arxiv.org/abs/2507.19457)的提示演化不应一概称为 Agent 自主改写自身源代码。

## 5. 前沿判断与研究空缺

以下是本文的判断，不是已被统一实验验证的事实。

1. **改进对象会继续耦合，归因会更困难。** 模型、Harness、任务和评价器联合更新后，必须增加交叉替换与冻结组件实验。
2. **验证吞吐可能比生成吞吐更关键。** 便宜地产生更多候选，在没有可信选择信号时只会扩大选择偏差。
3. **最有价值的递归信号是改进效率本身。** 除最终任务分数外，应比较达到同样质量所需的实验次数、成本和人工干预。
4. **长期任务需要版本化的安全边界。** 检查点、隔离执行、权限控制、不可由被测系统修改的最终评价器，以及可回滚晋级机制是重要工程条件。
5. **领域内收益不能直接外推为开放式复利。** 在可执行、可验证的代码和机器学习任务上成功，不代表已经解决研究问题选择、价值判断与真实世界因果验证。

## 6. 阅读与核验规则

- 优先论文原文、官方代码与机构发布；综述和博客用于发现与解释。
- 文献覆盖与本地存储分开管理：按代表性筛选保留 PDF，未入选论文通过原文链接访问，不继续保存重复版本或批量下载周边论文。
- 每个条目区分“已发现”“元数据核验”“原文下载”“机制阅读”“关键图表核对”，不把下载数量写成精读数量。
- 日期采用首次公开日期；版本修订日期另记。只能确认月份时，不伪造某一天。
- 论文原图与本文重绘图分开记录来源、版本、页码和许可；下载论文不自动授予公开再分发权。
- 链接失败、限流、没有公开 PDF 或日期不明的条目保留在审计清单，不用猜测信息补齐。
- 本文引用的 Hugging Face 日期检索页返回了 3 月、7 月等不同日期的结果；它是发现入口，不是“2026-11-05 新论文全集”。[R5]

## 参考文献

[R1] KaiWU5 等. *AI4AI Survey: From Long-Horizon Agents to Recursive Self-Improvement—Definitions, Reliable Horizons, and Open Problems*. [论文](https://www.preprints.org/manuscript/202608.2108)；[目录仓库](https://github.com/KaiWU5/Awesome-AI4AI)；[项目页](https://kaiwu5.github.io/Awesome-AI4AI/)。目录是动态来源，需固定获取时间与提交版本。

[R2] Bo Qu, Licheng Wang, Mingguang Chen. *Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops*. [arXiv:2607.07663](https://arxiv.org/abs/2607.07663)。当前证据：指定 Hugging Face 检索页所载摘要。

[R3] FrontisAI. *Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering*. [arXiv:2607.28568](https://arxiv.org/abs/2607.28568)；[OpenRSI](https://github.com/FrontisAI/OpenRSI)。当前证据：指定 Hugging Face 检索页所载摘要。

[R4] Tong Zheng 等. *Dream-RSI: Recursive Self-Improvement through Evolving Worlds*. [arXiv:2609.14858](https://arxiv.org/abs/2609.14858)。首次提交 2026-09-14；已核验页面最新版本 v2，2026-10-06。当前证据：arXiv 原始元数据和摘要。

[R5] Hugging Face Papers. [指定日期与关键词检索页](https://huggingface.co/papers/date/2026-11-05?q=recursive+self-improvement)。仅作为发现入口，不能用检索页日期替代论文首次公开日期。

[R6] Jenny Zhang 等. *Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents*. [arXiv:2505.22954](https://arxiv.org/abs/2505.22954)。首次提交 2025-05-29；核验页面修订版本为 v3，2026-03-12。当前证据：原始摘要与提交历史。

家族图和时间轴中各代表作的完整标题、逐篇日期依据与原文链接，集中列于[方法图谱附表的参考文献](03_Method_Map_and_Timeline.md#参考文献)，不将目录收录数量视为全文精读数量。

[R5] Hugging Face. [Daily Papers，2026-11-05，recursive self-improvement 检索](https://huggingface.co/papers/date/2026-11-05?q=recursive+self-improvement)。获取日期：2026-11-05；页面日期不等于所列论文发表日期。