# RSI 算法手册：更新对象、核心算子与选型

[返回仓库](../../README.md) · [技术全景](01_RSI_Technical_Panorama.md) · [动态图](../../index.html#loops) · [近一年研究](06_Latest_Year_Research.md)

以下统一公式、伪代码和分类是本图谱的解释工具，不冒充某篇论文的原始公式。详细实验口径见四个专题；方法之间没有可直接平均的统一性能分数。

## 1. 先把算法放进同一坐标

| 子路线 | 持久对象 | 提案/更新算子 | 反馈与选择 | 代表方法 | 主要边界 |
|---|---|---|---|---|---|
| 推理自训练 | 权重、筛选后的轨迹 | 采样—筛选—监督训练 | 答案或执行真值 | STaR、ReST-EM | 答对不证明推理忠实 |
| 指令数据自举 | 指令池、权重 | 生成—去重—微调 | 质量过滤 | Self-Instruct | 过滤不是语义验证 |
| 自博弈/偏好训练 | 策略、对手、奖励 | RL / 偏好目标 | 胜负、比较或执行 | AlphaZero、SPIN、Self-Rewarding LM | 对手与裁判偏差 |
| 测试时参数适应 | 参数或 adapter | 在线 RL、内循环更新 | 投票或可验证反馈 | TTRL、SEAL | 测试协议和更新预算改变 |
| 任务/环境共同演化 | 环境、课程、策略 | 变异—可解性筛选—迁移 | regret、难度、执行奖励 | POET、PAIRED、Absolute Zero | 难度增长不等于覆盖增长 |
| 反思与经验归纳 | 文本记忆、原则 | 反思、抽象、检索 | 环境反馈、任务得分 | Reflexion、ExpeL、CogRSI | 有用的规则可能不正确 |
| 程序化技能积累 | 工具与技能库 | 生成—执行—合并 | 异常、功能测试、最终目标 | Voyager、Yunjue、GenericAgent | 可运行不等于功能正确 |
| 提示/文本优化 | 提示与程序变量 | 反思式编辑或文本反馈 | 开发集指标 | DSPy、TextGrad、GEPA | 固定优化器不自动是元递归 |
| 工作流结构搜索 | 代码、图结构、路由 | 树搜索或代码提案 | 可执行任务评分 | ADAS、AFlow | 新结构可能只记住开发任务 |
| Harness 演化 | 提示、上下文、工具与控制 | 轨迹诊断—编辑—回归 | 测试、自偏好、外部评价 | AHE、RHO、RRSI、HarnessPro | 不同反馈强度不可混用 |
| 发现策略回放 | 探索策略、历史树 | 离线回放选择—在线扩展 | 历史支持集内反馈 | Dream-RSI | 回放排名不保证在线排名 |
| 研究团队与实验编排 | 研究 DAG、经验、角色 | 证据审阅—分叉—协作 | 实验结果及全系统成本 | RSI-Master、AReaL-RSI | 并行增加不等于改进效率增加 |
| 模型—Harness 共演化 | checkpoint、控制结构 | 历史继承—适配—交叉评价 | 轨迹、SFT 与任务反馈 | CoEvo-RSI、Frontis-MA1 | 整机收益不能直接归因一个对象 |
| 改进器/优化策略演化 | 搜索器、调度、程序 | 元提案—验证—交接 | 配对继续实验 | STOP、Hyperagents、MetaRSI、RSI-Opt | 最外层通常仍有冻结机制 |

**对照技术也收录，但不冒充严格 RSI。** Self-Refine 的任务内修订、TRM 的推理递归、研究 benchmark、长时运行时和论文综述，都必须标记为边界对照或支撑设施。

## 2. 自训练：把自身成功轨迹变成下一轮学习材料

### STaR 与 ReST-EM

[STaR](https://arxiv.org/abs/2203.14465)已拥有问题与正确答案，自生成的是推理轨迹。先保留答对样本；失败题可在给定答案条件下生成解释，再移除答案提示作为训练样本。它不是无监督凭空产生真值。

[ReST-EM](https://arxiv.org/abs/2312.06585)把采样/筛选的 E-step 和监督学习的 M-step 分开。用非负奖励 $r$ 表示筛选，解释性的目标分布为

$$q_t(y\mid x)\propto r(x,y)\pi_{\theta_t}(y\mid x),\qquad
\theta_{t+1}\approx\arg\min_\theta D_{\mathrm{KL}}(q_t\Vert\pi_\theta).$$

奖励加权质量必须大于零，分布才可归一化。有限采样、参数重置和 SGD 不提供测试准确率单调保证；这两篇原始方法还需要注意每轮从初始基座重新微调的训练调度。

```text
保留已知问题、答案或可执行测试
for 每轮:
    用当前生成器采样轨迹
    独立检查答案/程序；保留合格样本
    用论文规定的基座和更新调度进行训练
    将新模型用于下一轮生成
    在不暴露给筛选器的测试集记录质量与成本
```

**适用：** 数学、代码等存在较低成本真值的任务。**失败点：** 正确性稀疏、样本分布收缩、错误解释固化。应固定采样量，对比“多采样一次”和“真正训练一轮”的收益。

### 2026：DCE + SRCL

[On-Policy Distillation](https://arxiv.org/abs/2609.30652)里的 student 自己采样，但 privileged teacher 看到正确答案。DCE 让教师吸收学生的更新；SRCL 补充更短且已验证的自修订响应。没有外部教师模型不等于没有外部答案监督，Average@12 也不是单次 pass@1。详见[训练专题](chapters/02_Training_Environments_and_AI_Research.md)。

## 3. 自博弈与任务生成：学习信号可以内生，规格仍需外部锚点

[SPIN](https://arxiv.org/abs/2401.01335)比较真实训练响应和当前模型生成响应；旧模型充当负例来源，不能说两个无监督模型相互投票就得到了真值。

[Self-Rewarding LM](https://arxiv.org/abs/2401.10020)让模型生成偏好反馈并参与后续训练，但奖励能力与回答能力需要分别测量。共用同一错误先验会形成自评分上涨、真实质量不升的闭环。

[Absolute Zero](https://arxiv.org/abs/2505.03335)将可执行任务生成与求解结合。关键不是“零一切数据”，而是没有对应的人类任务数据集；代码执行器、任务空间、预训练知识与人工设计奖励仍然存在。

$$\text{任务生成}\rightarrow\text{可执行性/难度筛选}\rightarrow
\text{求解与奖励}\rightarrow\text{策略更新}\rightarrow\text{新任务生成}.$$

只有检查题目分布、覆盖、作弊模式和跨分布测试，才能知道任务生成器是在开拓能力还是在找容易拿分的题目。

## 4. 环境共同演化：探索的是挑战—解法配对

[POET](https://arxiv.org/abs/1901.01753)维护环境与求解策略的配对集合，产生新环境、过滤极易或不可解的候选，并允许策略跨环境迁移。[PAIRED](https://arxiv.org/abs/2012.02096)用代理之间的 regret 引导环境设计，不等同于绝对任务难度最大化。

**为什么多样性重要：** 单一路线的课程会把“不断变难”变成“不断专门化”。环境复杂度、任务覆盖和新环境迁移是三个指标。必须保留被淘汰环境以及不可解候选，而不是只展示成功课程。

## 5. 记忆与技能：不改权重，也可以改变未来行为

[Reflexion](https://arxiv.org/abs/2303.11366)保留语言化反思；[Voyager](https://arxiv.org/abs/2305.16291)保留可执行技能；[ExpeL](https://arxiv.org/abs/2308.10144)归纳经验与检索知识。它们的记忆介质和验证机制不同。

[Yunjue](https://arxiv.org/abs/2601.18226)固定工作流与上下文框架，主要演化工具库。Manager 检索，Developer 补工具，Executor 执行，Aggregator/Merger 聚类整合。工具未抛异常、工具实现正确、最终任务完成，必须分层检查。

```text
检索可复用技能 -> 组合执行 -> 记录失败与结果
若确有能力缺口:
    生成新技能 -> 执行与功能测试
    记录适用条件、依赖、来源、版本
    去重/合并 -> 独立回归 -> 入库
下一任务检索；下一次技能获取是否也使用新库，要另行举证
```

**工程重点：** 检索误命中、依赖漂移、负迁移、技能膨胀与删除策略。SkillMOO、Skill1、COS-PLAY 分别研究多目标技能选择、训练信用分配和共同学习，不应简单合并为“写更多技能”。

2026-10-31 的[CogRSI](https://arxiv.org/abs/2611.01113)提供重要反例：有助于答题的推理原则仍可在其声称覆盖的情况中给出错误答案。需要语义审计，而非只看验证集准确率。

## 6. 提示与工作流优化：先看可变接口

[DSPy](https://arxiv.org/abs/2310.03714)是指标驱动的 LM 程序编译框架，具体配置可以包含提示优化或微调；不能一概叫作“无训练”。

[TextGrad](https://arxiv.org/abs/2406.07496)沿计算图传播语言反馈，改变文本或代码变量；文本“梯度”不是模型权重的数值导数。[GEPA](https://arxiv.org/abs/2507.19457)基于执行轨迹反思、提出提示修改并保留互补候选；它不等于任意 Agent 自主改写源代码。

[ADAS](https://arxiv.org/abs/2408.08435)搜索 Agent 程序，[AFlow](https://arxiv.org/abs/2410.10762)搜索工作流。两者都可能形成持久的控制结构，但固定的外层优化器不会因为候选搜索多轮就自动变成元递归。

**选型：** 提示级问题优先用可解释的小编辑；工具路由或上下文故障需要 Harness 级接口；代码结构改变应增加集成测试。不要用结构搜索解决本来只缺正确数据的问题。

## 7. Harness 演化：反馈强度决定解释边界

| 方法 | 主要变化 | 选择依据 | 关键限制 |
|---|---|---|---|
| AHE | 多组件、文件级修改 | 可观测轨迹、回归预测、外部任务评价 | 演化集成绩与留出迁移分开 |
| RHO | 提示/技能等控制资产 | 回顾性 self-preference | 主要实验单轮；自偏好不保证官方排名 |
| RRSI | 约束候选编辑与删减 | critic/pruner 与正则化选择 | 降低过拟合不等于证明完全泛化 |
| HarnessPro | 性能—成本多目标 Harness | 固定生成测试、Pareto 筛选 | 生成测试不是官方真值 |
| SoL-Pi | 执行、压缩、观察、委派读取 | 大量研究环境中选择可复用机制 | token、费用、墙钟收益不同 |
| Harness² | 改进经验、在线 probe | 当前任务反馈与跨任务经验 | 继承经验不等于直接继承全部配置 |

以上机制和实验边界详见[Harness 专题](chapters/03_Agent_Skills_and_Harness.md)。

### HarnessPro 的具体选择过程

[v2 §4.1](https://arxiv.org/html/2610.26770v2#S4.SS1)使用初始轨迹生成一次测试，并冻结它们；记录初始性能下限。每轮诊断轨迹、提出候选，在同一生成测试上测 pass rate 和执行费用，丢弃低于性能底线及被支配候选，再以归一化加权平方距离选择 lite / medium / heavy 三类代表。

对 $(-q,c)$ 两目标，“被支配”表示另一个候选质量不低、费用不高，且至少一项严格更好。没有全序最优，部署预算不同应选不同代表。开发阶段冻结测试提高可比性，但生成测试可能继承初始解法的误解；最后需要冻结候选后使用官方留出评价。

## 8. Dream-RSI：把昂贵发现历史变成便宜的策略试验场

[Dream-RSI v2](https://arxiv.org/html/2609.14858v2)固定基础发现 Agent 和评价接口，主要改变探索策略代码。在线发现树形成确定性、prefix-only 回放世界；新策略只能看到允许的历史前缀，在已记录支持集内评估。离线选出的策略回到在线发现，产生下一轮历史。

```text
现有探索策略 + 在线任务 -> 发现历史树
历史树 -> 受约束回放环境
提案候选探索策略 -> 同一历史内评价 -> 选优
冻结并部署策略 -> 再做在线发现 -> 扩大下一轮历史
```

**不能推断：** 没有新发现执行的离线回放不等于零总成本；回放支持集无法无偏评价任意未见行为；包含当前策略只能支持同一历史回放指标的保底，不保证未来在线任务不退化。它不是训练一个新的神经世界模型。

## 9. 模型—Harness 共演化：必须做交叉冻结

[CoEvo-RSI](https://arxiv.org/abs/2610.25078)通过共享历史档案，协调 Harness 设计、checkpoint 选择/合并以及新框架下的 SFT 适配。问题是“脑—身体不匹配”：框架要求模型没学会的行为，或框架限制已有能力。

至少测四个组合：

| | 旧 Harness | 新 Harness |
|---|---|---|
| 旧模型 | 基线 | 框架贡献 |
| 新模型 | 模型迁移 | 联合收益 |

还要固定训练、搜索与部署预算。只看右下角不能把全部提升归因于新权重，也不能证明每一代改进效率增加。[Frontis-MA1](https://arxiv.org/abs/2607.28568)里的学习算子与长时搜索也应这样分账。

## 10. 改进器与元改进：真正变化的是哪层程序

[STOP](https://arxiv.org/abs/2310.02304)将生成改进程序的 improver 本身作为对象；[DGM](https://arxiv.org/abs/2505.22954)维护自修改编码 Agent 存档；[Hyperagents](https://arxiv.org/abs/2603.19461)把 task agent 和可编辑 meta agent 放在同一程序中。

Gödel Machine 的证明型自修改与这些经验搜索系统不是同一种保证。可编辑也不等于实际获得有效元改进；要保存修改后的程序如何接管下一轮的证据。

### MetaRSI 的三算子与双轴

[MetaRSI v2](https://arxiv.org/html/2609.06396v2)组合 Data-RSI、Harness-RSI、Model-RSI。水平轴选算子顺序，垂直轴修改算子提案策略，更外层策略按 term 结果调整调度。目标模型承担多个角色不消除共享错误；最外层策略仍冻结。

最有判别力的是**同起点配对继续实验**：从同一个 $S^\*$ 分叉，在同预算下比较旧改进器 $I_0$ 和新改进器 $I_1$ 的后续收益，而不是比较两个起点不同的最终分数。

$$\Delta_{\mathrm{meta}}=
[Q(I_1(S^\*;B))-Q(S^\*)]-[Q(I_0(S^\*;B))-Q(S^\*)].$$

该表达是本文的实验设计简写，不自动排除留出集重复访问、选择偏差或额外元改进预算。详见[评测专题](chapters/04_Meta_RSI_Evaluation_and_Safety.md)。

### 最新补充：RSI-Opt 的双循环与正确定位

[RSI-Opt v1 §3](https://arxiv.org/html/2610.32026v1#S3)有两层：

1. **单次训练内：** Agent 读损失与诊断，编辑优化器/诊断程序。模型架构、数据顺序、loss、batch 和更新次数固定；最终评价指标不提供给内层 Agent。新更新器短窗口试跑失败则回滚。
2. **跨训练运行：** 固定 meta-agent 根据运行证据修改 prompt、playbook、代码库、decision cadence。运行期间 playbook/library 是只读参考，可复制模块到工作区编辑。决策机会数量固定，不可通过增加决策次数作弊。
3. **档案：** 合法候选都入档，包括低于父代的候选；父代选择偏好高分并抑制重复扩展同一分支。不是“只保存每轮赢家”。

这是**优化器 Agent 策略的持久演化**；底层 LLM、meta-agent 指令、评分与划分冻结，不能称为 meta-agent 自己无限重写。本图谱将它定位在 D/F 的 L2 与可编辑策略边界，不仅凭名字赋予 L3。论文还指出需要匹配预算的独立提案对照，才能隔离历史继承本身的收益。

评分使用标准化聚合，不是显著性检验；演化选择分数与 raw-space 描述性 $z$ 总结存在不同定义。论文图注指出附录记录了一次历史留出暴露，不能把“设计上 withheld”转述为毫无例外的无污染证明。本次补充读取方法 §3 及相关正文片段，未独立复现实验，也未完成全部附录审计。

## 11. 怎样搭建一个最小、可信的 RSI 原型

推荐从**固定模型 + 小范围 Harness 或技能编辑 + 执行反馈**开始，不从开放世界自修改开始。

1. 预注册目标、可变文件/状态、禁止改动的评价接口和资源上限。
2. 保留旧版本、运行条件、全部失败与候选谱系。
3. 把提案、执行、选择与最终验收分离；保护评分器和盲测集。
4. 同预算比较固定基线、更多采样基线、随机搜索与带历史改进器。
5. 跨任务、跨模型、跨时间分别测迁移；不合格就拒绝晋级。
6. 计入提案、失败候选、训练、验证、部署和迁移总成本。
7. 测后继改进效率，而非只测当前任务分数。

若每次部署节省 $\delta c>0$，简化回本量为 $\lceil C_{\mathrm{improve}}/\delta c\rceil$；但质量退化、任务漂移、维护成本或无法复用都会使这个估计失效。

**优先优化建议：** 先提高反馈可识别性，再扩候选数；先做删减和回归，再增框架复杂度；先证明一次持久迁移，再谈元递归加速。更复杂的架构不能补偿不可信的评价。