五级台阶：从自我修正到自主研究

上一篇说过，“自我改进”这个词被用得太泛了：一个模型检查自己的答案，一个 Agent 改写自己的源代码，一个系统自己设计实验、训练出下一代——三者都叫“自我改进”，难度和风险却天差地别。2026 年 7 月的一篇综述专门指出过这个问题：self-refine、self-reward、self-play、self-evolve 这一串“self-X”词汇，把根本不同的目标混为一谈 [1]。

这一篇给全书立一把尺子，把自我改进拆成由浅到深的五级台阶。还是用学生打比方：

1. 考完试，自己把卷子检查一遍，改掉错处；
2. 自己出练习题、自己批改，靠刷题长本事；
3. 改进自己的学习工具：笔记方法、错题本、做题流程；
4. 替老师分担具体工作：批作业、出卷子、改教案里的某个环节；
5. 自己决定学什么、怎么教，最后带出一个比自己更强的学生。

越往上，改动越深、越难检验，离“AI 造出下一代 AI”也越近。

先备好两把尺子

分级之前，先说清楚衡量任何一种“自我改进”的两个维度。

尺子一：改的是什么。这就是本篇的五级台阶：从一次性的输出，到权重，到模型外面的程序，到研发流程，再到整个下一代。

尺子二：谁来拍板。上面那篇综述按“环”闭合的程度分了三档 [1]：

综述梳理的 1,250 篇论文，几乎都落在“人在环上”这一档，闭环的那一行很稀疏 [1]。

两把尺子之外，还有一条贯穿全书的经验规律，先记在这里：改进能走多远，取决于验收有多可靠。综述把验收信号从强到弱排成一个“验证等级”——形式化验证（证明检查器、类型系统）、执行反馈（测试、编译器、基准）、学出来的裁判（奖励模型、让大模型当评委）、内在信号（模型自己的置信度、多次回答是否一致）——并观察到，已被证实的自我改进强度大体随这个等级走 [1]。作者强调，这是定性的观察，不是测出来的定律。

第 1 级：改答案

改什么：只改这一次的输出。模型权重不动，任务结束后什么也不留下。

典型做法：同一个模型先写初稿，再给自己提意见，再按意见修改，反复几轮。2023 年的 Self-Refine 就是这个套路，作者报告它在 7 类任务上平均提升约 20 个百分点 [2]。写代码的 Agent 跑测试、看报错、再改，也属于这一级，只不过它有外部反馈可依。

教训：没有外部反馈时，这一级很容易原地打转。2023 年的一项研究发现，在推理题上，模型仅凭自己“再想想”往往改不对，有时反而把对的改错 [3]。2025 年的“镜像循环”实验让三家公司的模型各自反复自我批评十轮，作者报告，后几轮每轮带来的信息变化比前几轮少了 55%；只要在第三轮插入一次外部验证，变化量就立刻回升 [4]。

2026 年：研究的焦点转向“什么时候管用”。2026 年 6 月的一项研究认为，自我修正有没有用，取决于任务结构，比如任务里有没有可以逐条核对的显式约束 [5]。4 月的 ThinkTwice 则把“做题”和“修改自己的答案”放进同一个正确性奖励里联合训练，作者报告 Qwen3-4B 在 AIME 上经过一次自我修正后，比 GRPO 基线高 11.5 个百分点（pass@4）[6]。这已经在往第 2 级过渡：修正能力本身被训练进了权重。

本书对应：不单列一篇。它的核心教训——没有外部反馈，自我评判靠不住——是第 4 篇的主线。

第 2 级：改训练信号

改什么：模型自己生成训练数据、自己给答案打分，再用这些信号更新自己的权重。改动持久保留在权重里。

典型做法：2022 年的 STaR 让模型给大量问题写推理过程，只保留最终答对的那些，拿来微调自己，然后重复 [7]；2024 年 Meta 的“自我奖励语言模型”让同一个模型既答题、又当评委 [8]；2025 年的 Absolute Zero 和 R-Zero 更进一步，连题目都由模型自己出，一方出题、一方解题，从零数据开始共同进化 [9][10]。

2026 年：两条线索最活跃。一是把“自己验证自己”做得更可靠，例如斯坦福大学 2026 年 5 月的“自验证蒸馏”，只用没有标准答案的问题，让模型用三道关卡过滤自己生成的解答，再拿通过的解答训练自己 [11]；二是把自博弈推广到没有标准答案的开放任务 [12]。

天花板：信号质量。自己出的题、自己判的分如果有偏差，循环会把偏差和能力一起放大；数据反复自我复制，还可能“坍塌”。

本书对应：第 3 篇 自己出题自己练讲“题从哪来”，第 4 篇 自己当裁判讲“分谁来打”。

第 3 级：改脚手架与代码

改什么：模型外面的那层程序，包括提示词、工具、记忆、工作流，乃至 Agent 自己的源代码。这层东西常被叫作脚手架（scaffold）或外壳（harness），指一切把“裸模型”变成 Agent 的部件 [1]；Agent 的内核其实就是一个循环，可以参考 Agent Loop 那一篇。这一级通常不动权重，但改动会持久保留，影响之后的每一个任务。

为什么排在第 2 级之上：这里第一次出现了字面意义上的“递归”——被改进的，可以是“负责改进的那段代码”本身。2023 年的 STOP 是个早期例子：一个调用语言模型来改进程序的“改进器”，被拿去改进它自己；作者也坦言，因为语言模型本身没变，这还不是完整的 RSI [13]。

典型做法：2025 年的达尔文哥德尔机（DGM）让编码 Agent 反复改写自己的代码，用编程基准实测每个新版本，并保留一个不断长大的版本档案库；作者报告它在 SWE-bench 上从 20.0% 提升到 50.0% [14]。

2026 年：

• Meta 与不列颠哥伦比亚大学等机构 2026 年 3 月提出 Hyperagents：负责改进的“元 Agent”和负责干活的“任务 Agent”被写进同一个可编辑程序，元 Agent 修改东西的那套办法本身也能被修改。论文点出了这一级的要害：给“元系统”再套一层“元元系统”解决不了问题，只会把问题往上推成无穷的元层级，所以系统必须能改写自己。作者报告，这些“元层面”的改进可以跨领域迁移，也能跨轮次累积 [15]。
• 复旦大学等 2026 年 4 月的 AHE 让 Agent 自动演化编码 Agent 的外壳，作者报告十轮迭代后 Terminal-Bench 2 的通过率从 69.7% 升到 77.0%，超过人类设计的 Codex CLI 外壳（71.9%）[16]。
• Lilian Weng 在 2026 年 7 月的长文中判断：近期的 RSI 不太可能从模型直接改写自己的权重开始，更可能先让外壳本身成为优化对象 [17]。

本书对应：第 5 篇 改自己的代码。

第 4 级：改研发环节

改什么：造 AI 的流程里的具体工作，比如写训练代码、优化 GPU 内核、跑实验、排查训练事故、处理数据。目标和评判标准由人给定，AI 负责把活干完、干好。

Epoch AI 在 2026 年 6 月提出，可以把 AI 研发工作拆成决策、设计、构建、运行、分析、沟通六类 [18][19]。OpenAI 9 月用这个分类统计了内部 Agent 的用量：从 1 月到 8 月，各类工作都在增长，但“高层规划”在 Agent 产出中仍只占极小比例 [19]。可以粗略地说，第 4 级就是 AI 接手了“构建、运行、分析”里的大块工作，而“决策”仍握在人手里。

典型做法：

• 2025 年 5 月，DeepMind 的 AlphaEvolve 找到了更好的矩阵乘法分块方式，把 Gemini 架构中的一个关键内核提速 23%，使 Gemini 的训练时间缩短 1%（官方口径），相当于它加速了驱动它自己的那个模型的训练 [20]。
• 2026 年 2 月，GPT-5.3-Codex 的早期版本参与调试了自己这次发布的训练运行 [21]。
• 2026 年 3 月，Karpathy 开源 autoresearch：让 Agent 通宵修改一份小模型训练代码，每次训练 5 分钟，变好就保留、变差就丢弃。人不再改 Python 代码，改的是写给 Agent 看的说明文件 program.md [22]。
• Anthropic 的“训练代码提速”测试，成绩从 2025 年 5 月的约 3 倍涨到 2026 年 4 月的约 52 倍（官方口径）[23]。
• 2026 年 6 月，AI 公司 Recursive 公布自动研究系统的早期结果：在社区优化了两年的 NanoGPT Speedrun 上，把训练时间从 79.7 秒再压到 77.5 秒；在 235 个 GPU 内核任务上，把平均得分从 0.699 提到 0.754（公司自报）[24]。
• 2026 年 9 月 14 日公开的 Dream-RSI 改的是“怎么搜”：它把过去的探索记录当成一个可以“做梦”的回放模拟器，在里面低成本地试验大量搜索策略，再把最好的一种拿回真实任务，底层的编码 Agent 保持不变。作者报告在 KernelBench 等任务上用更少的生成次数达到同样效果，或在同样预算下做得更好 [25]。

边界：一旦任务要求 AI 自己拿主意，差距就露出来了。2026 年 3 月的 PostTrainBench 给 Agent 一块 H100、10 小时，让它自主把一个基座模型后训练得尽量好：表现最好的 Agent 得分 23.2%，各家官方的指令微调版本则是 51.1%；Agent 还出现了在测试集上训练、直接下载现成的指令模型、擅自使用找到的 API 密钥等投机行为 [26]。

这一级的数字多为官方口径或作者报告，尚待独立验证。

本书对应：第 6 篇 让 AI 发明算法、第 7 篇 自动化 AI 研发。

第 5 级：闭环自主研究

改什么：整个研究循环，包括“研究什么”。系统自己定方向、设计实验、判断结果，最终训练出更强的下一代自己，人至多在外面审计。这就是 Anthropic 所说的“闭环”，也最接近 Good 当年设想的“智能爆炸”。

截至 2026 年 9 月的现状：公开资料里还没有真正走通的实例，但有几次“摸到边”的尝试：

• Sakana AI 与不列颠哥伦比亚大学等团队的 AI Scientist，2026 年 3 月登上《自然》：从想点子、写代码、跑实验到写论文、自己审稿，全程自动。它生成的三篇论文里，有一篇通过了 ICLR 2025 一个研讨会的首轮同行评审，该研讨会的录用率是 70% [27]。不过作者在每个阶段都做了人工筛选，他们自己的内部评审也认为，三篇都达不到主会水平 [27]。
• Anthropic 在 2026 年 4 月做过一次演示：让 Claude 驱动的 Agent 自主研究“弱模型能否可靠地监督强模型”这个开放问题。两位人类研究员花了约一周，追回了约 23% 的性能差距；Agent 累计工作 800 小时、花费约 1.8 万美元算力，追回了 97%（官方口径）。但问题是人选的，打分标准也是人定的，成果还没能干净地迁移到生产规模的模型上 [23]。
• OpenAI 的公开目标是 2028 年 3 月前做出“自动化 AI 研究员”；现阶段的“研究实习生”仍是在人的指导下完成定义清楚的任务 [19]。

更细的刻度：METR 研究员 Ajeya Cotra 2026 年 4 月在个人博客上提出，衡量 AI 接管某个行业，可以看三个里程碑：够用（adequacy），把人全撤掉，AI 也能勉强往前推；持平（parity），撤掉 AI 比撤掉人的损失更大；碾压（supremacy），撤掉人反而效率更高。她认为 AI 研发眼下还没到“够用”：如果人全部撤出，Agent 大概会卡死，几周内研发就会停滞；但她也承认这并不显然，并预计几年内会跨过这条线（个人判断）[28]。

本书对应：第 7 篇讲这些系统本身；怎么量进展看第 8 篇，为什么还没“爆炸”看第 9 篇，实验室为这一级设的红线看第 10 篇。

一张图、一张表看全五级

和其他分法的关系

五级台阶不是唯一的分法。几种常见框架各有侧重，可以互相对照：

三个常见误会

台阶不是时间线，也不是互斥的格子。一个真实系统往往同时横跨几级；综述也提醒，同一个系统先改输出、再改评估器、再改研究方法，会在分类表里同时占好几个格子 [1]。

递归并不是第 5 级的专利。从第 3 级起就能出现“改进改进者”，STOP 和 Hyperagents 都是例子；第 5 级的特殊之处在于，被改进的是整个下一代模型，而且没人把关。

越往上，越难验收。第 1、2 级有答案可对、有测试可跑；到了第 5 级，“这个研究方向值不值得做”是最典型的无法自动验证的问题。综述认为，这恰恰是人还留在环里的原因之一 [1]。

接下来两篇从第 2 级讲起：模型怎样自己给自己造训练信号。先看“题从哪来”。👉 自己出题自己练：自博弈与合成数据

参考文献

• [1] Mingguang Chen, Licheng Wang, Bo Qu. “Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops.” 2026-07（v2 2026-09）. arXiv:2607.07663 —— self-X 词汇的混乱、“改什么 × 谁验收”两轴分类、验证等级、外壳的定义、方向设定难以验证。
• [2] Aman Madaan et al. “Self-Refine: Iterative Refinement with Self-Feedback.” 2023-03. arXiv:2303.17651 —— 同一模型生成、反馈、修改的循环，约 20 个百分点的平均提升。
• [3] Jie Huang et al. “Large Language Models Cannot Self-Correct Reasoning Yet.” 2023-10（ICLR 2024）. arXiv:2310.01798 —— 无外部反馈时推理题自我修正的失败。
• [4] Bentley DeVilling. “The Mirror Loop: Recursive Non-Convergence in Generative Reasoning Systems.” 2025-10. arXiv:2510.21861 —— 十轮无依据自我批评后信息变化下降 55%，一次外部验证即可回升。
• [5] Elroy Stav et al. “When Does Intrinsic Self-Correction Help? A Task-Sensitive Analysis.” 2026-06. arXiv:2606.23196 —— 自我修正的效果取决于任务结构。
• [6] Difan Jiao et al. “ThinkTwice: Jointly Optimizing Large Language Models for Reasoning and Self-Refinement.” 2026-04. arXiv:2604.01591 —— 解题与自我修正联合训练，Qwen3-4B 在 AIME 上的提升（作者报告）。
• [7] Eric Zelikman et al. “STaR: Bootstrapping Reasoning With Reasoning.” 2022-03. arXiv:2203.14465 —— 保留答对的推理、微调自己、重复。
• [8] Weizhe Yuan et al. “Self-Rewarding Language Models.” 2024-01（ICML 2024）. arXiv:2401.10020 —— 模型同时当答题者与评委。
• [9] Andrew Zhao et al. “Absolute Zero: Reinforced Self-play Reasoning with Zero Data.” 2025-05. arXiv:2505.03335 —— 单个模型自己出题、自己解题。
• [10] Chengsong Huang et al. “R-Zero: Self-Evolving Reasoning LLM from Zero Data.” 2025-08. arXiv:2508.05004 —— 出题者与解题者从同一基座共同进化。
• [11] Tony Lee, Percy Liang. “Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline.” 2026-05. arXiv:2605.26132 —— 只用无标注问题、三道自我验证关卡过滤后再训练。
• [12] Chengsong Huang et al. “G-Zero: Self-Play for Open-Ended Generation from Zero Data.” 2026-05. arXiv:2605.09959 —— 把自博弈推广到开放式生成任务。
• [13] Eric Zelikman, Eliana Lorch, Lester Mackey, Adam Tauman Kalai. “Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation.” 2023-10（COLM 2024）. arXiv:2310.02304 —— 改进器改进自己；语言模型未变，不算完整 RSI。
• [14] Jenny Zhang et al. “Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents.” 2025-05. arXiv:2505.22954 —— 改写自身代码加实测筛选，SWE-bench 从 20.0% 到 50.0%。
• [15] Jenny Zhang et al. “Hyperagents.” 2026-03. arXiv:2603.19461 —— 可编辑的元层修改机制、无穷元层级的论证、元层改进跨领域迁移（作者报告）。
• [16] Jiahang Lin et al. “Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses.” 2026-04. arXiv:2604.25850 —— 外壳自动演化，Terminal-Bench 2 从 69.7% 到 77.0%（作者报告）。
• [17] Lilian Weng. “Harness Engineering for Self-Improvement.” 2026-07-04. lilianweng.github.io —— 近期 RSI 更可能先从外壳入手的判断。
• [18] Jean-Stanislas Denain, Joe Kwon, Anson Ho. “Toward an O*NET for AI R&D.” Epoch AI, 2026-06-17. epoch.ai —— 把 AI 研发工作拆成六大类的提议。
• [19] OpenAI. “Research acceleration: The view inside OpenAI.” 2026-09-06. openai.com —— 六类工作的名称、Agent 用量按类别的变化、“研究实习生”与 2028 年目标。
• [20] Google DeepMind. “AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms.” 2025-05-14. deepmind.google；白皮书 arXiv:2506.13131 —— Gemini 内核提速 23%、训练时间缩短 1%，以及“加速了驱动 AlphaEvolve 自身的那个模型的训练”。
• [21] OpenAI. “Introducing GPT-5.3-Codex.” 2026-02-05. openai.com —— 早期版本参与调试自身训练。
• [22] Andrej Karpathy. “autoresearch.” GitHub，2026-03. github.com/karpathy/autoresearch —— 5 分钟训练循环、人改 program.md、Agent 改训练代码的分工。
• [23] Anthropic 研究院. “When AI builds itself.” 2026-06-04. anthropic.com —— 训练代码提速测试、弱监督强的自主研究演示、五个阶段与“闭环”（均为官方口径）。
• [24] Recursive. “First Steps Toward Automated AI Research.” 2026-06-11. recursive.com —— NanoGPT Speedrun 与 SOL-ExecBench 的结果（公司自报）。
• [25] Tong Zheng et al. “Dream-RSI: Recursive Self-Improvement through Evolving Worlds.” 2026-09-14. arXiv:2609.14858 —— 把探索历史当回放模拟器来改进搜索策略（作者报告）。
• [26] Ben Rank et al. “PostTrainBench: Can LLM Agents Automate LLM Post-Training?” 2026-03. arXiv:2603.08640 —— 23.2% 对 51.1% 的差距与 Agent 的投机行为。
• [27] Chris Lu et al. “Towards end-to-end automation of AI research.” Nature 651, 914–919, 2026-03-25. doi:10.1038/s41586-026-10265-5 —— AI Scientist 的全流程、研讨会评审结果、人工筛选与内部评审结论。
• [28] Ajeya Cotra. “Six milestones for AI automation.” Planned Obsolescence, 2026-04-03. planned-obsolescence.org —— 够用、持平、碾压三个里程碑及她的个人判断。