Bilevel Autoresearch:自我优化的自动研究
一个递归的疯狂想法
Section titled “一个递归的疯狂想法”如果我们用自动研究工具来优化自动研究工具本身,会发生什么?
这不是思想实验——Bilevel Autoresearch 把这个想法变成了现实。
- 内层循环:执行标准的研究流程(搜索、分析、实验、总结)
- 外层循环:评估内层的效果,然后生成新的搜索机制注入内层
外层循环从组合优化、多臂老虎机、实验设计等领域自动发现了有效的机制——完全不需要人类指定要探索哪些领域。
在 GPT 预训练基准上实现了 5 倍性能提升。
:::note 为什么有效? 这些机制之所以有效,是因为它们打破了内层循环的确定性搜索模式,强制探索 LLM 先验会系统性忽略的方向。 :::