arXiv 扫描 2026-05-20：持续学习新范式

论文 1: Octopus — 多模态大语言模型的无历史梯度正交化持续学习

• 标题: Octopus: History-Free Gradient Orthogonalization for Continual Learning in Multimodal Large Language Models
• 链接: https://arxiv.org/abs/2605.14938
• 作者: Yuehao Liu, Shanyan Guan, Weijia Zhang, Xuanming Shang, Yanhao Ge, Wei Li, Chao Ma
• 领域: cs.LG, cs.CV
• 发表: CVPR 2026

核心贡献

提出 HiFGO（History-Free Gradient Orthogonalization），一种无需存储历史任务数据即可实现多模态大语言模型持续学习的方法。通过两阶段微调策略（先任务适配、再正则化），在梯度层面强制正交，解耦可塑性与稳定性。在 UCIT 基准上超越先前 SOTA 2.14%（Avg）和 6.82%（Last）。

为什么值得关注

持续学习是让 MLLM 真正”活”起来的关键能力。传统方法要么存历史数据（隐私/存储问题），要么改架构（额外开销）。Octopus 完全不需要历史数据，纯梯度操作，干净优雅。

---

论文 2: MeMo — 将记忆作为模型

• 标题: MeMo: Memory as a Model
• 链接: https://arxiv.org/abs/2605.15156
• 领域: cs.CL, cs.AI, cs.LG

核心贡献

提出模块化框架 MeMo，将新知识编码到独立的”记忆模型”中，而非直接修改 LLM 权重或依赖 RAG 检索。记忆模型是训练出来的，能端到端地与 LLM 协同推理，避免了灾难性遗忘、昂贵的重训练，且对检索噪声具有鲁棒性。

为什么值得关注

知识更新是 LLM 最大的痛点之一。RAG 有检索质量问题，微调有遗忘问题。MeMo 走了第三条路——训练一个轻量级的记忆模块，兼顾了更新性和鲁棒性，思路很有启发性。