《gemini 3学会“自我升级”？谷歌的“嵌套学习”最新论文解读》 这可能是google通往agi之路，完美匹配世界动力模型。 这也将再一次拉动从存储到通信的需求，进一步加剧供需紧张 -- 题记 原来的大语言模型LLM在训练完成后，就像患上了“失忆症”，无法真正将新知识吸收为长期记忆。 这就是目前大型 AI（如 GPT 或早期 Gemini）面临的困境 。 谷歌研究人员在新论文《Nested Learning: The Illusion of Deep Learning Architectures》提出的嵌套学习（Nested Learning, NL）范式 和由此诞生的 HOPE 框架，正在打破这一僵局。 有专家认为，这篇论文的重要性不亚于LLM行业那篇知名的开山之作《attention is all you need》 它不再将 AI 视为一个固定的“知识库”，而是一个由无数个“学习者”嵌套组成的动态系统 。 HOPE 赋予了 AI 持续“自学”和“自我修正”的能力，让模型真正具备了持续自我生长的能力。 1. 理论基础：AI 学习的“人脑模式” 1.1 🔬 深度学习的“错觉”与 NL 的真相 传统的深度学习模型（如 Transformer）像一块扁平的蛋糕，一层层堆叠起来 。NL 认为这是一种错觉, 它隐藏了模型内部真正的学习机制。 NL 的真相： 任何复杂的 AI 模型和它的训练过程，都可以分解成一系列嵌套的、多层次的优化问题 。 优化器也是记忆： 甚至我们用来训练模型的优化器（如 Adam 或 Momentum）本身，都被 NL 证明是一种联想记忆模块，致力于压缩过去的梯度信息。 1.2 🧠 灵感源头：人脑的“多时间尺度”更新 NL 借鉴了人脑的机制 ：人脑中不同的神经区域以不同的频率更新信息 ： 高频层： 快速响应，处理即时信息（短期记忆）。 低频层： 慢速整合，将短期信息固化为长期知识（长期记忆） 。 HOPE 框架的核心目标就是将这种“多时间尺度更新”机制引入 AI 架构。 2. HOPE 的两大核心能力：持续学习与自我修正 HOPE 框架通过其两大创新模块，解决了现有大模型的静态化问题： 2.1 连续记忆系统 (CMS)：让记忆永不停止 解决“失忆症”： 现有的 LLMs 在预训练后，其参数（长期记忆）基本固定，新知识只能存在于短期的“上下文窗口”中 。 CMS 机制： CMS 将模型的知识存储模块（FFN）扩展成多套 FFN 模块，每套模块都有自己的更新频率 。 持续固化： 低频的模块可能只在处理了大量新数据后才更新一次，从而将新知识缓慢但持续地整合和固化到模型的长期参数中 。 2.2 🛠️ 自修改巨头：模型学会“如何学习” HOPE 中加入了“自修改巨头”模块 ，这是一种高阶元学习机制。 意义： 模型不再依赖于外部固定的学习规则（如 Adam），而是通过一个嵌套的优化问题，递归地学习如何改进和优化自身的参数更新算法。 递归自我改进 (RSI) 的基础： 这是实现模型自我升级和递归自我改进（RSI）的关键第一步。 3. HOPE 框架对未来的影响 HOPE 不仅在基准测试中表现优于 Transformer 和 Titans ，更重要的是它进一步明确了一个可能的AI 进化的新方向。 3.1 加速大世界模型的进化 世界是动态的： 真实世界的规律和知识不断变化。 HOPE 的价值： CMS 提供的持续学习能力 和多时间尺度建模能力，使得大世界模型能够实时吸收和模拟世界的动态变化、因果关系和长期规律 。 3.2 📈 递归自我改进 (RSI) 的重要一步 如果说递归自我改进是agi实现的必要条件，那么Hope框架让我们更清晰的看到了这条路的方向。不夸张的说，HOPE不但是大模型能力的一次提升，更是一条scaling law的新增长曲线。 目前进展： HOPE 框架成功搭建了 RSI 的基础结构 ，验证了 “学习如何更新” 和 “持续固化知识” 两大核心机制的可行性。 未实现的部分： 尚未实现对目标函数的自主修正、多层次的递归深度以及对模型所有功能模块的广度改进。 提速预测： 对于有明确目标函数的狭义 AI 任务（如优化代码或策略），HOPE 机制可实现极快的自我改进。在多个狭义ai领域突破后，通用 AGI的能力可能就会从中涌现。 4. 商业与工程：存储和通信的挑战与机遇 HOPE 框架要求更高的硬件能力，这也为相关供应商创造了巨大机遇： 4.1 💾 存储增加与内存消耗 静态存储 (参数量): CMS 将 FFN 扩展为多套模块，这意味着模型参数量可能增加 10% 到 50%，需要更多的存储空间。 动态内存 (RAM): 运行时，模型需要额外的内存来存储和管理多层次的梯度流和多时间尺度的记忆状态。 4.2 🌐 全面升级通信网络 HOPE 对分布式训练的网络要求是全方位的提高： 芯片间/主板上通信： 需要极高的带宽来管理 CMS 的内存状态和高频层更新。 受益供应商： NVIDIA (NVLink)，AMD (Infinity Fabric)，Samsung/Micron (HBM)，Intel (CXL). 机柜间/集群间通信： 要求网络支持非均匀、多时间尺度同步，即不同层级的梯度以不同的频率在集群中交换。 影响： 这将加速数据中心向 800G/1.6T 光模块升级，增加光模块的绝对数量和价值量，利好光模块、InfiniBand 和 DPU 供应商。 结论： HOPE 框架不仅是 AI 架构的一次创新，也是scaling law的又一次加速，更是未来数据中心基础设施升级和实现通用自我改进 AI 的一次清晰预演。 加速再一次被加速！ （论文链接见下推）