持续学习产业更新-0813

❷结合Ilya过往访谈可推测，SSI的方向大概率就是持续学习——#让模型从少量经验中抽象规律并迁移到新任务，而非继续靠海量pre-training数据覆盖问题空间。#持续学习的范式变化核心是"经验必须进权重"。持续学习一旦跑通，数据飞轮将从互联网存量数据切换到真实工作流的增量经验，#模型将从发布即巅峰的折旧资产变成复利资产，"部署即训练"随之成立——最好的模型吸引更多人用它干更难的活、换回更高质量反馈、变得更强，领先回报从线性变复利。 ❸持续学习对AI lab的格局将产生巨大影响。当前模型近乎零切换成本，Model/Harness/Context三者互可分离。而持续学习后，换模型等于开除一个积累了数月组织上下文的员工，#理论上用户的切换成本会大幅提升，AI lab将形成真正意义的用户数据飞轮，从而加速AI lab的格局收敛。 ❹产业对持续学习也部分持有反方观点。例如，白领知识工作大多是显性知识，AI能秒级完美吸收1M token级详细笔记，那么长上下文+检索的模式可能就够用了，且还具备无状态模型+上下文配置可组合、可审计等优点；其次，若持续学习的AI无法区分反馈质量、甚至被恶意投毒，飞轮可能转成负反馈，且对性能变化的可解释性会变得更无解。 ❺持续学习对传统推理Infra提出了巨大的挑战。现在的模型推理是建立在所有用户共用同一份冻结权重，靠大batch size摊薄读权重的开销；而换到持续学习的语境下，更新Fast Weights→每个用户的权重都不一样，batch就凑不起来，权重一更新、之前的KV缓存也会作废，这意味着#推理系统需要从无状态变成必须记住每个客户状态的数据库，对计算/存储/网络/调度的需求影响不再是看模型参数大小那么简单。站在产业观察的角度，#持续学习要比RSI、重回预训练等资本市场热议的叙事具有更重大的产业意义，后续进展值得关注。