这份研报分析了大模型发展的不同阶段,重点探讨了递归自改进(RSI)阶段的概念、特点及其与推理时代的差异。报告详细介绍了海外头部公司如Anthropic和OpenAI在RSI领域的进展,并引用了MIT的研究成果,展示了大模型通过自我迭代提升性能的可能性。此外,研报还探讨了RSI阶段对国内投研Agent的启示,指出未来Agent可能通过自我迭代优化投研框架。
大模型行业正从对话时代和推理时代迈向递归自改进(RSI)阶段。对话时代主要关注幻觉和上下文记忆,推理时代则通过强化学习提升推理能力。RSI阶段的核心是模型通过自我迭代不断改进自身,人类参与度逐渐降低。目前海外头部公司在RSI领域领先,国内需关注代码能力积累和算法突破。未来RSI可能推动模型能力跨越式提升,但参数量增加可能导致效果下降,仍需进一步验证。
研报重点分析了递归自改进(RSI)阶段,包括其概念界定、与推理时代的差异、海外头部公司进展以及MIT的研究成果。报告详细介绍了Anthropic的Claude如何参与代码生成、训练、评测等环节,以及OpenAI如何实现自动化研究实习生。此外,报告还探讨了权重空间编辑技术,展示了大模型直接修改权重提升性能的可能性。
当前大模型市场正从推理时代向平台期过渡,推理模型能力提升增速放缓,头部公司能力差距缩小。海外头部公司在递归自改进(RSI)阶段领先,国内需关注代码能力积累和算法突破。RSI阶段尚未跳出Transformer架构,但已展现出模型自我迭代提升性能的潜力。未来RSI可能推动模型能力跨越式提升,但参数量增加可能导致效果下降,仍需进一步验证。
研报提示,递归自改进(RSI)阶段虽然展现出模型自我迭代的潜力,但仍存在风险。首先,RSI阶段尚未跳出Transformer架构,技术突破仍需时日。其次,参数量增加可能导致效果下降,需要进一步验证。此外,国内在代码能力积累和算法突破方面仍需加强。最后,大模型发展过程中可能面临算力、数据、伦理等方面的挑战,需要持续关注。