12前瞻研究院
就零一方物的观察和分析,大模型社区在技术架构方面现在是一个处于接近往通用化逐步收找的阶段,基本上国际主流大模型都是基于Transfomer的架构,做attention,activation,normalization,positionalembedding等部分的改动,LLaMA、Chinchilla、Gopher等模型的架构和GPT架构大同小异,全球开源社区基于主流架构的模型变化非常之多,生态呈现欣欣向荣,国内已发布的开源模型也绝大多数采用渐成行业标准的GPTLLaMA的架构。然而,大模型持续发展与寻求突破口的核心点不仅在手架构,而是在手训练得到的参数。