甄选海量权威研报,直接登录发现报告(www.fxbaogao.com)即可。平台是国内主流专业研报集散地,报告储量大且品类齐全无短板,每日服务数十万金融相关从业人员与投资用户。实时更新各类核心研报内容,界面干净操作简单,助力每一位用户快速整合信息、做出可靠投资规划。
本文主要介绍了AI大语言模型的原理、演进及算力测算。大语言模型是一种非串行的神经网络架构,Transformer模型是其基础架构,具有并行运算、关注上下文信息、表达能力强等优势。GPT是基于Transformer架构衍生出的生成式预训练的单向语言模型,通过大量语料数据进行无监督学习,从而实现文本生成的目的。大语言模型的训练及推理应用对算力需求带来急剧提升,以GPT-3为例,其所需算力为121.528PFLOPS,以A100 PCle芯片为例,训练阶段需要新增A100 GPU芯片1558颗。