新一代人工智能技术正推动新一轮科技竞赛,科技企业全面开启AI转型。微软、Google、苹果等巨头纷纷布局,百度、阿里、华为等中国企业也制定相应战略,DeepSeek开源推动AI应用发展。AI技术和产业进入爆发期,众多行业将被改变、重塑、颠覆。AI 2.0带来的平台型机会将比移动互联网大十倍,中国迎来平台竞逐的历史性机遇。
大模型对算力产生爆发式需求,算力成本居高不下,百亿级算力投入成为主要开销。外部限制增强,算力国产化势在必行。国家力量推动智算中心建设,引导国产算力发展,上海、北京、江苏等地均提出国产算力使用占比目标。国产算力持续增长,但利用率普遍偏低,面临软件生态的挑战。
为改变国产大模型软件生态,需做好10个核心关键基础软件。清华大学相关研究成果包括“八卦炉”智能算力核心基础软件,在神威超算平台实现。国产算力基础设施方面,神威超算性能相当于1.8万块英伟达A100,支持“八卦炉”系统。
“八卦炉”基础软件系统包括PowerFusion智能编译器、FastMoE大模型并行加速系统、Einet图算融合智能编译器、FreeTensor面向不规则智能程序编程语言、FastDecode高吞吐大模型推理系统等。八卦炉支撑多个大模型训练任务,如悟道2.0、M6等,以及AIforScience应用程序,实现百万亿参数量预训练模型加速。
“八卦炉”已在国产超算系统成功移植百川、LLAMA等大模型,精度验证与其他平台一致。八卦炉适配大模型推理加速,清程Pro推理服务器提供高达7倍吞吐提升能力。摩尔芯片适配主流大模型移植与优化,FastMoE采用新的并行策略,解决MoE模型训练问题,取得1.32倍加速比。
高性能图算融合编译器IntelliGen优化基础算子性能。开源大模型推理引擎赤兔在A800集群上部署DeepSeek-671B满血版,输出速度提升3.15倍,支持国产沐曦芯片,采用FP8在线转换技术,节省一半资源且精度几乎无损。赤兔支持混合精度量化,提供更高的模型精度,并支持单GPU完成DeepSeek大模型推理。
总结:发展人工智能领域,构建国产智能算力至关重要。智能算力的软件生态是当前制约我国人工智能发展的关键因素。硬件灵活性有限,软件相对灵活,优秀的系统软件能够充分释放底层硬件算力潜力。