大模型技术白皮书

大模型行业发展分析目录同方计算机大模型能力大模型高阶实施策略与路径大模型行业案例分享 01020304 大模型行业应用发展：跨越拐点，加速进入大模型时代AI大模型技术快速成熟，AI算法与应用的开发、上线部署与业务发放等过程均大幅简化小模型时代场景专属化烟囱式赋能CV/语音等场景机器翻译以文生图视觉描述以图生音语音识别模型1模型2模型3模型4模型5算力1算力2算力3算力4算力5业务1业务2业务3业务4业务5大模型时代场景通用化一套AI系统使能全业务流创新机器翻译以文生图大模型原生计算平台(AI集群)业务1业务2实际作用：很有限颠覆性使用难度：很繁杂很简洁边际成本：线性增长零增长主流基础大模型10~20个外部开源可获取的约5个Pytorch框架为主在大模型开发中占90%+基于Transformer decoder客户自定义算子数量可控数万小模型字节即有上万个自研模型PyTorch、TensorFlow，Caffe，飞桨等多框架CNN/LSTM/GAN等多种架构客户自定义算子数量巨大，适配优化难度高1.模型基础架构收敛跨越可用性及可落地拐点4大技术收敛&简化3.客户自研算子收敛2.主流模型数量收敛4.主流开发框架收敛 TSINGHUA TONGFANG视觉描述以图生音多模态基础大模型业务3业务4TSINGHUA TONGFANG TSINGHUA TONGFANGChatGPT将加速行业向智能化发展，垂直领域大模型和场景深度融合律师行业1.某北京律师事务所客户希望借助行业大模型，律师事务所可以创新服务模式，包括案例检索、录音分析、法条对比、法条分析。能源行业2.某贵州电力集团贵州某传统能源企业，具有电力行业数据基础和集团数据中心优势，数据和算力很充足，希望AIGC能够为企业带来快速准确的信息查询、优化班组管理流程、提升知识图谱应用便捷性等。文创行业3.某北京出版集团目地是基于目前国内的AIGC大模型做细分领域定制化开发。一是对内，实现内部管理和图书出版效率提升；二是对外，把出版社自身积累的版权数据资产化，然后接入这个模型，进而推出一些消费级的应用。金融行业4.某国际银行科技部(广州)某国际银行科技部希望构建研发工程领域私有大模型，在解决IP问题、数据安全问题，在工程安全可信的前提下，实现编码、测试的工程的30%~50%提效，并希望树立标杆推至全球总部。客户需求基于AI引擎满足客户的需求ChatGPT将加速行业向智能化发展，垂直领域大模型和场景深度融合，带来软件服务产业的新机遇，软件产业人才结构中，算法工程师和智能化解决方案顾问需求量将大增。 TSINGHUA TONGFANG大模型重塑产业格局，行业核心场景，迎来生产力变革新机遇OpenAI：未来50%的人类工作任务场景将被ChatGPT影响AIGC大模型模型基础能力模型能力开放行业知识结合智能对话短文创作图片生成视频生成商业文案代码开发结构化感知办公平面广告内容推荐网站制作内容搜索网络自治智能风控医疗咨询辅助诊断大数据分析3~6个月6~12个月12~24个月2023智能问答基于行业通用数据进入通用业务场景，使能大量通用软件基于行业核心数据进入2B/2G生产系统，使能行业核心软件基于公开数据集数据2C应用为主，催生现象级应用量化交易文档写作编程设计搜索文档摘要城市大脑社交消费智能客服新闻采编内容剪辑分子生成智能教学Source：OpenAI、Frost & Sullivan、HW MI2C应用的挑战在于用户商业付费挑战大：使用门槛较低，用户量大且接受度高，落地及成长速度快，但客户付费意愿偏低，商业闭环挑战大2B应用的挑战在于和行业数据&应用的深度融合：行业数据积累、模型调测和行业应用集成均需要时间，但客户付费能力强，未来增长及盈利空间广阔营销精准获客调研报告视觉语音语义生成海 量 离 散 小 模 型向少 数 大 模 型 汇 聚微软、Google、阿里、百度等，都在基于大模型重塑其2C、2B等应用软件TSINGHUA TONGFANG 通用化与专用化并进大模型产业链：下游发展方向通用大模型统一架构、统一模态、统一任务反哺数据技术落地专用大模型通用预训练+专业领域训练=业务场景应用通用化向专用化演进专业化令通用化增强 大模型应用风险技术风险数据清洗能力不足数据整备性差鲁棒性不足。。。增强数据治理 同方计算机大模型能力1.大模型研究能力2.大模型咨询规划能力3.应用方案落地能力5.数据服务能力6.安全服务能力4.算力基础设施能力 行业应用研究银行、保险、电力、工业、文创、专业服务等行业ChatGPT已具备商业应用的基础，深耕行业的AI数据服务，此次联手微软（Open AI）、百度文心，率先接入ChatGPT功能，进行场景化解决方案设计，在银行、保险、电力、工业、文创、专业服务等行业，已形成保险理赔、智能招聘、智能客服、数字人等场景解决方案，更多行业场景与大模型的融合工作，仍在不断探索。行业服务ChatGPT加速专业知识生产力转化•保险理赔•智能营销•接报案•车辆定损•班组管理•图谱检索•智能问答•文本生成•代码生成•测试与运维•维修诊断保险行业银行行业能源行业制造业企业管理ChatGPT实现企业降本增效•企业知识库•咨询问答•文案生成•图片生成•翻译•写岗位需求•提取岗位画像•提取人才画像•简历筛选•自动化面试•政策法规咨询•问题解决咨询•智能个人助理•工单自动提报•自动外呼通知•各类公文撰写•政策法规解读•员工自动访谈•员工离职调研•人才画像总结通用服务客服招聘HR人事 TSINGHUA TONGFANG专业服务ChatGPT提升服务竞争力•领域知识获取•分析框架提供•分析结果解读•报告附注生成•报告自动生成•市场调研报告•营销方案撰写•营销推广优化•客户分析报告•决策建议提供•法律知识查询•帮助合同起草•法律咨询服务•各类文书撰写•诉讼纠纷支持•自动化编程•代码翻译/检查•产品需求文档•测试用例编写•自动化测试财务法务市场营销研发 1. AI虚拟数字人场景应用展厅讲解员直接利用GPT强大的理解能力+知识库挂载+数字人形象，实现展厅数字人开发落地应用。语音识别关键词提取知识库检索输出AzureGPTFessTwinsl语义理解和对话技术计划节后即在展厅部署测试。 上下文构建语音转唇形微表情控制微表情控制我们SPACExIssMortal 2. AI数字孪生建模和仿真引擎场景应用3D自动建模照片阵列建模语义分割技术零样本，高效率采用Facebook最新开源，万物可分技术应用场景：工业的设备及工艺品模型快速构建。目前进展：可以实现快速分割，提取建模目标自动建模技术：基于语义分割照片阵列建模 TSINGHUA TONGFANG拍摄时即完成目标分割少量样本即可快速建模建模速度提升200%以上 TSINGHUA TONGFANG3. AI咨询业务的应用资料采集、信息提炼、编写文档、资料整理、互动交流资料采集信息提炼编制文档资料整理互动交流AIGCChatGPT可与人类进行流畅的文本问答Copilot可自动编写代码DALL·E2由文字描述生成图像，如：An astronautridinga hourseasapencildrawingSynthesia可将输入文本合成不同述说风格的视频资料采集：收集相关的专业知识和法规标准。提高学习效率，扩展顾问的知识面，使能跨专业服务能力。信息提炼：1、对采集到的资料进行整理和提炼，形成纪要；2、协助顾问分析问题，提供通用解决方案、案例编制文档：1、协助顾问制定文档提纲和初稿2、生成图片、视频，把顾问的想法用多种媒体模态呈现出来3、协助顾问撰写解决方案文档。资料整理：对成果整理形成知识库，提高AI能力互动交流：在语音翻译、图像、视频等内容提高客户培训体验AIGC可以在收集资料、信息提炼、编制文档、互动交流、资料整理等五个方面辅助咨询业务。 14 基础设施层1：训练服务器VectorCore大算力Cube Core昇腾910B集合通信库：PCIe+HCCS +RoCEDVPP（数字图像预处理器）NV A100数据预处理：采用CUDA软解码数据处理：DVPPTensorCore通信接口PCIeCUDACore•通过芯片内置DVPP单元实现数据预处理，提高预处理能力•采用高性能大矩阵计算单元，实现大算力输出•HCCS高性能集合通信库，支持大规模集群高性能数据通信训练服务器NPU板昇腾910B支持4 / 8910 基础设施层2：推理平台应用场景集成于服务器，进行AI推理可应用于互联网、智慧政务、智慧金融以及其它行业的推理场景单卡提供最大140 TOPS INT8算力领先业界主流产品提升50%超强算力推理平台插卡式支持1或2张卡Atlas 300T训练卡支持1 ~ 8张卡Atlas 300IAtlas300I ProAtlas 300V Pro*推理卡/训练卡不能混插使用 单卡实现能效比达1.94 TOPS/W领先业界主流产品 20%超高能效 TSINGHUA TONGFANG通过数字签名对待加载运行的软件（或固件）的完整性进行强校验，是构建可信的起点安全启动 平台组件：CANN，软硬协同充分释放澎湃算力CANN2.059.8秒CANN1.0推理CANN2.0训练CANN3.0推理+训练端边云协同软硬协同性能再翻倍2018.092019.092020.082021.12加速模型训练提升推理效率完善生态满足度亲和昇腾的图编译技术1300+高性能算子支持ModelZoo800+模型全面覆盖典型场景应用高性能推理引擎ATCSuite推理效率提升50%CANN3.0CANN3.0计算机视觉ResNet-502X自然语言处理BERT-Large2.5X 平台组件：MindSpore及服务能力19MindSpore正式开源MindSpore1.0全场景AI计算框架MindSpore1.5使能科研创新与产业应用MindSpore2.02020.032020.092021.09支持全场景部署模型跨平台免转换一次开发端边云全场景部署支持全场景应用5,000+应用已上线科学计算新范式性能倍级提升电磁仿真套件MindSporeElec分子模拟套件MindSporeSPONGE调优时间60%原生支持大模型训练加速创新千亿大模型并行代码数量80%数据管理咨询服务数据采集数据标注数据集管理需求分析可行性分析方案设计AI专业服务算法迁移迁移评估模型适配精度校验算法调优性能调优精度调优模型调优 一站式AI开发平台Ø手工标注；Ø半自动化标注；Ø自动化标注；数据标注Ø数据集ETL；Ø数据清洗；原始数据便捷数据处理WEB UI简单易用高效低成本数据标注&低代码/无代码模型开发与优化&一键部署&丰富的预置模型与工具包支持 Ø超参调优；Ø模型评估；模型优化Ø模型裁剪；Ø模型量化；Ø云边端一键部署；Ø低代码建模；Ø无代码建模；Ø交互式建模；Ø批处理建模；Ø多框架支持；Ø分布式训练；模型开发多训练框架多种交互开发模式分布式模型训练数据处理、模型开发、模型优化、模型部署、推理服务；使能科研人员，有效降低AI开发与落地门槛。 Ø中心侧推理；Ø边缘侧推理；Ø终端侧推理；模型部署高效率模型部署 AI开发平台，模型持续高效迭代，具有超高能效95%99.99%0持续保持模型指标模型调优模型上线终身训练推理服务持续部署模型性能持续监控模型管理难例数据持续筛选复判+标注原始数据持续集成训练模型持续迭代场景化模型开发离线数据采集数据标注数据采集、标注、模型训练、部署、监控及数据回传完整闭环模型持续迭代 大模型数据服务全景数据收集①文本文档②API接口③数据对接数据清洗①数据整理②数据打标③降噪处理 服务—数据收集及清洗数据治理数据标准•通用数据标准•行业数据标准数据质量•数据校准主数据•主数据模型•主数据管理元数据•维护数据字典•业务描述•技术定义生命周期•数据等级管理•生命周期管理数据安全•加密管理•访问权限管理规范设计需求分析•收集数据来源•分析数据质