穿越智算奇点 解锁大模型的无限可能

解锁大模型的无限可能 （本材料所有文本，插图，均由A/自动生成 目CONTENT >他来了！他来了！他脚踏祥云走来了！ 你的新伙伴已经上线 2013年电影《HER（触不到的她）》 大模型有多“大"” 参数规模大：大于1,000,000,000,000个参数数据需求大：大于12个牛津图书馆资源消耗大：单次训练需耗费1.5亿人民币 你从哪里来？我的朋友大模型的历史脉络 人工智能的起源 早期的探索： 1950 1956 1956年的达特茅斯会议，“人工智能"被正式提出早期的AI研究集中在基于规则的系统和专家系统 人工得能概念最早可追溯到20世纪40年代和50年代1950年，阿兰图灵提出图灵测试 机器学习的复兴： 1990神经网络的兴起与衰退： 2006 21世纪，机器学习开始迅速发展2006年，杰册里辛额等人提出“深度学习“概念 20世纪60年代至80年代，神经网络开始受到关注由于算力和数据的限制，神经网络在90年代初遭遇低谷 Transformer（转换器）架构的革命： 大模型的诞生： 2012 2017 2017年，谷歌提山Transformer架构Transformer渠构为后续大模型的发展提供关键支撑 2012年，AlexNet实现图像识别领域的突破、随后，大模型开始在各个领域展现出其强大的能力， 预训练模型的兴起： 多模态模型的探索 2022 GPT等预训练模型出现，在语言任务领域取得突破预训练模型通过大量文本数据训练，能够更好地理解和生成自然语言 探索将文本、图像、声音等多种模态数据融合的大模型多模态模型为创意、娱乐、教育等领域提供新的可能性 “千万里，我追寻着你”国际大模型的创新浪潮 中国欢迎你，为你开天辟地”：国内大模型的极速崛起 腾讯混元：多模态智能的领跑者 月之暗面Kimi长文理解的先驱 04 2024年3月，放支持200万字超长文本应用：长文本理解、名能写作等 2024年5月，发布元宝、开源中文文生阁模型应用：戏，杜交、广告等场灵 阿里通义千间：电商智能的新篇章 智谱清言：分析与编程的高手 02 2024年6月，开源QWEN2应用：电商与营销领战的智能化 2024年6月，开源GLM-4-8B应用：f代码生成、Excal分析缩写 百川百小应：会提的小助手 百度文心一言：探索知识的深海 03 ·2024年5月，发布*古小应"APP应用：通过主动追问，引导月户提出需求 2023年10月，发布文心一言4.0应用：在线搜索，知识问答、学研究 你是电，你是光，你是唯一的神话” GPT4的考试成绩远超人类均值 AI生成作品在人类艺术竞赛获奖 2022.10美国科罗拉多州年度艺术竞赛Midjoumey生成的作品获得蓝丝带奖 美国生物奥林匹克竞赛：超过99%考生美国律师资格考试：超过90%考生美国高考：1410/600（写作+数学） 刷题不刷万亿遍哪敢自称学霸？ 大模型的关键技术 学霸的书架：海量训练数据 GPT4共学习13万亿token的洲练数据、类似子读完5200万本《唐持三百首》 学霸的大脑：基底大模型（FoundationModel) 基底大模型的定义：智能的基石 通常具有数十亿其至数方亿的参数基底人模型为智能系统提供基础能力 模型规模与性能：规模的力量 基底大模型的性能与规模密切相关当前最大规模：GPT4，1.8万亿参数 模型压缩：效率与性能的平衡 压缩模型，以减少模型的算力需求、技术：知识蒸馅、迁移、剪枝 学霸的心脏：智算底座 高性能集群 ·GPU组成的大规模并行计算集群，要点：并行处理、高速互联、资源调度 高性能网络 ·0.1%的掉包，会损失50%的算力，要点：低时延、高可靠 高性能存储 ·读写数据时，GPU资源处于等待状态■要点：快速读写、高吞吐，冷热分层 学霸的书桌：训练平台 资源优化与训练效率提升 ，简单堆机器，会导致分布式性能反降·优化算法，提高资源利用率，提升推理训练速度 一站式服务的训练平台 ，功能：模型选型，训练共建、部署应用训练方法：监督训练、人工反馈、强化学习 数据管理与模型版本控制 训练数据的准备、知识挖掘与增强、数据清洗与切块*向虽库建设与维护、模型版本控制 学霸的作业本：模型优化 模型精调：领域专家的塑造者 ，技术：针对特定任务或数据集进一步训练，日的：学习特定领域知识、提升专业任务表现应用举例：医疗行业，更好地理解电子健康记录 PromntEnaineerind 提示工程：智能引导的艺术 ，技术：设计精确的输入提示来引导模型：目的：在没有大量训练数据的情况下解决特定任务应用举例：教育行业，快速生成定制化学习材料 oratior检索增强：获得实时的海量信息 ：技术：检索外部信息源，提供软助信息：且的：提供更加精准，更加及时的信息应用举例：金融分析领城的智能投研助手 >你是我的阿拉丁神灯吗？ 大模型的典型应用 通才或者专才：通用大模型与行业大模型 通用大模型 行业大模型 ，概念：捕捉通用特征，处理多种通用任务构建方式：侧重于广泛的数据覆盖训练月标：良好的泛化能力·场景举例：搜索引擎、语言翻译、内容推荐 概念：针对特定行业定制，基丁通用大模型精调构建方式：侧重于特定领域数据的深度和质量训练目标：特定任务的性能场景举例：医疗诊断、法律分析、金融风险评估 VS 个性化智能：面向个人的大模型应用 个性化教育 辅助创作 ·语言学习·编程学习·知识问答 ·文案创作·音乐创作图像生成 娱乐互动 虚拟助理 ·虚拟陪伴·游戏角色虚拟偶像 ，日程管理信息查询智能家居控制 个性化智能：全球C端大模型应用概览 浅窥智能生活：腾讯的C端大模型应用案例 企业智能化：面向企业的大模型应用 生成式AI应用场景矩阵 横轴：企业业务流程（内部<=>外部）纵轴：业务改造程度分类（改善<=>创新） 88四大场景价值象限详解 运营效率提升象限：内部用户降本增效客户体验提升象限：外部用户提升体验产品价值创新象限：外部用户颠覆服务模式业务流程重塑象限：内部用户/构内部流程 企业智能化：大模型技术的行业渗透情况 企业智能化：AI百大应用场景 运营效率提升：以金融行业落地案例为例 运营业务流程自动化 办公业务流程简化 营销业务流程赋能 IT业务流程优化 ，定期向监管机构报送数据，捐助获取分析数据与生成报告，对话式交互快速定位异常原因 ，高信息化程度的金融机构·牛成式AI铺斯代码补全·如速APP研发送代速度 ，客户经理面对的产品知识序·牛成式AI拱供快速问答，节省学习理解产品的时间 会议纪要的白动生成，理解并准确生成专业术语，从流程中释放员工 客户体验提升：以医疗行业落地案例为例 诊前环节优化 诊后环节关怀 诊中环节辅助 忠者面对检查报告的困感·生成式AI提供医疗辅助诊断报告：提升医生检查效率 弥补诊后与医生的交互空缺生成式AI随时解答忠者用药疑感提醒用药，持续关心患者健康 解决挂错诊室、医生不匹配等问题生成式AI机器人协助忠者了解就诊科室完成预约挂号与精准医生推荐 大模型应用落地的三大路线 购买 深佑婚成 ·级爵平台·A开发平台·硬牛创新·云原生平台·应用研发·云原生平台·软硬加连·分布武A境力 ·积型服务·款招平台·应用研发·AI开发平台·云原生台 标准软件：腾讯企点营销云AI助手 场景挑战 业务与数据分析技能的脱节海量数据处理效率低下数据洞察依赖主观经验，缺乏严谨性 方案价值 02 专业：行业知识微调的大模型高效：智能归因自动识别指标异动易用：对话式交互，业务人员轻松上手可信：复杂间题的模型推理步骤可视化 标准软件：腾讯乐享AI助手 场景挑战 方案价值 高门槛的内容生产与低效的内容流转。长链路的内容获取与低利用率知识管理成本高昂，效果有限 智能问答：理解并自然语言回复智能写作：提供适配企业业务的写作大模型智能生成：理解业务知识并按规则出题 送给听众的礼物小彩蛋 你好季若段，我是乐享AI助手，你想让我帮你做什么？ 生成式A在金融行业有哪些应用？ 生成式A在金群行业的应用主要包括以下几个方面; 5IT业务流程中，生成式A/可以辅助IT技人员自助完成代码补全工作，从而提高了金融机构对客APP的研发选代速度。 专门解答智算与大模型问题的AI助手（扫码可获得使用权限） 腾讯云大模型知识引擎标准模型能力增强：效T 方案价值 大模型客服机器人的优势 低使用门：开箱可用的应用模板，可集成的原子能力API完普的工其链：模型选择、角色设定、提示词优化，知识库管理一站式流程：对话测试、修正、发布、反馈增强的一站式处理 多模态复杂知识处理；表格问答、复杂公式、图文关联解决复杂文档问题：文档解析、切分、检索、推理、生成多模态交互模式：支持多种翁人、输出格式 定制化模型精调：腾讯云行业大模型 腾讯云行业大模型概览 ·多个行业大模型：金融、医学、汽车、教育、文旅等超50个行业大模型解决方案·助力客户构建专属人模型及智能应用 算法层面的创新 ：基于混元技术能力，结合垂直行业业务场录·加入大量垂直行业专业数据进行精调训练数据安全和生成内容控制能力得到提升 定制化模型精调：腾讯云行业大模型一医学大模型 医疗行业数据 知识图谱数据 医学知识数据 医学专业数据 人卫等全套款材临床职业医师 定制化模型精调：腾讯云TI平台 业务挑战 方案价值 ·大规模并行训练的高稳定性要求。计算资源的稀缺性和高效调度需求 完善的大规模训练工具平台算力、存储、计算多重优化加速 定制化模型精调：腾讯云高性能存储 定制化模型精调：腾讯云星脉RDMA网络 自研高性能通信库TCCL一业务流量的“导航仪” 自研端网协同协议TiTa一以太网车道的“交警” 自研高性能网络架构一3.2Tb的超宽车道” 定制化模型精调：面向视觉场景的紫推理卡 紫霄V1：高性价比的国产推理卡 ·设计算力规格与A10相当显存带宽比A10高30%*在深度优化场景，最高可以做到A10的1.5-2倍性能 适合多种视觉大模型推理场景 >大模型和我或许都有美好的未来 大模型对未来经济的影响，可能会是颠覆性的 国内大模型未来发展的挑战 人才挑战：AI人才集中在美国 01 全球TOP2000顶级学者，美国占57%，谷歌微软/Me占17%全球60%的A1人才在关工作，其中三分之二来自国外，主要是中印 算力挑战：智算需求爆发式增长 02 ·GPT-5算力带求预计是GPT-4的9倍以上美国禁令对国内企业的算力需求产生较大影响自前国产训练芯片仅有算腾，且受限于产能和软件牛态 数据挑战：缺乏高质量数据集 03 中文语料数据集占比低于5%，多元化不足，缺乏专用领域开源数据数据荒正在到来，全球高质量语言数据预计在三年内耗尽 强大的AI智能体：大模型+工作流 基于GP工-3.5构建的智能体工作流在实际应用中表现优于GP工-4"Al智能体将在2024年推动人工智能领城的大规模进步。 AI权威学者吴恩达 AI智能体是什么？ AI智能体平台是什么？ AI智能体是能够感知环境、做出决策并采取行动的系统AI智能体山感知系统、决策系统、行动系统和学习系统构成 提供完整的工具和框架，用于便捷开发和管理AI智能体字节跳动的"扣子"，腾讯的"元器"都是A智能体开放平台 实例：如何快速开发一个"儿童家庭教师"AI智能体？ 案例：腾讯会议AI小助手 1）儿单道过微信语音向智能体提间（感知）2）智能体将语音转成文字、开理解问题（行动）3）智能体通过网络搜索和知识库获取相关知识（学习）4）智能体理解知识，并以生动的儿童化文字输出知识（决策）5）智能体将文字转化为语音，回答儿童的问题（行动）， Al小动手 刷刚讨论内客包括： ·小郭介绍略讯会议认证产品合作进度，已收80款申请