大模型时代下的个人成长

吴锦晟2023.9 •近20年coding的经验； •AI领域的创业，声纹和虹膜识别方向； •参与部委多个智能算力及AIGC政策制定； •多个城市级智算中心的规划和落地； 吴锦晟 •经历数个大模型的训练过程； 资深技术专家首都在线生态副总裁TGO（上海）学员 •大规模推理应用部署和交付经验； •2020年加入TGO； 大模型时代的个人成长 ①大模型的演进史与未来洞见②关于大模型，我们应当了解的③国内大模型的产业链情况④大模型时代的个人成长——以个人为例 大模型的演进史与未来洞见 GPT与国产大模型的演进时间轴 大模型的演进史与未来洞见 动机：AGI快速推动NLP的发展 •神经网络语言模型发展迅速 •2017-18年，随着Transformer的诞生，语言模型规模迅速扩大•数据规模：使用数T大小的纯文本训练；模型规模：从1亿参数到1750亿参数•BERT, GPT-1/2（成本～$30k）->GPT-3（成本~$12M）->GPT-4（？）•早在2020年GPT-3时，人类已开始无法准确识别其生成的新闻“涌现” 大模型的演进史与未来洞见 发展：AGI为何受到重视 •大规模模型的摩尔定律：模型算力需求迅速增长 -单模型计算量每年增长10倍 •机器智能的规模效应：量变到质变的能力 -千亿稠密参数（~100B，或1023 FLOPs训练量）时模型能力开始出现“涌现” 关于大模型，我们应该了解的——核心能力（1/2） 涌现 We will consider the following general definition of emergence, adapted from Steinhardt (2022) androotedina1972essay called“More Is Different”by Nobel prize-winning physicist Philip Anderson (Anderson, 1972): Emergence is when quantitative changes in a system result in qualitative changes in behavior. 涌现是指系统的数量变化导致行为的质量变化。 In this paper, we will consider a focused definition of emergent abilities of large language models: An ability is emergent if it is not present in smaller models but is present in larger models. 如果一种能力不存在于较小的模型中，但存在于较大的模型中时，就是涌现能力。 1. Emergent Abilities of Large Language Models 关于大模型，我们应该了解的——核心能力（2/2） 几个最常用的涌现能力 •Translation 60B •Math 60B •In-context Learning 130B •Chain-of-thought reasoning 130B •Knowledge combination 530B •Emotion Perception 530B 大模型的演进史与未来洞见 生成式AI从现有的内容中学习，以生成反映训练数据特征的新的、逼真、但并不重复的内容。生成式AI可以生成各种新颖的内容，例如图像、视频、音乐、语音、文本、软件代码和产品设计。 《太空歌剧院》，该作品在美国科罗拉多州的美术大会上获得了数字艺术部门的第一名，AI绘画自此走入聚光灯下 关于大模型，我们应该了解的——应用场景（1/3） 关于大模型，我们应该了解的——应用场景（2/3） 关于大模型，我们应该了解的——应用场景（3/3） AIGC应用场景广泛，其功能覆盖各个板块，我们将其分成生成应用和布局、搜索和数据分析、程序生成和分析、文本生成、内容创作、一般推理和其他七部分。 大模型的演进史与未来洞见 普惠性用的上工程化 国内大模型产业链情况 发展 挑战 •硬件的卡脖子；•人才和技术瓶颈；•商业模式的明确；•安全和隐私；•数据的问题；•合规的考验； •大模型向多模态发展；•智能算力拥有更高性能；•大模型训练效率和性能优化；•有质量的中文数据集的量级提升；•模型的服务化（MaaS）；•法律法规的完善，标准的建立；•人才体系的建设和队伍的完善； L1：技术成长——看不见的软技能 L1：技术成长——看不见的软技能 L2：技术管理——实践方法论 品鉴师or厨师长？ L2：技术管理——实践方法论 个人成长——自我的突破 大模型时代的个人成长——大模型对我的影响 •提供知识，随身的知识库•结构化的梳理内容•帮我撰写各类文件•建立大模型相关的知识体系•拓展产业圈的人脉 大模型时代的个人成长——回顾近一年的历程 •AGIInfra•AIGC•国产化适配•英伟达产能及异构计算•AGI培训 大模型时代的个人成长——自我思考（1/3） 如果机器能够思考，我们应该具备怎样的能力？ 大模型时代的个人成长——自我思考（2/3） 自我成长的动力循环 大模型时代的个人成长——自我思考（3/3） •技术的升级和转型•跨学科的素养和融合•善于实践的能力•勇于创新和探索•做好职业规划和目标的调整 大模型时代的个人成长——应对变化的判断 维度 •技术发展的趋势•行业的变革•政策和法规•市场的需求•国际形势 •历史经验•技术的关键突破•市场需求•社会关注点（热度）•大家的意见 大模型时代的个人成长——验证的方法 •自身的实际情况•科学的数据分析•实践的结果•前瞻性技术的自我判断 最后 lumicanvas.capitalonline.net首云曜图创作平台智谱清言chatglm.cn