新范式 新时代 新机会奇绩创坛深圳分享2023年4月23号 新范式01新时代0203新机会04奇绩创坛05问答目录 目录 新范式01新时代0203新机会04奇绩创坛05问答目录 目录 新范式的新拐点“三位一体结构演化模式”：人、组织、社会，数字化“信息”系统“模型”系统“行动”系统 感 知 思 考 实现 与环境互动更好地满足人类需求以数据为信息媒介通过观察与整个人类环境交互捕获环境的信息将数据转化为知识表达，通过推理和规划来实现预期目标的记忆和泛化与环境互动，控制能量转换，实现对物理、生物世界和人类社会的控制，达成预期目标 模型（知识）生态系统 行动（实现） 生态系统通用智能涌现、代理功能可见、具身人类：信息-模型-行动系统：信息-模型-行动人类：信息——模型 — 行动系统：信息-模型-行动人类：信息-模型-行动系统：信息-模型-行动我们当下的位置- 模型与人和社会的关系- 拐点后新范式的发展格局1995-96 互联网范式：信息无处不在2022-23 新范式：“模型”知识无处不在下个范式：“行动”无处不在自动驾驶、机器人空间计算共同进化 信息（感知）生态系统第一代系统第二代系统第三代系统② PC客户端服务器① 个人电脑 / 磁盘操作系统③ Web-1个人电脑互联网④ Web-2移动互联网/云计算⑥ 元宇宙⑦ Web-3 ⑧ 脑机接口⑨ 量子⑩ 生物基⑤ AI / 边缘计算人类环境2023-4-234 财富能力知识人类的无尽追求驱动力结构进化系统探索优化空间时间知识降本增效信息能量科技 “可编程”: 串联信息“可执行”: 能量转化目标: 更好地满足人类需求解释预测归纳 演绎科学范式：第1-2-34(5)(数据和计算驱动)经济农业化、工业化、数字化新能源科技新材料科技新空间科技新生命科技不断演进的数字化平台人工智能/边缘计算（大模型/知识生态系统，自动驾驶-机器人/行动生态系统）新兴平台（元宇宙，web3，脑机，量子，生物基）移动互联网/云（信息生态系统）数字化程度越来越高 => 软件吞噬世界｜科技产业 = 创新成为生产力资本 <= 更高的能量转化效率时间经济产出197120231700农业化工业化 数字化 AI 边缘计算PC 单机PC 客户端服务器PC (Web1) 互联网Mobile (Web2) 云端元宇宙，Web3, 量子, 脑机接口，生物基新范式对技术驱动人类发展的多维度影响技术驱动人类社会发展的结构与范式更迭新范式的历史环境2023-4-235 经济产出信息化知识化数字化自主化17001971时间2023工业化农业化时代 农业化工业化 数字化：信息无处不在数字化： 模型无处不在数字化：自主化行动无处不在人作为核心生产力人：体力为主简单工具没有流动性人：体力为主，脑力为辅机械、电器、电子等自动化工具地域流动性人：脑力为主，体力为辅电脑，手机等信息化工具全球流动性人：创新为主，其他为辅新一代认知思考能力工具逐步替代脑力劳动人：创新探索下一代自主行动工具全面替代脑力和体力劳动经济范式农业经济商品经济服务经济体验经济（暂）AI经济代表职业农民工人码农，设计师，分析师创业者，科学家人类新价值系统技术驱动发展的社会化更迭新范式的社会影响2023-4-236 、GPT-4GPT-1至今2016年12月OpenAI 成立获1亿美元初始投资2019年与Microsoft建立战略伙伴关系2023年3月OpenAI1亿美元融资2017年9月OpenAI1亿美元融资2018年4月2020年7月OpenAI1.75亿美元融资2021年7月OpenAI30亿美元融资微软领投，黑石、丰田、Silver Lake跟投MicrosoftLinkedIn联创Reid Hoffman投资方包括私募股权基金和家族资金Microsoft投资10亿研发合作项目LinkedIn联合创始人Reid Hoffman、Founders Fund、Khosla VenturesChatGPT2022年11月2005年Sam Altman成为YC创业者 GPT-32020年6月2022年GPT-3.5DALL-E2020年微软以290亿估值投资100亿美元，内部决定公司全面转型2023年1月OpenAI早期研发阶段建立OpenAI新结构，准备引入大量资本与 微软合作 Azure-AI PlatformGPT-22019年2019年3月Sam Altman辞去YC总裁 专注投身OpenAICodex/Github Copilot微软新一代核心产品发布2014年Sam 接任YC总裁成立YC研究院 开启预训练时代效率，语言理解多任务迁移学习效益开启多模态泛化能力few shot代码生成全面对齐RLFH指令调试更高效率工程化多模态New Bing正式发布PlugIn进一步生态化新范式的缔造者：Sam Altman 和 OpenAISecurity copilot2023-4-237 关键维度攀升到了拐点能力够强：封装所有常识和足够的学习推理能力足够广泛：领域宽对每个人都有实用价值足够深入：覆盖大多数专业人士的认知任务足够好用：自然语言和代码等对齐足够扩展：模型在认知能力和领域范围的扩展性门槛变低：初始阶段的固定成本不再是贵不可及自然语言(NL)是突破关键一条反共识的从认知开始打造通用智能的路径从语言开始因为它是人类认知的特殊潜空间语言是人类与物理世界之间的最重要桥梁语言是人类极强极有效泛化能力的全面基础NLP真正实用化离不开源于GPT的知识表达和获取它是最有效的对齐（Alignment) 途径能开启更多认知潜空间（Latent Space)：代码，图表等可预见和可持续的技术发展不断提高核心模型基础研究和工程开发进程更高效益：鲁棒性，稀疏性、宽度和循环等更强能力：涌现，子概念泛化，神经/符号，因果等更多对齐：挖深拓宽潜在空间(Latent Space)更多模态：图像/视频/其他，及Token化更多领域：模型扩展性和适应性更强工程：计算/通讯系统、基础设施、工具链发展飞轮雏形启动资本投入：更大规模和更长周期商业模式和盈利模式具备初步可行性更多计算能力和基础设施投入新平台，新应用，新商业生态加速开发初创企业与现有企业生态系统逐步形成更多可实现可验证的社会效益安全/社会认可/共同进化不断推进驱动新范式的引擎：GPT模型体系能高效地压缩信息表达世界知识能持续提高泛化能力(涌现，子概念空间等）能更有效更可延申地对齐(自然语言，价值等）能足够并持续地充分利用更多有效算力能用好充足的token/模态和有效地token化能有效地参数扩展，小型化，本地化能有效地扩展任务领域和专业知识基础性：Transformer的序列模型架构操作性：提示/微调/对齐/场景内学习扩展性：涌现和多维度的可扩展能力新范式的动力引擎2023-4-238 基础模型模态化 +Token化感知数据 +生成数据对齐工程(如RLHF)标注数据模型反馈循环体系：更广阔，更深入，更泛化，更对齐，更易用更广泛的数字化、模态化更深入的领域、适应性更多可协调的认知潜空间更强大的学习能力繁荣活跃的模型生态技术发展的进化范式模型成为“新物种”•延伸，组合，选择•结构，能力，系统•“寒武纪”般的早期繁荣•持续高速发展•人类需求是演化导向越来越多的模型扩展和组合机制（学习层面和模型接入层面：如符号求解器，工具使用等）事的模型：领域/工作模型领域模型结构模型流程模型需求模型任务模型记忆先验个体模型专业模型认知模型任务模型记忆先验模态化Token化指令调试自适应能力场景内学习记忆个体延展机器学习的模型：场景化：与环境内在相连适应性：嵌入环境演变化扩展性：子概念空间泛化易用性：多维度对齐空间计算性：内在过程性结构人类建立的模型：泛化：更深/更专向性符号：如数学公式结构：如工作流程具体使用：脱离场景上下文模型静态：不适应场景变化不易使用：内在结构难计算扩展-集成-融入类比生物生态进化表观基因人的模型：认知/任务模型更完整更强(模态/规模级别)的世界知识：不断拓宽领域，加强学习能力(更多泛化结构和机制)更多更全面人类价值和认知对齐：自然语言，代码，表单，图表，符号系统如数学等新范式的演化路径2023-4-239 新范式01新时代0203新机会04奇绩创坛05问答Agenda 目录 强劲的驱动力要素•当下拐点急速攀升：知识创造和获取结构性演变•系统性推进新范式：模型边际成本转移到固定成本•生产力广泛提高：全面生产力成本降低和效益提升•生成力深层提升：例如医疗，科学等深价值产业•生成力发展快：科学和技术驱动创新速度加快•加速下一个拐点：无处不在的自主化和自动化对每个行业的结构性影响•每个行业的结构性重组：从边际成本到固定成本•[$X/小时(人工)-$Y/小时(硬件+软件和规模化)] x 数量 = 降本增效•如：开发人员（代码）、设计师（2D、3D）、研究人员（论文/数据）•如：客服、销售、市场营销、人力、财务、法务等各个垂直领域•提升每个领域：通过系统性地改进和自动化领域模型等•提升核心基础产业：科学、教育、医疗保健、制造业、商业•对众多产业造成深远影响：新平台、新应用，新赢家和输家对每类职业的结构性影响•所有人类知识和认知活动的各个方面•所有需要认知/感知/行动的任务•人类专业人员+co-pilot(s)•人类专业人员+auto-pilot(s)•人类专业人员+pilot(s) team•人类和副驾驶员+auto-pilot作为未来的组织形式对市场和社会的长期影响•教育：人力资本的未来•科研：生产资本的未来•社会：信息和知识的传播新时代：宏观发展格局2023-4-2311 快速追赶，打造基础•基础模型：重建中国的GPT-3.5到GPT-4模型能力•对齐模型:（基于RLHF）对自然语言，代码等•汇聚覆盖核心模态：足够的Token和Token化•建立基础设施：网络计算系统，训练系统，推理系统•汇聚足够有效算力：芯片，工具和开发系统•建立模型延申开发模式：模型API，PlugIn等•完成中国自有的类似ChatGPT的初步生态市场发展•大厂(如百度等)和科研机构•创业公司和资本市场•核心资源（人才、算力、数据、资本、国外市场链接)•平台、基础设施、应用、关键行业如医疗等•早期紧跟OpenAI的前沿, 逐步开拓中国模式•中长期国际化机会（亚洲和其他）国家引导•整体和长期布局•基础设施•引导扶持•发挥国家优势（尤其是特定领域的固定成本）•监管治理社会影响•教育•科研（第四范式，新产-学-研）•文化与文明新时代：中国机会2023-4-2312 新时代：OpenAI生态快速形成ChatGPT ( 联网 + Code interpretation 等 ）可拓展的 Plug-in可拓展的 APIGPT4预计参数量1-1.7万亿；支持文本和图像输入，输出文字，多语种、看图作答、角色扮演、图表分析、编程能力、专业考试表现好、更好地理解复杂任务GPT3.51750亿参数；文字输入输出；对原始模型有监督fine-tuning，训练奖励模型，利用奖励模型PPO算法优化；能遵循指令总结代码，提出AlignmentGPT31750亿参数；文字输入输出；没有fine-tuning，仅zero/few-shot就有好表现，引入in-context learning的概念GPT215亿参数；文字输入输出；初步展现Zero-shot能力，没有fine-tuningGPT1.17亿参数；文字输入输出；无监督预训练+有监督微调；数据局限性、泛化性不足引擎OpenAI Startup Fund 围绕改变人类的AI应用投资布局PluginsChat-GPT“杀手级”应用未来流量、用户和数据的入口后端芯片数据云 (Azure） 边缘计算服务器商业模式投资生态前端2023-4-2313 模型开发应用开发-建立在基础模型之上 -数据集 - API工具 -调优和提示开源模型轻模型（局部可运行的）模型