大语言模型带来金融行业范式转换

建信金科/ 刘东东 01 GPT4：AGI的小火花 再次迎来工具升级，进入范式转换期 教育模式改变 研发模式变化 世界格局变化 生产范式改变 从学自己怎么做，改为自己如何让AI工具做得更好。 优秀的人只负责想，而AI负责帮你做。 AGI赢家或只有一个，数据漩涡效益增加。 由AI为辅，变为以AI为中心（或AI原生）研发。 智人能够从10大人种中走出来，是因为善于升级工具，我们从打猎的长矛到比自己跑得快的汽车，其实工具一直在超越人类自身能力，长矛辅助人狩猎，语言辅助人交流，汽车辅助人移动，互联网辅助人获取信息。大语言模型无非是一种辅助人进行思考的工具。不平凡的是这次增强的是智力，而且不知道这个智能体是否存在自我意识，学会自己打造自己的工具或把人变成他的工具。 02 范式转换：人机关系改变 GPT4催生人与机器的范式转换 范式转换 GPT4的出现，开启了AGI帷幕，重新定义了人与机器的关系。GUI或APP的传统交互入口受到挑战，因为人只需要以自然语言描述需求，后续就是AI操作不同的系统来完成需求。人再也不需要学习非必要的各种APP的交互知识，而回归自然交互。 专业技能：编程制表系统操作 人机交互新范式的三个阶段 03 金融的范式转换场景 AI大模型应用分层 T0解决人类干不了的事情数学难题、加速材料科学、数据探索 T1 缩短了普通人与专家的距离作画、编程、数据分析、3D开发 T2 协助你高效完成你熟悉的工作写作辅助、工单生成、投研报告 LLM可应用到所有领域 办公辅助 LLM金融场景应用全景 LLM现存的问题与挑战 输出不可控，存在对客的声誉风险 具有侵入性，可改变事实 模型滥用与数据污染 除GPT4外，对复杂推理任务仍然存在挑战 推理效能低，大规模应用较难 对简单常识也可能犯错 价值观风险，依赖于标注人员 如何建设金融大模型 ChatGPT主要能力提升点 我们的观点 打破了原有认知智能的天花板激活了大模型的强大推理能力（Instruction Learning + CoT）证明了方向的正确性，Transformer+大力出奇迹+RLHF的模型持续迭代可行第一次在NLP方向实现强人工智能，且具备一定的泛化能力闭环完成知识获取，可自我演进 大语言模型对金融机构的机遇与挑战 大模型在金融场景的应用需求广泛大模型是趋势与必然选择 01 1.海量、多样化、高质量数据门槛高，需要1000亿级单词（Token）数2.训练算力成本较高，1000亿级参数模型微调训练需要200张以上A100算力，初建成本1亿以上，后期百万级/年电费成本3.模型私有化成本高，经调研，目前最低价为清华大学4000万+，百度文心一言在一亿左右，中小机构难以承受，还存在技术更迭风险。4.人才队伍要求高，平台、算法人才目前市场稀缺 大模型建设门槛高金融机构难以独立建设 02 大模型如何修炼 ChatGPT不仅仅是聊天，LLM也不仅仅是语言模型，他学习的不仅仅是文字接龙游戏，而是人们对世界的认知，只是几千年进化的文字刚好是人类对世界认知的形式化映射，，包括对逻辑推理的形式化（数学符号、编程语言）。 第三阶段：RLHF强化学习 第一阶段：预训练学习 把他送进学校，让人类老师通过指令来训练他的正确价值观，教会他什么话应该说，什么话不应该说 如果老师不够多或学生还需要更多练习，老师就会训练一个AI助教来自动批改学生作业，以通过题海强化学生人类价值观 他自由的从世界知识里面无监督学习以听懂第二阶段老师说的一切 企业如何进行AI大模型的建设 数据安全限制：目前使用ChatGPT需要调用公网API，存在数据出企业的安全问题。 监管已经约谈直接调用ChatGPT的相关金融机构 提示工程 场景应用 训练平台 模型引入 通过提示工程培训，完成对私域多样化数据的整理 引入大模型应用，培养业务与AI的交互经验，激发AI能力 私有化部署或通过金融IDC云部署金融基础模型 基于分布式训练平台，进行自有大模型的持续训练 How 企业如何用AI大模型 业务通过自然语言交互，激发AI的能力 业务提示工程师负责业务数据整理与后评估 AI训练工程师负责模型的持续训练与调参 建设AI基础设施与行业通用模型 建行云能赋能什么？