2024工商银行人工智能大模型白皮书

第一章概述

• 源起：通用人工智能目标是高远，模型规模持续增长。大模型技术成为通往通用人工智能的关键演进路径，通过“预训练+微调”模式，降低人工标注成本，提升模型精度和泛化能力。
• 成长：新模型架构大彰其能，生成式技术崭露头角。Transformer架构催生GPT等自然语言生成式大模型，图像领域生成对抗网络(GAN)等生成式模型成熟，跨模态生成式大模型取得突破性进展。
• 爆发：会话智能惊艳市场，产业跟进百舸争流。ChatGPT发布被视为通用人工智能发展的里程碑，国内外头部科技公司竞相发布大模型，形成“百模大战”业态格局，大模型能力向任务和行业纵深化拓展。

第二章人工智能大模型发展现状

• 技术升级夯实基础，应用生态蓬勃发展：
  • 数算协同能力涌现，模型学习才识并重：
    • 算力设施：专用AI训练集群为研发大模型提供硬件基础，英伟达Blackwell GB200计算平台大幅提升AI计算性能和能效。
    • 模型并行框架：包括模型并行、数据并行和混合并行，主流AI计算框架生态均已支持。
    • 训练数据：语料数据规模和质量对模型能力提升关键，网络文本、书籍、新闻、社交媒体数据等是主要来源。
    • 模型架构：以转换器（Transformer）结构为核心单元组件，单体模型和混合模型是主要架构类型。
    • 训练算法：包括预训练、再训练、监督学习微调、奖励模型训练以及强化学习等。
    • 模型轻量化技术：剪枝、量化、知识蒸馏等技术降低模型使用成本。
  • 提⽰引导巧用模型，沉淀提炼应用范式：
    • 提示工程：通过提示语句引导模型准确理解指令意图，提升模型应答效果，包括输入输出提示、思维链提示、一致性提示和思维树提示。
    • 大模型应用模式：直接API调用、检索增强生成（Retrieval-Augmented Generation）和AI智能体（Agent）。
    • 应用开发工具：LangChain、LamaIndex、Dust等系统化开发框架支持高效开发工作。
  • 全栈开发集大成者，综合平台化繁为简：
    • HuggingFace、百度千帆、ModelZoo等新型综合化平台集成丰富预训练大模型和领先的应用开发工具。
  • 模型适配金融领域，能力建设多管齐下：
    • 大模型在商业银行的使用有基础大模型、行业大模型、企业大模型、任务大模型四种形态。
    • 落地策略：大型商业银行宜引入业界领先的基础大模型，自建金融行业和/或企业大模型；中小银行可按需引入应用层的智能产品或基于产品配套的模型微调工具结合场景数据敏捷开发任务级模型。
    • 能力建设：加强算力基础设施建设、构建高质量数据集、引入领先模型技术、打造研发运营流水线。
• 评测体系逐步完善，可信治理持续健全：
  • 评测维度：保障评测全方位覆盖：
    • 模型能力评估：考察理解能力、生成能力、推理能力、知识面广度、情感分析和推断、问题解决能力、对话和聊天、道德和伦理等方面。
    • 模型安全评估：关注鲁棒性、可解释性与可控性方面。
    • 模型伦理评估：检查模型是否存在偏见、毒性等问题。
  • 评测体系：系统化指导评测实施：
    • 大模型评测方法：基于数据集指标的自动评估、基于打分系统的人工评估、使用GPT-4作为评测者的自动评估。
    • 大模型评测指标：精度、置信度、不确定性等。
    • 大模型评测数据集：MMLU、BIG-Bench、HELM、MMCU、C-Eval、SuperCLUE等。
  • 风险管理：助力打造负责任应用：
    • 性能缺陷风险管理：建立面向金融行业的标准技术体系和规章制度，加强技术创新和防御研究。
    • 脆弱性风险管理：建立面向金融行业的脆弱性风险管理标准规范，健全技术体系，防范攻击风险。
    • 伦理风险管理：建立健全金融大模型伦理审查相关标准和技术体系，检测并规避有害生成内容，引导用户恰当使用。
  • 技术探索：提供安全可信技术支撑：
    • 信息追溯技术：通过检索器和融合检索技术的生成式大模型实现结果的整编和溯源。
    • 攻击防御技术：针对训练数据、用户查询、生成内容进行安全风险监测，防范恶意攻击。
    • 可解释技术：增强大模型机理和输出的可解释性，帮助金融机构识别潜在的模型风险。

第三章人工智能大模型应用案例

• 大模型场景实践：全流程嵌入助力业务提质增效：
  • 客户服务：坐席助手提升客户服务体验。
  • 办公协作：智能办公助手、智能助手赋能面试流程智能化。
  • 运营管理：网点助手赋能业务流程自动化、工单分析、生成自动化。
  • 研究开发：智能研发助力研发数智化。
  • 风险防控：信贷全流程审批智能化、可疑报告生成自动化、智能员工助力内控合规智能化。
• 大模型应用范式：模板化复用加速方案设计落地：
  • 文档编写：摘要提炼、内容扩写、分析研判。
  • 智能搜索：网站信息采集、问题解析规划及信息搜索、答案汇总生成。
  • 知识检索：知识准备、知识搜索、答案生成。
  • 智能中枢：支持用户通过自然语言方式实现跨系统、系统内部各功能的调度控制。
  • 数据分析：实现全流程端到端的数据分析能力建设。

第四章总结与展望

• 技术跟踪：研判技术趋势，前瞻布局务实规划：
  • 大模型参数规模持续上升，混合专家（MoE）模型架构显著提升处理效率和质量，多模态大模型技术发展有待进一步观察。
  • 商业银行短期内将能力引入或建设的目标聚焦在千亿级的大模型，后续动态迭代，关注多模态大模型等前瞻技术的演化路径。
• 创新驱动：打造产品标杆，敏捷创新赋能业务：
  • 组织大模型产品线专职团队，推动前瞻研判、产品孵化、平台化推广运营。
  • 产品孵化聚焦高应用价值且适合大模型发挥优势的问题空间和应用场景，强调以用户为中心的体验设计。
  • 在大模型应用的推广运营方面，善于总结成功案例的模型能力应用模式，形成可复制、可规模化的解决方案。
• 安全合规：完善安全体系，保障应用健康发展：
  • 完善企业治理体系，设立科技伦理治理的管理部门，制定大模型分级分类的安全管理制度和标准规范。
  • 加强模型生命周期管理，对模型的需求评审、数据采集、模型开发、验证、部署上线等各个阶段建立标准化流程，引入安全设计和评估。
  • 引入新技术能力不断提升模型和系统的安全能力，例如加入对抗样本、进行外围的安全加固、引入人工审核机制等。
• 高效运营：强化成本意识，提高资源使用效率：
  • 在需求和产品立项阶段对应用价值和资源开销进行论证评估，建立完善的云化资源供给模式和资源监控系统，提高资源使用效率。
  • 对于任务模式单一的特定领域场景，考虑采用大模型合成训练数据指导小模型训练的老师-学生模式，开发轻量化场景专属模型。