2024大模型在金融领域的应用技术与安全白皮书

1.1大语言模型技术发展概述 语言建模（LanguageModel）可分为四个发展阶段，分别为统计语言模型、神经语言模型、预训练语言模型、大模型语言模型。 其中最早的统计语言模型基于统计学习来预测单词，而后演进成为神经语言模型基于神经网络方法预测单词。在神经网络语言模型中，通过使用神经网络，将单词映射为向量作为网络模型的输入来估计单词序列的概率。随着注意力机制被引入，注意力层（AttentionLayers）在文本中建立了词之间的相关性，使得模型在生成下一个单词时，考虑到整体语句的意思，从而建立了Transformer架构，提升了模型理解和生成语言的能力。 但随着参数的增加，需要大量人力来标注数据，因此OpenAI提出了预训练语言模型（Generative Pre-Trained Transformer），通过无监督学习在大规模无标签语料库上进行预训练任务，在预训练中模型学会了基于前一个单词预测后一个单词。除此之外，模型还可以针对特定的任务基于更小的数据集进行微调，提升在特定领域的性能。基于此，通过不断叠加数据增加模型参数规模以及优化模型的提示工程，不仅可以解决更复杂的任务，同时也拥有了更强大的文本涌现能力1，从而演进成为大模型语言模型（以下简称“大模型”）。 大模型浪潮爆发后，国内各企业纷纷推出自研大模型，大模型应用迎来了蓬勃发展的阶段。据测算，我国2030年基于大模型的生成式人工智能市场规模有望突破千亿元人民币。 与此同时，国内垂直行业领域的大模型也成为各个行业头部企业未来的发展趋势之一，其中前沿的垂类大模型涉及领域包括媒体影视、电商、广告营销、游戏、医疗、教育 及金融行业。比如在金融领域，大型科技企业如华为推出了盘古金融大模型，而蚂蚁集团则在外滩大会发布了金融大模型“AntFinGLM”并应用于蚂蚁集团内部产品“支小宝”和“支小助”。 金融行业大模型在所有行业垂直大模型中落地速度相对较快。金融领域拥有天然的大量数据积淀，从而为大模型应用提供了良好的数据基础。同时金融领域大模型的应用场景较多，基于这些不同的场景，大模型有助于从不同角度提升原有从业人员及机构的工作效率。比如大模型情绪分析的功能可帮助从业者基于投资者情绪状态预测股票的价格；大模型精确度的提升可帮助从业者预测市场走势，大模型可基于过去大量的金融数据学习预测未来市场趋势帮助投资者和金融机构做出更合理的决策；而复杂任务的处理可协助从业者将大模型用于交易策略上，通过分析大量交易信息，大模型或可识别交易中的风险参数并给出风险防控策略。 1.2大模型引领中国金融领域科技的国际化发展 因此，通过提升金融服务的效率和质量，大模型可提升我国金融机构的核心竞争力。首先大模型的自然语言理解与内容生成能力可以与用户进行多轮问答对话，提升金融客服的服务效率。其次，通过大模型进行智能数据挖掘处理，金融机构能够更快速准确地获取市场趋势的洞察，做出更明智的决策。同时，大模型可以迅速了解各国的法律、监管规定和市场动态，为金融机构提供国际化的业务洞察和决策支持，帮助中国从业者更好地理解和适应国际市场的业务需求和规则。 海外金融科技公司已经在积极探索和持续深化大模型在金融服务领域的应用。Bloomberg已推出BloombergGPT，一个基于500亿参数训练的应用于金融领域自然语言处理的大模型。据研究，当前此大模型在金融任务包括金融资讯分类任务（FPB），预测特定领域的金融新闻及话题（FiQA SA），股指推理（ConFinQA）等特定任务上的表现大幅领先于现有的近似规模的开放模型2。BloombergGPT的推出说明海外在大模型金融科技应用方面已经取得了一定的成果。除此之外，一些传统金融机构也通过基 础大模型的应用提升业务竞争力，大型国际投行Morgan Stanley已将GPT-4应用在财富管理领域打造内部智能助手从而辅助其财富管理顾问快速搜索所需资讯，高效地为客户提供服务。与此同时头部对冲基金Citadel也拟在全公司各条业务线中应用ChatGPT，提升业务运作效率。 而我国大模型和数字金融已有较好的产业发展基础，宜抓住此轮大模型科技变革机遇，进一步提升我国数字金融国际竞争力。2023年中央金融工作会议提出将数字金融上升到国家战略部署的新高度，而大模型等新技术将进一步扩展金融科技的发展空间。根据《金融科技发展规划（2022-2025年）》，目前应要抓住全球人工智能发展新机遇，深化人工智能技术在金融领域的应用。因此，我们应把握大模型技术浪潮，提升金融科技全球竞争力。 2.1大模型在金融领域的应用挑战 由于金融行业的专业性、严谨性、合规性等特点，在把大模型技术应用到金融领域时，需要解决下述挑战，如图2-1所示。 面对上述挑战，金融机构在应用大模型到金融业务场景的过程中，一般需要经过两个主要步骤：一是从通用大模型进一步训练调优出专业的大模型；二是以大模型为核心，结合金融专业知识库、金融专业工具库、智能体、安全合规组件等构成一个可满足金 融领域安全应用要求的应用系统，来支撑在金融应用各场景中的应用，如下图所示。 2.2金融领域的行业大模型开发技术 2.2.1开发技术框架 一个完整的大模型构建和应用流程如下图所示，包括：从数据收集和处理开始，通过领域适配训练使模型理解金融语境，然后通过性能优化确保模型的实用性和高效性，接着处理幻觉问题以提高事实性，最终实现复杂推理的能力。 框架中各层主要关注的问题如下： 数据层：构建大模型的第一步是数据收集和处理，这涉及搜集金融领域的大量数据集，包括公司公告、金融新闻、投资研报等。此外，为了使大模型具备处理下游各类金融任务的能力，还需要收集多样的、高质量的金融指令数据。 模型训练：此处主要关注大模型领域适配训练，通常包括有监督的参数微调和对齐技术，以调整模型对金融术语、概念和上下文的理解，使其更好地适应金融行业需求，并符合人类价值观。此外，还需要考虑到低资源条件下领域适配技术，以满足实际应用中成本和条件的要求。 模型部署：金融应用中模型的快速响应至关重要。需要考虑在特定的硬件资源下，如何提高模型的推理效率，从而改善用户体验和决策支持的实时性。 复杂推理：金融场景的复杂推理能力是大模型的高级功能，允许模型进行多步推理和决策支持，这通常涉及到构建复杂的推理链、使用情景模拟和智能体决策技术等。 幻觉降低：金融领域的高准确率和事实性要求，需要大模型能够有效处理幻觉问题以降低误导性决策风险，这包括开发和应用技术来识别和纠正模型在生成预测或解释时可能产生的忠实性幻觉和事实性幻觉等。 2.2.2金融数据收集与梳理 2.2.2.1金融数据集收集 金融数据集的构建是一项综合性工程，涉及预训练数据、指令数据和安全数据这三种主要类别（如表2-1所示），每一类别的数据都对大型金融语言模型的训练起到不可或缺的作用。 2.2.2.2金融指令数据集构建与增强 高质量金融指令数据集的构建对大模型在金融领域的应用效果提升非常重要。大模型在特定场景中应用时，其核心能力之一是对人类指令的准确响应，以提供与人类意 图和价值观一致的反馈。这一能力依赖于有监督微调，即使用成对的（指令，响应）数据对模型进行进一步训练。这种训练方法以“遵循用户指令”为目标，约束模型输出，以确保其在处理请求和查询时的行为符合预期。在金融领域，准确和专业的数据对于风险评估和决策至关重要，当前金融数据非标准化和碎片化问题如数据类型和格式的混杂、知识来源的分散，制约了大模型的应用效果。 金融指令数据集构建主要面对数据质量不一和高质量数据稀缺的挑战。指令微调数据集的发展历程如图2-4所示。当前技术解决方案主要在两个方向寻求突破：一是指令生成技术的创新，通过设计预期形式和自动化方法（如自动化的指令生成器）来批量生成高质量数据；二是指令处理技术的改进，旨在优化数据筛选和构建过程，确保即便在低质量数据的情况下也能有效微调。通过上述策略，大模型能够更准确、有效地处理复杂金融场景中的指令，提升其在实际金融应用中的可靠性和专业性。 发展初期 提出数据集构建原则 指令形式创新 指令微调技术的发展始于2021年4月发布的“SuperNatural InstructionsV1”数据集。这一数据集首次提出了包含76种不同类型的1616个自然语言处理任务的指令数据集。其任务实例格式基于成对的（输入、输出），其中输入代表人类指令，输出代表模型的期望回答。在此数据集上进行微调的模型不仅能理解定义特定任务的人类指令，还能泛化到训练中未见过的其他任务的人类指令。随后，基于该思路，还出现了如FLAN等数据集，这些数据集进一步扩大了任务种类和数量，以提高模型的表现。 自动化指令生成技术正成为当前解决数据分布不平衡和质量参差不齐等问题的关键。如图2-5所示，主要包括自指令方法、进化指令和指令适应等技术。这些发展展示了自动化金融指令数据生成技术在提高模型在复杂任务中表现、降低人工成本、以及提升数据生成多样性和质量方面的重要作用。随着这些技术的不断进步，可以预见大模型可以更好解决在金融应用中的数据稀缺挑战。 进化指令的发展 指令适应的创新 自指令方法 2.2.3金融领域适配与参数微调 在大模型的适配应用中，微调技术扮演重要角色。通过微调，大模型不仅保留了模型在预训练期间获得的广泛知识，还能够细致地适应金融领域的具体需求。金融领域对模型的能力要求尤其严格，不仅要求模型理解复杂的金融术语和原则，还要求在日益复杂的监管环境中做出合规的决策。通过微调，大模型在学习了通用数据的基础上，进一步吸收了特定金融任务的细节。这种精确调整模型参数的技术确保模型的输出不仅精确，而且符合金融行业的高标准和法规要求，这对增强金融机构的信任度、降低运营风险以及提高决策效率至关重要。 本节主要关注高效参数微调和与人对齐的微调技术。这些微调技术的应用，确保了大 模型在在有限的算力资源下，专业性、精确性、伦理性和实用性方面都能达到更高的标准，为金融行业的发展提供强有力的技术支持。 2.2.3.1高效参数微调 在金融行业中，尤其是在资源有限或对计算成本敏感的环境下，高效参数微调（Parameter-efficient fine-tuning，PEFT）技术允许即使是小型机构也能利用先进的大型预训练模型来强化其数据分析和决策过程。通过优化计算资源的使用，高效参数微调降低了大模型进入门槛，使得大模型能够在不牺牲性能的前提下快速适应金融特定任务。这使得缺乏大规模计算能力的用户也能从大模型中受益。PEFT技术中三种常见方法如下图的简要介绍。 未来，PEFT技术的发展可能集中在提升重参数化方法的泛化能力和表达能力，以及探索基于多层Transformer的自适应微调方法，以进一步提高模型在特定领域如金融的准确性和效率。 2.2.3.2与人对齐技术 与人对齐的微调则专注于提升模型的道德和社会意识，确保其输出不仅在技术上先进，而且在伦理和价值观上与人类社会的期望保持一致。在金融领域，这意味着模型生成的预测或决策不仅要准确、可靠，还要公正、透明，并且符合行业规范。随着人工智能决策在经济和社会层面的影响日益增大，确保模型行为符合人类价值观变得更为重要。与人对齐的微调可以减少偏见、提高模型的普遍接受度，建立金融服务中更强的信任和可靠性。通过对齐，大模型能更好地服务于人类，提高决策质量，降低风险，增强客户信任。 基于强化学习和人类反馈训练的对齐技术：RLHF(Reinforcement LearningfromHuman Feedback)是一种结合了监督学习和强化学习的技术，目的是根据人类反馈优化模型的行为。该技术被OpenAI用于ChatGPT的与人对齐，是最广为人知的对齐技术之一。这一过程涉及结合监督微调和强化学习来训练模型。监督微调使用人类注释的数据来教导模型期望的行为。然后，强化学习根据人类反馈细化这些行为，鼓励模型生成更符合人类偏好和指令的响应。RLHF使用了PPO（Proximal Polic