敬请参阅最后一页特别声明 1 GPT-4分析文本的原理解析 OpenAI公司发布的GPT-4（Generative Pre-trained Transformer-4）模型具备高效理解和生成自然语言文本的能力，应用范围广泛且无需微调即可实现不同类型的生成型任务。其优势主要得益于预训练所用海量参数规模和数据量产生的涌现（Emergence）现象以及在微调阶段引入的基于人类反馈的强化学习（RLHF）技术。GPT-4模型整体的结构细节还未公布，内部的基础Transformer架构通过分词与编码、位置提取与编码、嵌入、提取特征、生成序列、输出的基本过程来分析文本。 GPT-4模型在技术上有三大创新：参数容量更庞大、数据来源更广泛、不正当行为率显著降低；同时也存在文本输入长度限制和回答时效性限制两个局限，前者可以通过优化输入文本的方式尽量避免，后者可以先借助微软公司的New Bing收集时效性信息、再使用GPT-4对信息进行分析总结。 ChatGPT挖掘策略研报中的行业配置信息 卖方策略团队会综合考虑宏观经济环境、产业链和行业政策等各类非结构化的数据，并定期给出推荐的行业与对应理由。其推荐理由会包含政策等难以量化的信息，这也是当前量化策略中难以考虑到的因素，因此我们认为卖方策略团队观点能为传统量化的行业轮动策略带来增量收益。另外卖方策略观点往往推荐多个行业，但缺乏行业间比较，要将卖方策略观点融入量化配置模型，需更加详细的行业排名数据。然而在分析师撰写报告的时候，会从多个角度包括语言组织形式、论据以及观点情绪等角度表达自己的倾向，只是报告中未将这样的倾向性量化出来。GPT模型有强大的文本分析与理解能力，能识别文本的情感倾向性，并根据用户的需求从复杂文本中提炼出精简的观点与理由。通过GPT的文本分析可以帮忙提炼出分析师文本中的倾向性，从而构建出推荐行业的排名打分。 我们将GPT-4模型应用于基于卖方策略团队月报的行业打分任务。我们首先明确行业配置任务的需求，并按照提示工程的方法将任务需求转化为Prompt提示文本。在使用过程中我们不断修正输出结果，并总结出以下要点：1、文本中避免使用“行话”,必要时给出解释；2、模型对负面词汇较敏感，需要对输入文本进行筛选；3、打分理由可能显示不全，根据输入文本检查结果的合理性；4、模型可能“过度解读”导致打分不稳定，要保证文本的信息量充足。 GPT策略研报因子构建与检验 我们根据市面上16家卖方策略团队的月度报告生成打分数据，并将每个行业当月得分的中位数作为GPT策略研报配置因子，发现该因子IC值表现不佳，但分组单调性明显，说明具有一定的预测能力。我们滚动挑选过去半年表现最好的4个卖方策略团队，并根据其对各行业的打分中位数构造GPT精选配置因子，因子IC均值为0.94%，Top组合年化收益率8.46%。 GPT精选因子轮动策略 我们以中信一级行业等权配置作为基准，并根据GPT精选配置因子构建了GPT精选因子轮动策略，策略为2021年7月至2023年4月每月调仓，每次选取因子得分前6的行业等权配置，手续费千分之二。策略的年化收益率为6.03%，夏普比率为0.28，相较于等权基准，策略的年化超额收益率达到9.63%，信息比率为0.95。 风险提示 以上结果通过历史数据统计、建模和测算完成，在政策、市场环境发生变化时模型存在失效的风险。 金融工程专题报告 敬请参阅最后一页特别声明 2 内容目录 一、GPT-4分析文本的原理解析 .................................................................... 4 1.1 GPT-4：文本分析领域的里程碑............................................................. 4 1.2 Transformer：GPT模型的支柱 ............................................................. 5 二、GPT-4的技术创新与局限 ...................................................................... 6 2.1 GPT-4的技术创新 ........................................................................ 6 2.2 GPT-4的技术局限 ........................................................................ 7 三、提示工程及prompt设计...................................................................... 10 3.1 提示工程介绍及思维链提示............................................................... 10 3.2 Prompt设计要素及注意事项 .............................................................. 11 四、GPT挖掘策略研报中的行业配置信息 ........................................................... 12 4.1 模型选择与任务拆解..................................................................... 12 4.2 行业打分任务的Prompt优化.............................................................. 13 五、GPT策略研报因子构建与检验 ................................................................. 17 5.1 GPT-4打分结果描述 ..................................................................... 17 5.2 因子构造初步尝试....................................................................... 19 5.3 GPT精选配置因子构建 ................................................................... 19 六、GPT精选因子轮动策略 ....................................................................... 21 七、总结....................................................................................... 22 风险提示....................................................................................... 22 图表目录 图表1： GPT系列模型的迭代演化.................................................................. 4 图表2： GPT-4分析文本主要步骤.................................................................. 5 图表3： GPT和BERT模型的对比................................................................... 6 图表4： Transformer架构分析文本基本过程........................................................ 6 图表5： text-danvinci-003（GPT-3修正模型）、GPT-3.5-turbo和GPT-4不正当行为率对比 .............. 7 图表6： 分段输入文本总结(1) .................................................................... 8 图表7： 分段输入文本总结(2) .................................................................... 8 图表8： 时效性对比（New Bing） ................................................................. 8 图表9： 时效性对比（GPT-4） .................................................................... 8 图表10： New Bing的三种模式对比（精准模式）.................................................... 9 图表11： New Bing的三种模式对比（平衡模式）.................................................... 9 图表12： New Bing的三种模式对比（创造力模式）.................................................. 9 图表13： 总结能力对比（New Bing） ............................................................. 10 图表14： 总结能力对比（GPT-4） ................................................................ 10 图表15： 思维链提示在模型解决数学问题上的应用 ................................................. 11 图表16： 卖方策略团队行业配置文本实例 ......................................................... 12 金融工程专题报告 敬请参阅最后一页特别声明 3 图表17： GPT-3.5输出结果不符合预期............................................................ 13 图表18： GPT-4可以满足使用要求................................................................ 13 图表19： GPT-4不清楚中信一级行业的定义........................................................ 15 图表20： GPT-4不清楚“新半军”含义 .............................................................. 15 图表21： GPT-4对“信创”行业的映射修正 .......................................................... 15 图表22： GPT-4对报告中的消极字眼较敏感...............................