大型语言模型简介
大型语言模型（LLMs）代表了机器学习技术在自然语言处理（NLP）领域的一项突破性应用，擅长将无结构数据施加数学结构，并将其转换为数值形式，从而进行预测、情绪分析等任务。本指南为经济学家和中央银行决策者提供了关于LLM技术的可访问指南，并强调了关键考虑因素，包括模型选择、预处理技术、主题建模、定量分析以及人类判断的参与。
技术原理
LLMs的核心技术是变压器架构，它通过上下文学习捕捉单词的含义，并考虑句子中的词序。Transformer模型包含编码器和解码器，分别用于将输入语言转换为嵌入向量和将嵌入转换为输出语言。当前的大型语言模型（LLM）借鉴了这两种组件之一，如BERT（编码器）和GPT（解码器）。Transformer模型的特点包括训练数据的规模、嵌入向量的大小、上下文窗口以及参数的数量，其中训练数据的规模最为重要。
工作流程
LLM的工作流程类似于计量经济学家的分析流程，包括以下步骤：
- 数据组织：收集和清洗文本数据，包括文本检索、预处理（分词和词形还原）以及向量嵌入。
- 信号提取：通过主题建模、聚类技术或基于嵌入的方法从高维嵌入向量中提取信号并提炼关键信息。
- 定量分析：使用标准计量经济学工具，如回归分析，对LLMs生成的情感得分或嵌入式表示进行分析。
- 结果评价：评估模型的输出，例如基于标准计量经济学中的样本外预测，并选择合适的错误度量方法。
应用案例：股票市场驱动因素研究
本指南通过一个具体的项目来说明如何操作工作流程，目标是利用新闻报道识别股票市场价格的感知驱动因素。
- 数据组织：从Factiva中检索新闻文章，并将每篇文章拆分成100词的片段，生成349,896段文本片段。
- 信号提取：应用BERTopic和LDA进行主题建模，将新闻文章分为基本面、市场情绪和货币政策三大主题。
- 定量分析：使用Llama 3.1 70B模型对每个主题进行情绪分析，将新闻片段分类为负面、中性或正面。
- 结果评价：分析三大类情绪得分的重要性，发现“市场情绪”和“基本面”与股票回报的相关性最高。
研究结论
LLMs作为机器学习工具，在分析大规模非结构化文本数据方面具有巨大潜力。然而，使用LLMs需要精细的资源规划、良好的研究设计以及对工具限制的认识。研究人员应采用模块化的逐步过程，并运用明智的判断来评估输出结果，以确保应用的成功。
关键数据
- 样本包括2021年至2023年间发布的63,388篇每日新闻文章。
- 将新闻文章分为基本面、市场情绪和货币政策三大主题。
- “市场情绪”和“基本面”与股票回报的相关性分别为0.64和0.52。
