预算有限情况下的大型语言模型：用于高效分类大型文本语料库的主动知识蒸馏

核心观点

• 大型语言模型（LLM）在文本分类任务中表现出色，但其高昂的计算和财务成本限制了其在动态环境中的大规模部署。
• 知识蒸馏（KD）技术可以将LLM的知识迁移到更小、更高效的模型中，但蒸馏过程本身对大型数据集仍然昂贵。
• 本研究探索将主动学习（AL）与知识蒸馏结合，以在降低成本的同时保持LLM的性能。

关键技术

• 知识蒸馏：使用高性能的“教师”LLM训练更小、更高效的“学生”模型。
• 主动学习：智能地选择数据点进行标注，以最小化标注成本并最大化模型性能。
• M-RARU（多类随机接受/拒绝不确定性采样）：一种新的主动学习算法，通过接受/拒绝机制选择最具信息量的样本进行标注。

实验设置

• 数据集：公共评论数据集和LSEG数据与分析的全球新闻存档数据库（GNAD）。
• 学生模型：支持向量机（SVM）、线性判别分析（LDA）、随机森林（RF）、梯度提升决策树（GBDT）和DistilBERT。
• 主动学习方案：随机采样（RANDOM）和M-RARU。
• 评估指标：准确率和平衡准确率。

研究结论

• M-RARU在多个基准数据集上显著优于随机采样，提高了学生模型的准确率和平衡准确率。
• M-RARU在降低标注成本的同时，实现了与LLM相当的性能。
• 基于树的学生模型（RF和GBDT）受益最大，而基于线性模型（SVM和LDA）的学生模型也表现出显著的改进。
• M-RARU的采样效率高于传统的不确定性采样方法。
• 传统机器学习模型（GBDT、RF、LDA、SVM）的训练和推理效率远高于基于Transformer的DistilBERT模型。

研究意义

• 本研究提出的方法为开发快速、准确且高效的文本分类器提供了一种实用途径。
• 通过结合知识蒸馏和主动学习，可以显著降低LLM在文本分类任务中的成本，使其更易于部署和应用。