三小时掌握大型语言模型的公平性

核心观点

• 大型语言模型（LLMs）在各个领域有着广泛的应用，但它们并非完美，在回答中表现出不公平性。
• 理解和减轻LLMs中的偏差至关重要。
• 本研报探讨了LLMs偏差的形成方式、如何衡量不公平性、可以应用哪些减轻偏差的方法以及测量和减轻偏差的工具，以及为什么减轻偏差具有挑战性。

LLMs背景

• LLMs的发展经历了从统计语言模型到神经网络语言模型的阶段，最终由Transformer模型引领了LLMs的蓬勃发展。
• LLMs的训练过程包括数据准备、训练/微调配置、指令微调和与人类对齐等步骤。
• LLMs中的偏差来源包括训练数据偏差、嵌入偏差和标签偏差。

衡量LLMs偏差

• LLMs偏差的量化方法包括：
  • 中等规模LLMs的偏差量化：包括内在偏差（基于相似性和基于概率）和外在偏差（基于分类和基于生成）。
  • 大型规模LLMs的偏差量化：包括人口统计表示、刻板印象关联、反事实公平性和性能差异。

减轻LLMs偏差

• 减轻LLMs偏差的方法包括：
  • 预处理：包括反事实数据增强和提示调整。
  • 训练中：包括使用公平数据集进行微调和修改损失函数。
  • 处理中：包括情境学习和思维链。
  • 后处理：包括重写。

评估LLMs偏差的资源

• 公平性数据集：例如CrowS-Pair、EEC、PANDA、RedditBias、WinoQueer、FairPrism、TrustGPT、BOLD、HolisticBias、BBQ、WinoBias、WinoGender、BEC-Pro、BUG、GAP、StereoSet、HONEST等。
• 工具箱：例如Perspective API和Azure AI Content Safety。

挑战和未来方向

• 制定公平性概念：需要开发新的公平性概念来全面理解LLMs中的偏差和歧视。
• 真实的反事实数据增强：需要探索更合理的替换策略或整合替代技术来过滤或优化生成的数据。
• 平衡性能和公平性：需要找到在训练过程中平衡准确性和偏差的正确方法。
• 满足多种类型的公平性：需要将公平性研究扩展到包括更多类型歧视，并鼓励研究探索多种偏差的交叉性。
• 理论分析和保证：需要探索理论与实践的结合，以开发强大的分析工具，并提供长期公平性解决方案的正式保证。
• 开发更多和定制的数据集：需要创建一个系统评估协议来解决各种偏差和不公平问题。