ChatGPT实现过程总结
预训练阶段
- 知识获取:所有能力需精心设计,任务能力逐步叠加。人类知识以(name, attribute, value)三元组表示,通过Bit Complexity衡量知识存储效率。
- 知识存储:GPT2模型在2bit/参数下稳定存储知识,7B模型可存储14Bbits知识。Wikipedia包含4.5Bwords,所有英文图书含16Bwords。
- 知识记忆:知识记忆非逐字存储,而是通过问答获取答案,需足够“曝光”才能完成记忆。达到2bit/参数需1000次曝光。
- 数据影响:“垃圾”数据显著影响知识获取,Wikipedia数据优于Common Crawl。
- 预训练结论:
- 同一知识点需不同方式大量重复学习。
- 高质量高知识密度数据至关重要。
- 充分训练模型可达2bit/参数存储能力。
- 预训练未学知识,微调无效。
有监督微调阶段
- 微调方式:数学推理、编程和一般能力训练。
- 实验设置:
- SFT数据集:数学(GSM8K)、编程(Code Alpaca)、通用(ShareGPT)。
- 测试数据集:数学(GSM8K TestSet)、编程(Humaneval)、通用(MT-Bench)。
- 实验分析:
- RQ1:较大模型在相同数据量下表现更好。
- RQ2:低资源时混合数据提升性能,高资源时减弱性能。
- RQ3:数据比例影响微不足道,DMT策略缓解性能冲突。
- 微调结论:
- 大模型在相同数据量下性能优越。
- 混合数据在低资源场景提升性能,高资源场景下降。
- 数据量直接影响性能,比例影响不显著。
- DMT策略有效缓解性能冲突。
知识回答与任务冲突
- 大规模微调问题:增加SFT数据会破坏世界知识,但特定任务需求下仍需增加数据。
- Loramoe技术:通过混合专家模型(MoE)维持世界知识,CBQA能力主要依赖预训练阶段内在知识。
- LoRA+MoE:结合LoRA与MoE提升模型性能。
强化学习在生成任务中的应用
- 有监督微调缺点:曝光偏置、语言多样性。
- RLHF作用:减轻曝光偏置,推动翻译偏好建模。
- StepCoder技术:利用编译器反馈提升代码生成任务效果,超越基线模型。
- 核心结论:
- 提升任务效果仍需标注数据。
- 多任务相互影响需深入研究。
- 多任务训练方法缺乏统一认识。
- 强化学习对生成任务提升重要。
感想与方向
- 大模型快速达70分,但90分困难。
- 增加数据无法提升效果。
- 标注数据准确度要求苛刻。
- 忘记AGI、涌现等概念,从统计机器学习角度再出发。