神经缩放定律的起源：从随机图到自然语言

核心观点与结论

• 神经缩放定律的普遍性： 研究表明，神经缩放定律不仅存在于大型语言模型中，即使在更简单的图随机游走场景下也同样存在，即使输入数据没有幂律结构。
• 数据复杂性的影响： 通过在从语言二元模型到自然语言数据逐渐增加复杂性的设置中训练模型，发现缩放指数随着复杂性的增加而单调递减。
• 缩放定律的拟合方法：
  • 传统的一维拟合方法（幂律拟合）比二维参数化拟合（如Chinchilla公式）更准确，尤其是在拟合损失曲线方面。
  • 使用神经网络回归方法可以获得比二维Chinchilla拟合更精确的计算最优缩放曲线。
• 浅层模型的足够性： 许多先前关于神经缩放定律的结果，包括Kaplan和Chinchilla缩放定律之间的差异，都可以通过训练浅层Transformer（2层）并使用较短的上下文长度（100个token）来解释。
• 参数效率： 使用最大更新参数化（μP）可能比标准参数化更参数高效，这意味着计算最优缩放不一定需要固定的每个参数的token数。

关键数据

• 幂律拟合的准确性： 对于L(D)N，幂律拟合的均方误差（MSE）比指数拟合的MSE好50-100倍；对于L(N)D，除一个例外外，幂律拟合的MSE比指数拟合的MSE好5-100倍。
• 缩放指数： 语言二元模型的αD在0.84-1.2之间，βN在0.47-0.60之间；T1L和T2L的αD和βN介于语言二元模型和自然语言之间；自然语言的αD和βN与之前文献报道的Chinchilla和OpenAI结果一致。
• 计算最优指数： 使用神经网络回归方法获得的计算最优指数与二维Chinchilla拟合结果基本一致。

研究方法

• 模型架构： 使用解码器-only GPT风格的Transformer进行下一词预测。
• 优化： 使用AdamW优化器，学习率调度由线性预热和余弦衰减组成。
• 数据生成：
  • 随机游走数据集：在Erdős-Rényi图和Barabási-Albert图上生成随机游走序列。
  • 语言二元模型：使用GPT-2分词器对Fineweb-edu-10B数据集进行分词，并移除出现频率低于5次的二元组。
  • TnL数据集：使用在FineWeb-edu上训练的n层Transformer生成序列。
• 拟合方法：
  • 使用Huber鲁棒最小二乘法拟合幂律模型。
  • 使用神经网络回归和核回归方法拟合二维函数L(N, D)。
  • 使用神经网络回归方法获得计算最优缩放曲线。

未来研究方向

• 研究幂律结构如何影响缩放指数。
• 开发更系统的方法来插值二元模型和自然语言之间的复杂性。
• 深入研究缩放定律的鲁棒性，包括优化算法和数据集复杂性的影响。
• 研究模型内部激活中的幂律结构。