Gemma：基于Gemini的开放模型研究与技术

报告总结：

这份技术报告详细介绍了Gemma，这是一个基于Gemini研究构建的轻量级、先进的开放模型系列。Gemma旨在解决不同计算约束、应用和开发者需求，提供两种尺寸的模型：一种适用于GPU和TPU部署及开发，参数量为70亿；另一种适用于CPU和设备应用，参数量为20亿。预训练和微调检查点的发布支持深入研究和调查指令调整机制的影响。

Gemma模型在多个定量和定性基准上展示了卓越性能，优于类似规模的开放模型。其设计强调了安全性和责任性，通过严格评估和方法论确保模型的可靠性。Gemma模型在问答、推理、编码等任务中表现出色，并在11个基于文本的任务中超越了其他同类模型。

Gemma模型架构基于Transformer解码器，采用旋转位置嵌入，参数设置为16个头数和256个词汇大小。模型在GPU和TPU上高效部署，参数量分别为70亿和20亿。预训练和微调检查点的发布支持研究和调查指令调整机制的影响。

Gemma模型的碳足迹估计约为131吨二氧化碳，通过使用类似于ZeRO-3的技术进行状态碎片化和数据中心网络数据副本缩减，实现碳中和部署。标准化处理、RoPE嵌入和模型参数优化有助于减少模型尺寸和提升性能。

模型训练过程中，Gemma模型使用了多项改进技术，包括多查询注意力、路径划分方法、碳抵消、RoPE嵌入、标准化、数据过滤和多语言任务支持。这些技术有助于提升模型的效率、安全性和鲁棒性。

Gemma模型通过多个阶段的训练和微调，包括格式化、监督微调、强化学习和RLHF训练，以提高下游任务的性能和人类偏好评估。格式控制标记和数据混合物的选择旨在增强模型的实用性和安全性。

Gemma模型在物理推理、自动评估和人类偏好评估等方面展示了与Mistral等模型竞争的性能。与外部开源模型相比，Gemma模型在多个基准测试中表现出色，特别是在数学、科学、编码、逻辑推理等领域。

此外，Gemma模型的研究和评估包括对模型记忆能力的测试，结果显示其在不同任务上的表现优于其他模型，但同时也关注了模型可能存在的记忆问题，通过自动化技术和数据过滤策略来减轻潜在风险。

总结而言，Gemma是一个旨在提供高性能、安全、可扩展的开放模型系列，通过创新技术、严格评估和负责任的部署策略，为学术界、工业界和应用开发者提供了强大的工具。