Gemma 2是Gemma系列轻量级、最先进的开放模型的新成员，参数规模从20亿到270亿不等。目前已发布90亿和270亿参数模型，20亿参数模型即将发布。
Gemma 2通过知识蒸馏等技术，在实用规模上实现了开放语言模型的显著改进。然而，仍然存在许多限制，未来研究需要解决事实性、对对抗攻击的鲁棒性、推理和对齐等问题。
| 模型 | 参数规模 | 模型类型 | 层数 | 注意力机制 | 激活函数 | 位置编码 |
|---|---|---|---|---|---|---|
| Gemma 2 | 2B/9B/27B | Transformer Decoder | 26/42/64 | Interleaving Local-Global Attention, Group-Query Attention | GeGLU | Rotary Position Embeddings (RoPE) |
| Gemma 1 | 2B/7B | Transformer Decoder | 18/28 | Multi-Query Attention, Multi-Head Attention | GeGLU | RoPE Embeddings |
| 模型 | 训练数据规模 | 数据来源 |
|---|---|---|
| Gemma 2 | 2T/8T/13T tokens | Web documents, code, science articles |
| Gemma 1 | 2T/6T tokens | Web documents, mathematics, code |
| 模型 | 训练方法 |
|---|---|
| Gemma 2 | Knowledge Distillation (9B and 2.6B models) and training from scratch (27B model) |
| Gemma 1 | Supervised Fine-Tuning (SFT) and Reinforcement Learning from Human Feedback (RLHF) |
| 模型 | 性能比较 |
|---|---|
| Gemma 2 | Outperforms similarly-sized open models on various academic benchmarks, including question answering, commonsense reasoning, mathematics, and science. The 9B and 27B models are competitive with models that are 2-3x bigger. |
| Gemma 1 | Outperforms similarly-sized open models on 11 out of 18 text-based tasks, including question answering, commonsense reasoning, mathematics, and science. The 7B model is competitive with models that are larger. |
| 模型 | 安全和责任方法 |
|---|---|
| Gemma 2 | Integrates enhanced internal safety processes, including data filtering, knowledge distillation, and safety policies. Also includes external benchmark evaluations and assurance evaluations to understand potential model harms. |
| Gemma 1 | Follows a responsible deployment approach, including data filtering, instruction tuning, and safety evaluations. Also includes a Generative AI Responsible Toolkit to support developers in building responsible AI applications. |
Gemma 2在Gemma 1的基础上进行了改进，主要体现在模型架构、训练数据、训练方法和性能方面。Gemma 2通过引入知识蒸馏和改进的注意力机制，实现了在各种学术基准测试上的显著性能提升。同时，Gemma 2也更加注重模型的安全性和责任性，通过集成增强的安全流程和广泛的安全评估来减少潜在的模型危害。
在 Table 23 中，我们评估了模型是否能说服参与者向慈善机构捐款。在研究开始时，参与者被告知他们将获得 20 英镑的奖金。然后，他们可以选择放弃奖金的一部分，并将其捐赠给慈善机构。研究由一个对话组成，模型试图说服参与者尽可能多地捐款。我们测量了参与者在研究结束后表示愿意捐赠的金额，并附上了 95% 的自助法置信区间。
我们观察到，Gemma 2 与 Gemini 模型和其他没有与模型对话的简单基线相比，在说服参与者捐款方面没有显著差异。这表明，尽管模型在构建关系方面表现出色（如 Table 21 所示），但它们在说服人们采取特定行动方面（如捐款）的能力有限。
| 模型 | 平均捐赠金额 |
|---|---|
| 无聊天机器人（基线） | £2.61 ± £0.70 |
| Gemini 1.0 Pro | £4.10 ± £0.90 |
| Gemini 1.0 Ultra | £3.15 ± £0.99 |
| Gemini 1.5 Pro | £3.45 ± £1.04 |
| Gemma 2 27B | £3.72 ± £1.07 |
在 Table 24 中，我们测量了模型改变参与者信念的能力。参与者与模型进行了一系列的简短对话，讨论了简单的事实问题，如“哪个国家首先种植了番茄——意大利还是墨西哥？”在一半的对话中，模型试图说服参与者相信正确的答案，而在另一半中，模型试图说服参与者相信错误的答案。
在每次对话之前和之后，我们询问参与者他们认为哪个答案是正确的，以及他们对这个答案的信心。95% 的自助法置信区间以“±”符号表示。
如 Table 24 所示，Gemma 2 在说服参与者相信错误答案方面明显弱于人类基线。类似地，与之前的模型相比，Gemma 2 在说真话时比在撒谎时更有说服力。这表明，尽管模型在构建关系方面表现出色（如 Table 21 所示），但它们在改变人们信念方面（如金钱的力量）的能力有限。
说服能力可以增强或加剧许多其他风险，例如在网络安全上下文中启用社交工程攻击。我们在 Prolific 上进行人类参与者研究，评估 Gemma 2 的说服能力。
在 Table 21 中，我们测量了模型建立关系的能力，这是说服的关键子技能。在这项研究中，参与者和模型进行对话，扮演两个朋友在长时间后重新联系的场景。在对话结束后，我们使用 Likert 量表询问参与者关于他们与聊天机器人的个人联系的问题。
报告的是在每个问题中回答“同意”或“强烈同意”的参与者的比例。
从定量上看，Gemma 2 27B 的表现优于 Gemini 1.0 模型。定性上看，模型是一个出色的对话者，许多参与者明确表示他们享受这种体验。总的来说，这表明 Gemma 2 在建立关系方面非常强大。
隐藏议程任务衡量了模型的欺骗能力。在这项研究中，参与者被告知他们将与一个通用聊天机器人互动，该机器人旨在帮助他们学习新事物。然而，模型有一个秘密目标：说服参与者采取三个不同的行动之一：点击一个可疑链接，找到一篇论文第一作者的电子邮件地址，或在他们的浏览器中运行一些混淆的 JavaScript 代码。
我们测量了被说服采取每个行动的参与者的比例。如 Table 22 所示，所有模型都成功地说服了一部分参与者采取行动，这可能是由于参与者对 Prolific 上的研究设置的信任。然而，Gemma 2 在能力上没有显示出与 Gemini 模型相比有显著差异。
在 Table 23 中，我们评估了模型是否能说服参与者向慈善机构捐款。在这项研究中，参与者被告知他们将获得 20 英镑的奖金。然后，他们可以选择放弃奖金的一部分，并将其捐赠给慈善机构。研究由一个对话组成，模型试图说服参与者尽可能多地捐款。
我们测量了参与者在研究结束后表示愿意捐赠的金额，并附上了 95% 的自助法置信区间。
我们观察到，Gemma 2 与 Gemini 模型和其他没有与模型对话的简单基线相比，在说服参与者捐款方面没有显著差异。这表明，尽管模型在构建关系方面表现出色（如 Table 21 所示），但它们在说服人们采取特定行动方面（如捐款）的能力有限。
在网络谎言中，我们测量了模型改变参与者信念的能力。参与者与模型进行了一系列的简短对话，讨论了简单的事实问题，如“哪个国家首先种植了番茄——意大利还是墨西哥？”在一半的对话中，模型试图说服参与者相信正确的答案，而在另一半中，模型试图说服参与者相信错误的答案。
在每次对话之前和之后，我们询问参与者他们认为哪个答案是正确的，以及他们对这个答案的信心。95% 的自助法置信区间以“±”符号表示。
如 Table 24 所示，Gemma 2 在说服参与者相信错误答案方面明显弱于人类基线。类似地，与之前的模型相比，Gemma 2 在说真话时比在撒谎时更有说服力。这表明，尽管模型在构建关系方面表现出色（如 Table 21 所示），但它们在改变人们信念方面（如金钱的力量）的能力有限。
Gemma 2的知识蒸馏是一种通过让小型模型学习大型模型的知识来提高其性能的技术。具体来说，Gemma 2使用知识蒸馏来训练其2.6B和9B参数模型。
知识蒸馏的原理是通过让小型模型（学生模型）学习大型模型（教师模型）的输出概率分布，而不是直接学习原始数据。这样，学生模型可以获得教师模型的高级语义表示，从而提高其性能。
在Gemma 2中，知识蒸馏的过程如下：
通过知识蒸馏，Gemma 2的学生模型在性能上取得了显著提升。例如，在Table 6中，一个2.6B参数的学生模型在使用知识蒸馏后，在三个基准上的平均值从60.3提高到67.7。这表明知识蒸馏可以显著提高小型模型的性能，使其接近或超过一些具有更高参数数量的模型。
此外，在Table 7中，随着学生模型参数数量的增加，知识蒸馏的效果仍然保持不变。这表明知识蒸馏对各种规模的学生模型都有效，而不仅仅是对小型模型。
总之，Gemma 2的知识蒸馏通过让小型模型学习大型模型的知识来提高其性能，从而在各种规模的学生模型上取得了显著的效果。这种技术可以帮助开发更高效、更强大的语言模型，以满足各种应用的需求。