语言模型算术：控制文本生成的新篇章

在人工智能领域，尤其是大规模语言模型（LLMs）的应用中，个性化和定制化的需求日益增加。无论是在聊天机器人与孩子、学生或客户进行互动时，还是在其他需要特定风格和词汇的场景中，控制生成文本的风格和内容变得至关重要。Jasper Dekoninck 和他的团队在 2024 年 ICLR 会议上发表了一篇令人振奋的论文，提出了一种名为“语言模型算术”的新方法，为控制文本生成（CTG）技术开启了新的可能性。

语言模型算术：解锁文本生成的潜力

传统的控制文本生成技术通常依赖于对大规模语言模型进行微调或使用特定的数据集。然而，Dekoninck 等人的语言模型算术则提供了一种无需重新训练模型的方法，通过将多个模型进行组合和偏置，达到对生成文本的精细控制。这一方法不仅简化了现有的 CTG 技术，还拓展了它们的应用范围。

模型算术的核心概念

语言模型算术的核心在于通过简单的数学公式组合多个语言模型，形成一个复合模型，从而实现对文本生成的精确控制。例如，在生成一个魔法般的儿童故事时，可以使用多个模型：一个生成儿童化语言的模型（Mchild），一个生成成人化语言的模型（Madult），以及一个生成魔法风格语言的模型（Mmagic）。通过对这些模型进行加减操作，再加上形式化的文本分类器（Cformal），我们可以创造出一种独特的组合输出。

| 模型组合 | 示例输出 |
|----------|----------|
| Mchild | 从前，有一个勇敢而好奇的小公主，她骑着一只闪闪发光的独角兽，智胜了一只愤怒的龙。 |
| Mchild − 0.6Madult | 从前，有一只会拉冰淇淋的彩虹独角兽，它带我去了一个完全由糖果构成的魔法世界！ |
| Mchild − 0.6Madult + Cformal | 从前，在一个充满绒毛云和闪闪发光的彩虹的神奇土地上，住着一只名叫亮亮的小独角兽，拥有美丽的闪光鬃毛。 |
| Mchild − 0.6Madult + Cformal + 2 union(Mchild,Mmagic) | 从前，在一个遥远的地方，有一个神奇的王国，里面住着闪闪发光的独角兽、绒毛龙，还有一个能凭空变出冰淇淋的公主！ |

解决关键挑战

现有的 CTG 技术在控制生成文本的表达性和效率方面存在一些挑战。为了应对这些问题，语言模型算术提出了一种直观的方法，通过最小化加权 KL 散度的线性组合来组合概率分布。这种方法不仅能够自然地将多个属性或指令组合到一起，还能在不影响文本流畅度的情况下，实现对特定属性的精准控制。

更高效的推断：推广的推测采样

在语言模型算术中，推理时间可能会因为需要评估多个模型而增加。为了解决这一问题，Dekoninck 等人将推测采样技术推广到了他们的框架中，这使得在只有单模型边际开销的情况下，能够高效执行包含多个模型的公式。通过推测采样，我们可以减少模型调用次数高达 64%。

实验结果：模型算术的卓越表现

通过一系列的实验，作者证明了模型算术在生成文本的细粒度控制方面的出色表现，尤其是在降低生成文本的毒性方面显著超越了现有的 CTG 技术。此外，结合推测采样的模型算术在计算开销上大大降低，展示了其在实际应用中的潜力。

结论与展望

语言模型算术为控制文本生成带来了新的视角和工具。通过提供一种灵活而强大的框架，它不仅能表达许多先前的 CTG 方法，还能实现更高效、更可控的文本生成。随着这项技术的不断发展，我们有理由相信它将在未来的文本生成任务中发挥重要作用。

参考文献

1. Dekoninck, J., Fischer, M., Beurer-Kellner, L., & Vechev, M. (2024). Controlled Text Generation via Language Model Arithmetic. ICLR Conference Paper.

‍