TeXBLEU：评估 LaTeX 格式的自动化指标

📜 引言

在科学、技术、数学和计算机科学等领域，LaTeX 因其出色的文档格式化能力而被广泛使用。随着大型语言模型（LLMs）的崛起，越来越多的用户开始利用这些工具来生成 LaTeX 格式的数学公式。然而，尽管数学表达式在 LaTeX 格式中的使用越来越广泛，针对这些表达式的评估指标却仍然匮乏。为了解决这一问题，研究者们提出了 TeXBLEU，一种专门为 LaTeX 格式的数学表达式设计的评估指标。该指标基于广泛用于翻译任务的 n-gram BLEU 指标进行构建。

🛠️ 提出的方法

🔍 LaTeX 专用分词器和嵌入模型

TeXBLEU 的核心在于其专门的分词器和嵌入模型。研究者们首先通过从 arXiv 下载大量 LaTeX 文档（约 172,000 份论文）来训练这个分词器。与传统的基于英语语料库的分词器不同，TeXBLEU 的分词器使用了字节对编码（BPE），能够逐字处理 Unicode 字符，从而有效捕捉 LaTeX 的语法特征。

📏 令牌距离

TeXBLEU 使用一种新的令牌距离计算方法来评估生成的 LaTeX 表达式与参考表达式之间的相似性。公式如下：

其中，t_1和t_2是令牌，e_1和e_2是这些令牌的嵌入向量，p_1和p_2是令牌的位置信息，而\alpha和\beta是超参数。该方法考虑了令牌的语义和位置，从而更准确地反映它们之间的相似度。

🔗 N-gram 相似性

TeXBLEU 还引入了 n-gram 相似性评估，公式为：

通过计算生成的 n-gram 与参考 n-gram 之间的距离，TeXBLEU 能够优雅地量化 LaTeX 表达式的相似性。

⚙️ 预处理

在 LaTeX 中，命令前的空格通常不会影响编译。因此，TeXBLEU 在预处理阶段统一了空格的处理，确保分词过程的一致性，从而提高评估的准确性。

🌟 TeXBLEU 的计算

TeXBLEU 的最终计算公式为：

不同于传统的 BLEU 指标，TeXBLEU 没有应用简短惩罚，这使其在处理 LaTeX 格式时更加灵活和鲁棒。

🧪 实验

研究者们进行了两组实验。第一组是主要实验，旨在比较各种评估指标在评估 LaTeX 数学表达式时的有效性。第二组则是小型实验，测试所提出的分词器在捕捉 LaTeX 命令方面的表现。

📊 主要实验

在 MathBridge 数据集上进行的实验显示，TeXBLEU 的表现优于 BLEU、Rouge、CER 等传统评估指标。与人工评估结果的相关系数达到了 0.71，明显高于 BLEU 的 0.38，证明了其在 LaTeX 评估中的有效性。

🔍 人工评估

研究者们邀请两组评估人员对生成的 LaTeX 表达式进行评分，结果显示 TeXBLEU 与人工评估结果的相关性非常高，进一步验证了其可靠性。

🏁 结论

TeXBLEU 作为一种新提出的自动化评估指标，显著提高了对 LaTeX 格式中数学表达式的评估准确性。尽管目前尚未解决 LaTeX 格式输入编译时的错误检测问题，TeXBLEU 为未来的研究提供了一个强有力的工具。

📚 参考文献

1. K. Jung, S. Hyeon, et al., "Mathbridge: A large corpus dataset for translating spoken mathematical expressions into latex formulas for improved readability," 2024.
2. K. Papineni, S. Roukos, et al., "BLEU: a method for automatic evaluation of machine translation," ACL ’02.
3. H. Yang, et al., "Latex-gcl: Large language models (llms)-based data augmentation for text-attributed graph contrastive learning," 2024.
4. E. Reiter, "A structured review of the validity of bleu," Computational Linguistics, vol. 44, no. 3, pp. 393–401, 2018.
5. A. Radford, et al., "Language models are unsupervised multitask learners," OpenAI blog, 2019.

这篇文章结合了 TeXBLEU 的核心内容和实验结果，旨在为学界与业界提供一种新的 LaTeX 评估工具来满足不断增长的需求。希望未来的研究能够进一步提升 LaTeX 格式的评估能力，为自动化文档处理和生成提供更多支持。