TeXBLEU：评估 LaTeX 格式的自动化指标

📜 引言

在科学、技术、数学和计算机科学等领域，LaTeX 因其出色的文档格式化能力而被广泛使用。随着大型语言模型（LLMs）的崛起，越来越多的用户开始利用这些工具来生成 LaTeX 格式的数学公式。然而，尽管数学表达式在 LaTeX 格式中的使用越来越广泛，针对这些表达式的评估指标却仍然匮乏。为了解决这一问题，研究者们提出了 TeXBLEU，一种专门为 LaTeX 格式的数学表达式设计的评估指标。该指标基于广泛用于翻译任务的 n-gram BLEU 指标进行构建。

🛠️ 提出的方法

🔍 LaTeX 专用分词器和嵌入模型

TeXBLEU 的核心在于其专门的分词器和嵌入模型。研究者们首先通过从 arXiv 下载大量 LaTeX 文档（约 172,000 份论文）来训练这个分词器。与传统的基于英语语料库的分词器不同，TeXBLEU 的分词器使用了字节对编码（BPE），能够逐字处理 Unicode 字符，从而有效捕捉 LaTeX 的语法特征。

📏 令牌距离

TeXBLEU 使用一种新的令牌距离计算方法来评估生成的 LaTeX 表达式与参考表达式之间的相似性。公式如下：

d (t_{1}, t_{2}) = \frac{cosD i s t ( e _{1} , e _{2} ) ^{α} + t anh ( β \cdot ∣ p _{1} - p _{2} ∣ )}{2}

其中， $t_{1}$ 和 $t_{2}$ 是令牌， $e_{1}$ 和 $e_{2}$ 是这些令牌的嵌入向量， $p_{1}$ 和 $p_{2}$ 是令牌的位置信息，而 $α$ 和 $β$ 是超参数。该方法考虑了令牌的语义和位置，从而更准确地反映它们之间的相似度。

🔗 N-gram 相似性

TeXBLEU 还引入了 n-gram 相似性评估，公式为：

s i m_{n} (R, P) = 1 - \frac{\sum _{i = 1}^{L_{n}} \sum _{j = 1}^{n} d ( r _{ij} , p _{ij} )}{L _{n} \cdot n}

通过计算生成的 n-gram 与参考 n-gram 之间的距离，TeXBLEU 能够优雅地量化 LaTeX 表达式的相似性。

⚙️ 预处理

在 LaTeX 中，命令前的空格通常不会影响编译。因此，TeXBLEU 在预处理阶段统一了空格的处理，确保分词过程的一致性，从而提高评估的准确性。

🌟 TeXBLEU 的计算

TeXBLEU 的最终计算公式为：

T e XB L E U = exp (n = 1 \sum N w_{n} lo g s i m_{n} (R, P))

不同于传统的 BLEU 指标，TeXBLEU 没有应用简短惩罚，这使其在处理 LaTeX 格式时更加灵活和鲁棒。

🧪 实验

研究者们进行了两组实验。第一组是主要实验，旨在比较各种评估指标在评估 LaTeX 数学表达式时的有效性。第二组则是小型实验，测试所提出的分词器在捕捉 LaTeX 命令方面的表现。

📊 主要实验

在 MathBridge 数据集上进行的实验显示，TeXBLEU 的表现优于 BLEU、Rouge、CER 等传统评估指标。与人工评估结果的相关系数达到了 0.71，明显高于 BLEU 的 0.38，证明了其在 LaTeX 评估中的有效性。

🔍 人工评估

研究者们邀请两组评估人员对生成的 LaTeX 表达式进行评分，结果显示 TeXBLEU 与人工评估结果的相关性非常高，进一步验证了其可靠性。

🏁 结论

TeXBLEU 作为一种新提出的自动化评估指标，显著提高了对 LaTeX 格式中数学表达式的评估准确性。尽管目前尚未解决 LaTeX 格式输入编译时的错误检测问题，TeXBLEU 为未来的研究提供了一个强有力的工具。

📚 参考文献

K. Jung, S. Hyeon, et al., "Mathbridge: A large corpus dataset for translating spoken mathematical expressions into latex formulas for improved readability," 2024.
K. Papineni, S. Roukos, et al., "BLEU: a method for automatic evaluation of machine translation," ACL ’02.
H. Yang, et al., "Latex-gcl: Large language models (llms)-based data augmentation for text-attributed graph contrastive learning," 2024.
E. Reiter, "A structured review of the validity of bleu," Computational Linguistics, vol. 44, no. 3, pp. 393–401, 2018.
A. Radford, et al., "Language models are unsupervised multitask learners," OpenAI blog, 2019.

这篇文章结合了 TeXBLEU 的核心内容和实验结果，旨在为学界与业界提供一种新的 LaTeX 评估工具来满足不断增长的需求。希望未来的研究能够进一步提升 LaTeX 格式的评估能力，为自动化文档处理和生成提供更多支持。

在思源笔记中优雅地写 LaTeX 伪代码

作为一个计算机领域的科研工作者，在笔记中写算法伪代码是一件很普遍但也很难实现的事情。伪代码的常见书写格式是 LaTeX，但是 markdown 本身并不支持 LaTeX 伪代码的可视化。所幸 samonysh 大佬发布了一个伪代码挂件(siyuan-pseudocode)，让伪代码在思源笔记中的可视化变得容易了起来。 ..

增强编辑器插件已发布，欢迎大家使用

项目地址 siyuan-plugin-enhance-editor 为什么要写这个插件，参考用 codemirror 小写了个 latex 公式的提示插件这篇帖子目前通过思源本体的集市就可以进行安装上架的插件相比之前帖子里的改变了什么已经可以和数学增强插件联动了，你可以先在编辑器里进行具有代码提示的插件，然后 ..

用 codemirror 小写了个 latex 公式的提示插件

最近推公式推的很烦，故写了此插件，希望能够加快一些推公式的效率，现在分享出来。插件名字叫 siyuan-plugin-enhance-editor，解压到插件文件夹就能用。 siyuanpluginenhanceeditor.zip 基本功能打开插件后，进入单独编辑代码的窗口就会触发自动补全，字体和背景颜色理论上应该 ..

LaTeX 排版

LaTeX 源文件的基本结构 LaTeX 分为“导言区”与“文稿区”。导言区在导言区对文章进行全局设置常会使用 \documentclass{...} 命令，大括号内常有 article、book、report、letter 等可以使用 \title 命令输入文章的标题可以使用 \author 命令输入作者姓 ..

使用 docsify 并定制以使它更强大

背景经常在网上看到一些排版非常漂亮的技术手册，左边有目录栏，右边是 Markdown 格式的文档，整个配色都十分舒服，就像一本书一样，一看就很让人喜欢。就比如 Markdown Preview Enhanced 的文档.目前网上我了解的有两种工具可以实现这样的效果，一种叫做 docsify，另一种叫做 Gitbook ..

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

关于