迷宫的本质：视觉抽象背后的深层理解

引言 🌟

在我们日常生活中，迷宫不仅仅是一种游戏或艺术表达，它代表了一种复杂的抽象概念。人类的视觉理解能力使我们能够灵活地解释和应用这些抽象概念，尽管它们并不总是与具体的视觉特征相匹配。本文将探讨一个核心问题：是什么让迷宫看起来像迷宫？

迷宫的本质与视觉抽象的挑战 🌀

迷宫的定义并不依赖于墙壁的具体材料或直角交叉的形式，而是基于符号的提升规则。这些规则构成了我们心目中迷宫的模型，包括其布局、墙壁的构成材料以及明确的入口和出口。这意味着，尽管我们可以用糖果手杖、干草或冰棍构建迷宫，但这些外部材料并不影响我们对迷宫的识别。

当前的视觉语言模型（VLMs）在理解这种视觉抽象时往往表现不佳。它们通常倾向于做出字面解释，例如将一幅图像识别为“树枝”，而不是将其理解为“迷宫的墙”。这就导致了一个重要的研究方向：如何使机器能够像人类一样理解这些复杂的视觉概念。

深层架构：深度模式嵌入 (DSG) 🏗️

为了解决这一挑战，我们提出了深度模式嵌入（Deep Schema Grounding, DSG）框架。DSG 利用明确的结构化视觉抽象表示来进行基础概念的解释和推理。其核心在于“模式”——一种依赖图描述的抽象概念，它将复杂的视觉信息分解为更原始的符号。

1. 提取模式的过程 📜

在 DSG 中，我们首先使用大型语言模型（LLMs）来提取抽象概念的模式定义。这一过程依赖于 LLMs 在大量语言数据上训练的能力，使其能够生成与人类思维相符的模式结构。这些模式并不是特定于某个实例，而是能够适用于各种视觉刺激的普遍定义。

2. 在图像上分层嵌入模式 🔗

接下来，DSG 采用分层的方式将模式嵌入到图像中。这一过程并非简单地直接回答问题，而是先将模式中的各个组成部分逐层嵌入到图像的视觉实体中。以迷宫为例，这意味着我们首先确定墙壁的材料和布局，然后再确定入口和出口的具体位置。

3. 增强视觉问答能力 🤔

最后，DSG 利用已嵌入的各个组件来回答问题。这一过程为视觉语言模型提供了全面的上下文，使其能够更好地理解和推理抽象概念。这种方法不仅提升了模型的性能，还为未来的视觉推理系统奠定了基础。

视觉抽象数据集 (VAD) 📊

为评估视觉抽象理解能力，我们引入了视觉抽象数据集（Visual Abstractions Dataset, VAD）。该数据集包含多种现实世界图像和相应的问题，旨在考察模型对抽象概念的理解能力。VAD 中的每个图像都与一系列问题相匹配，问题涉及不同类型的抽象概念，例如战略概念、科学概念、社交概念和家庭概念。

数据集的构建与特征 🏗️

我们从互联网上收集了 540 个图像，每个图像对应 3 个问题，涵盖了不同的视觉场景和语言查询。这些问题旨在考察模型对图像中抽象概念的理解，包括二元选择、计数和开放式问题。

实验结果与评估 📈

通过对 DSG 的评估，我们发现其显著提高了视觉语言模型在视觉抽象数据集上的推理性能。具体而言，DSG 在多个问题类型、抽象概念类别和基础模型上均表现出一致的性能提升。

讨论与未来展望 🌍

DSG 展示了通过大型预训练模型显式嵌入概念模式，我们可以在多样化的现实世界实例中实现更好的视觉抽象理解。然而，当前的视觉语言模型在处理涉及空间约束的模式组件时仍然存在挑战。未来的研究需要进一步探索如何改进这些模型的空间理解能力，以提升抽象概念的引导能力。

结论 🎯

我们提出的深度模式嵌入（DSG）框架为理解视觉抽象提供了新的视角。通过提取和嵌入模式，DSG 不仅提升了视觉语言模型的性能，也为我们理解诸如迷宫等复杂概念提供了有力的工具。尽管我们在理解抽象概念方面取得了一定进展，但仍有大量工作需要完成，以实现更接近人类的视觉推理能力。

参考文献 📚

1. Hsu, J., Mao, J., Tenenbaum, J. B., Goodman, N. D., & Wu, J. (2024). What Makes a Maze Look Like a Maze? arXiv preprint arXiv:2409.08202.
2. Schank, R. C., & Abelson, R. P. (1975). Scripts, Plans, and Knowledge. IJCAI.
3. Chen, Y., Sikka, K., Cogswell, M., Ji, H., & Divakaran, A. (2023). Measuring and Improving Chain-of-thought Reasoning in Vision-Language Models. arXiv.
4. zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., & Artzi, Y. (2020). BERTScore: Evaluating Text Generation with BERT. ICLR.
5. Liu, H., Li, C., Wu, Q., & Lee, Y. J. (2024). Visual Instruction Tuning. NeurIPS.

通过 DSG 框架，我们不仅能够更好地理解抽象概念的本质，还为未来的 AI 应用奠定了理论基础。