RAGCache：高效的知识缓存方案，为增强检索生成注入活力

引言 🌟

在自然语言处理（NLP）的发展浪潮中，增强检索生成（Retrieval-Augmented Generation，RAG）技术的出现无疑是一场革命。它通过结合大型语言模型（Large Language Models，LLMs）和外部知识库的优势，显著提升了文本生成的质量。然而，RAG 的引入同时也带来了长序列生成的问题，导致计算和内存成本飙升。为了解决这一难题，研究团队提出了 RAGCache，一个全新的多层动态缓存系统，旨在优化 RAG 的运行效率。

RAG 的工作流程简单而高效。系统首先从知识数据库中检索相关文档，然后将这些文档与用户的请求结合，传递给 LLM 进行生成。通过这种方式，RAG 不仅扩展了 LLM 的知识库，还提升了上下文理解能力。然而，随着外部知识的注入，生成的序列长度急剧增加，计算和内存的需求也随之上升，造成了资源的浪费和处理的瓶颈。

RAG 系统的性能瓶颈 🔍

为了解 RAG 系统的现状，研究团队进行了系统性能特征分析。他们发现，性能的瓶颈主要集中在 LLM 生成步骤上。这一过程通常可以分为两个阶段：预填充（prefill）和解码（decoding）。在预填充阶段，系统需要计算输入序列的关键值张量，这一过程尤其耗时。随着输入序列的长度增加，预填充的延迟也随之增加，尤其当输入达到 4000 个标记时，延迟可达一秒钟。

通过对不同数据集和检索设置的分析，研究团队还发现了一些优化的机会。首先，多个请求中相同文档的重复出现，使得可以共享 LLM 推理的中间状态。其次，少数文档占据了大部分的检索请求，这意味着可以缓存这些频繁访问文档的中间状态，从而减少计算负担。

RAGCache 的设计理念 💡

RAGCache 的核心在于其知识树结构和前缀感知的替换策略。知识树将检索到的文档的中间状态组织在 GPU 和主机内存的层次结构中，频繁访问的文档存储在快速的 GPU 内存中，而较少访问的文档则存储在较慢的主机内存中。RAGCache 采用了一种名为前缀感知贪婪双大小频率（PGDSF）的替换策略，综合考虑文档的顺序、大小、频率和近期性，以最小化缓存未命中率。

知识树结构

知识树的设计使得 RAGCache 能够高效地管理和访问文档的关键值张量。每个节点对应于一个文档，路径表示请求中引用的文档序列。这种结构的优点在于可以通过前缀匹配快速定位所需的张量，确保了高效的访问速度。

动态推测流水线

RAGCache 还引入了动态推测流水线的策略，旨在重叠知识检索和 LLM 推理的计算过程。这一策略允许系统在检索阶段就开始生成过程，以减少整体延迟。例如，在检索过程中，系统会持续更新候选文档列表，并在新的文档被发现时，立即对 LLM 发起生成请求。这种方式使得资源的利用率更高，并且能够有效缓解延迟问题。

实验评估 🚀

研究团队在多个数据集和代表性 LLM 上对 RAGCache 进行了评估。实验结果显示，RAGCache 在“首次令牌时间”（Time to First Token，TTFT）上比集成 Faiss 的 vLLM 系统提升了 4 倍，而吞吐量提升了 2.1 倍。此外，相较于 SGLang，RAGCache 的 TTFT 降低了 3.5 倍，吞吐量提升了 1.8 倍。这些结果表明，RAGCache 在提升系统效率方面有着显著的优势。

结论 🏁

RAGCache 作为一款创新的多层动态缓存系统，成功解决了 RAG 系统中的性能瓶颈问题。通过有效地缓存检索到的文档的中间状态并共享它们，RAGCache 显著提高了计算效率，降低了资源消耗。随着 NLP 技术的不断发展，RAGCache 无疑将为未来的智能文本生成应用提供强有力的支持。

参考文献

1. RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
2. vLLM: A High-Performance LLM Serving System
3. Faiss: A Library for Efficient Similarity Search
4. SGLang: Efficient Language Model Serving
5. Recent Advances in Natural Language Processing with Large Language Models

通过 RAGCache 的实践，研究人员开辟了一条新的道路，使得增强检索生成技术能够在高效性与计算资源之间找到最佳平衡，为未来的 NLP 应用打下坚实的基础。