大型语言模型（LLMs）以其生成连贯和创造性文本的能力而闻名，但它们往往容易受到事实不准确或信息过时的影响。为了缓解这些挑战，检索增强生成（Retrieval-Augmented Generation，RAG）(微软最新研究：RAG（Retrieval-Augmented Generation）的四个级别深度解析)技术应运而生，成为连接语言流畅性和事实准确性之间差距的关键桥梁。Auto-RAG，作为RAG技术的一个自主迭代检索模型，正逐步成为知识密集型AI任务的新标杆。今天我们一起了解一下Auto-RAG。

一、Auto-RAG的背景与意义

（一）LLMs 的局限与 RAG 的兴起

大语言模型如 GPT 等在自然语言处理领域取得了巨大的成功，能够生成看似合理的文本。但在实际应用中，它们却容易出现事实性错误，例如在回答一些涉及科学知识、历史事件等方面的问题时，可能提供不准确的信息。同时，模型所掌握的知识往往局限于训练数据的截止时间，对于最新发生的事件或领域内的新进展缺乏了解。这使得在一些对事实准确性要求较高的场景中，如学术研究、专业咨询等，LLMs 的应用受到一定限制。

检索增强生成（RAG）(面向企业RAG（Retrieval Augmented Generation）系统的多维检索框架)技术的出现为解决这些问题提供了一种有效的途径。RAG 通过在生成答案之前从外部知识源检索相关信息，将模型的生成能力与外部知识相结合，从而提高回答的准确性和完整性。这种方法使得模型能够在生成文本时参考最新的、可靠的信息，弥补了 LLMs 在知识更新和事实核查方面的不足。

（二）传统检索方法的挑战

在 RAG 技术发展的早期，搜索引擎和聊天机器人在检索与用户意图准确匹配的文档时面临诸多困难。例如，对于一个简单的查询 “climate effects”，由于其表述较为模糊，系统难以确定用户究竟是想要了解 “气候变化的影响” 还是 “区域气候的影响” 等更具体的内容。这导致检索结果可能包含大量不相关或不准确的信息，影响了最终答案的质量。

此外，检索到的内容中往往存在噪声，即包含与用户需求无关或干扰性的信息。对于复杂查询，在单次检索中获取足够的知识也颇具挑战。这些问题不仅限制了检索系统的性能，也阻碍了 RAG 技术(RAG综述：探索检索增强生成技术的多样性与代码实践)在更广泛领域的应用和推广。因此，开发更为先进的解决方案，如 Auto-RAG，对于提高输出质量、减少模型生成中的幻觉（hallucinations，即生成与事实不符的内容）具有重要意义。

二、Auto-RAG的工作原理

Auto-RAG是一个以LLM强大的决策能力为核心的自主迭代检索模型。它通过多轮对话的方式建立LLM与检索器之间的交互模型，通过迭代推理确定何时检索信息、检索什么内容，在获得足够的外部知识后停止迭代，并将答案提供给用户。Auto-RAG的核心创新体现在以下几个方面：

1. 决定何时搜索更多信息：Auto-RAG能够识别其理解中的空白，并仅在必要时启动检索，从而减少了冗余操作。

2. 确定要检索的具体信息：通过分析查询上下文，Auto-RAG能够聚焦于精确的数据需求，避免无关或过多的检索。

3. 迭代直至响应完整：Auto-RAG进行循环检索过程，不断提炼其结果和查询，直至收集到足够的知识以提供一个信息丰富且全面的答案。

三、Auto-RAG的关键组件与创新

（一）迭代推理与交互建模

Auto-RAG 的核心在于其迭代推理能力，它通过构建大语言模型（LLM）与检索器之间的结构化多轮对话，实现信息的迭代交换。在这个过程中，LLM 扮演着决策者的角色，根据对用户查询的理解和当前已有的知识，决定是否需要进行检索以及检索何种信息。

具体而言，在每一轮迭代中，LLM 会分析用户的查询，并结合之前检索到的信息（如果有的话），判断当前知识是否足以回答问题。如果存在知识缺口，LLM 会生成一个或多个查询指令，用于指导检索器从外部知识源中获取相关信息。这种交互建模方式使得 Auto-RAG 能够动态地处理用户查询和外部知识，逐步逼近准确和完整的答案。

（二）推理驱动的检索规划

Auto - RAG 的一个关键创新点是其推理驱动的检索规划能力。LLM 能够运用推理能力来评估用户查询，识别其中的关键信息和知识缺口。例如，当面对一个问题时，LLM 会分析问题的语义结构，确定需要获取哪些具体的事实、概念或关系来构建准确的回答。

基于这种推理，Auto - RAG 能够制定出高效的检索策略，避免盲目检索。它会根据问题的需求，有针对性地从外部知识库中查找相关信息，而不是进行大规模的无差别检索。这种方式不仅提高了检索效率，减少了不必要的计算资源消耗，还确保了检索到的信息与问题的相关性，从而为生成高质量的答案奠定了基础。

（三）外部知识提取

一旦推理确定了需要获取的信息，Auto - RAG 便会与检索器进行交互，从外部数据库或知识源中提取相关知识。这些外部知识源可以包括各种结构化和非结构化的数据，如百科全书、学术文献、新闻报道等。

在提取知识的过程中，Auto - RAG 注重获取高质量、事实准确的信息。它会对检索到的文档进行筛选和评估，去除噪声和无关内容，提取出与问题紧密相关的关键信息。这些外部知识将被整合到 Auto - RAG 的推理过程中，为后续的答案生成提供坚实的事实依据，从而增强回答的准确性和可信度。

（四）查询优化

Auto - RAG 在检索过程中并非一成不变地使用初始查询，而是会根据检索结果和推理过程中获得的新见解，动态地优化查询。当发现初始查询未能获取到足够相关或准确的信息时，Auto - RAG 会对查询进行调整和细化。

这种查询优化基于对已检索信息的分析以及对问题的进一步理解。例如，如果检索到的文档中包含一些与问题相关但不完全匹配的内容，Auto - RAG 会根据这些线索调整查询，使其更具针对性，以便在后续检索中获取更精确的信息。通过不断迭代地优化查询，Auto - RAG 能够逐步聚焦于问题的核心，提高检索的准确性和有效性。

（五）迭代查询和决策

Auto - RAG 通过持续与检索器交互，进行迭代查询，直到积累了足够的信息来生成准确和完整的答案。在每一轮检索后，LLM 会根据新获取的知识对问题的理解进行更新，并判断是否还需要进一步查询。

如果 LLM 认为当前已有的信息足以回答问题，它将终止迭代过程，进入答案生成阶段。反之，如果仍然存在知识缺口，LLM 会继续生成新的查询指令，重复上述检索和推理过程。这种基于推理的迭代循环确保了 Auto - RAG 在获取足够信息的同时，避免了过度查询和资源浪费，从而在准确性和效率之间实现了良好的平衡。

（六）框架开发与微调

为了优化迭代检索过程中的推理决策能力，Auto - RAG 开发了一个专门的框架。这个框架集成了基于推理的指令，用于指导 LLM 在检索的每个阶段进行决策。这些指令涵盖了如何分析问题、确定检索需求、评估检索结果以及优化查询等方面，帮助 LLM 更加高效地执行检索增强生成任务。

在框架开发完成后，Auto - RAG 会在先进的开源大语言模型（如 Llama - 3 - 8B - Instruct）上进行微调。微调过程旨在使模型更好地适应 Auto - RAG 的工作流程，增强其推理能力、决策能力以及根据上下文和先前交互调整查询的能力。通过微调，Auto - RAG 能够充分发挥 LLM 的潜力，实现更准确、智能的检索和答案生成。

四、Auto-RAG与传统方法的比较

与传统的迭代检索方法（如ITER-RETGEN、FLARE和Self-RAG）相比，Auto-RAG展现出了显著的优势。ITER-RETGEN虽然使用模型的先前输出作为上下文来检索更精确的知识，但它没有明确识别模型的特定信息需求。FLARE通过使用下一个生成的句子作为基础来精炼查询，提高了精度，但需要广泛的few-shot提示和持续精炼，这导致了显著的计算和手动开销。

Self-RAG(大模型RAG(检索增强)创新--SELF-RAG)则侧重于检索、分析和生成文本，以提高输出的质量、准确性和可靠性。然而，它依赖于机械地预测反射令牌而不培养真正的推理能力，从而限制了其整体有效性。Self-RAG只为每个检索到的文档独立生成答案，并使用反射令牌来评估它们以选择最佳响应。这种方法可能是耗时的，并且不评估检索到的文档的相关性。如果所有文档都无关，Self-RAG无法启动新的搜索来纠正其响应。

相比之下，Auto-RAG使用自主决策来确定何时以及检索什么内容。如果面对无关文档，它会避免生成响应，并继续检索过程，直到获得有用的知识。此外，Auto-RAG用自然语言表达迭代检索过程，提高了解释性，并为用户提供了更直观的体验。

五、Auto-RAG的实际应用与影响

Auto-RAG的应用场景广泛，包括但不限于搜索引擎优化、知识问答系统、技术文档支持和内容创作辅助。通过多轮推理过程，Auto-RAG使搜索引擎能够自适应地检索上下文感知的信息，并提供高度个性化的结果，而不仅仅依赖于僵硬的关键词匹配。

AI驱动的系统将不再依赖于预设或通用响应，而是将通过迭代多问题提问来动态发现用户意图。用户可以期待更快、更准确和更直观的搜索体验，这些体验受到Auto-RAG功能的启发，采用了迭代推理方法。

Auto-RAG的出现标志着知识密集型AI任务的一个重大进步。它充分利用LLM的推理能力来动态检索和集成外部信息，从而产生更准确且与上下文相关的响应。随着技术的不断发展和完善，Auto-RAG有望在更多领域发挥重要作用，推动人工智能技术的进一步发展。通过自主和迭代检索机制，Auto-RAG正逐步设定知识密集型AI任务的新标准，引领着未来搜索和信息检索的发展方向。

link：https://arxiv.org/pdf/2411.19443