企业级知识图谱与大语言模型融合实现指南

程序猿李巡天

1180人浏览 · 2025-07-10 20:00:37

程序猿李巡天 · 2025-07-10 20:00:37 发布

摘要

本文深入探讨了企业级知识图谱（KG）与大语言模型（LLM）的融合实现方法。知识图谱通过语义连接数据集，而大语言模型使用向量和深度神经网络预测自然语言。两者结合可以克服各自的局限性：大语言模型的黑盒特性和事实知识缺陷，正是知识图谱的优势所在。文章详细介绍了RAG、提示到查询转换、微调等主要集成方法，为企业实现更准确、可解释的AI应用提供了实用指导。

引言：为什么知识图谱与大语言模型需要融合？

大语言模型（LLM）和知识图谱（KG）是为更多人提供数据访问的两种不同方式。知识图谱使用语义通过数据集所代表的实体的含义来连接数据集，而大语言模型使用向量和深度神经网络来预测自然语言。它们通常都旨在"解锁"数据。

对于实施知识图谱的企业来说，最终目标通常是建立数据市场、语义层，使其数据符合FAIR原则，或使企业更以数据为中心。这些都是具有相同最终目标的不同解决方案：让更多数据更快地传递给合适的人员。对于实施大语言模型或其他类似生成式AI解决方案的企业，目标往往相似：为员工或客户提供能够更快地将正确信息传递给正确人员的"数字助手" 。

潜在的共生关系很明显：大语言模型的一些主要弱点，即它们是黑盒模型并且在事实知识方面存在困难，恰恰是知识图谱的一些最大优势。知识图谱本质上是事实的集合，并且完全可解释。

一个生动的例子：求职信的启示

让我们通过一个具体例子来理解这种融合的必要性。作者在求职时使用ChatGPT帮助写求职信——将现有求职信、简历和职位描述复制到提示窗口中，让ChatGPT完成其余工作。ChatGPT帮助生成了相当不错的初稿，但如果不加检查，它也会给出作者实际上没有的多年经验，并声称作者上过从未就读的学校。

这个求职信例子很好地说明了大语言模型的优势和劣势，以及为什么知识图谱是其实施的重要部分。ChatGPT在通过改变内容使其更专注于特定职位描述来重新创建求职信方面做得相当好，前提是你明确在提示中包含现有求职信和职位描述。确保大语言模型拥有正确的内容正是知识图谱发挥作用的地方。

知识图谱与大语言模型的两种关系

目前知识图谱和大语言模型的互动有两种方式：大语言模型作为构建知识图谱的工具，以及知识图谱作为大语言模型或生成式AI应用的输入。在知识图谱领域工作的我们处于一个奇怪的位置，我们在构建预期改进AI应用的东西，而AI同时改变了我们构建这些东西的方式。

方式一：使用大语言模型协助知识图谱创建和管理

大语言模型是构建知识图谱的有价值工具。在知识图谱管理过程中利用大语言模型技术的一种方法是将您的知识图谱向量化（或嵌入）到向量数据库中。向量数据库是专门用于存储向量或数字列表的数据库。向量化是推动语言模型的核心技术组件之一。

实体解析：实体解析是对齐指向同一现实世界实体的记录的过程。例如，对乙酰氨基酚是美国常用的止痛药，以泰诺品牌销售，在英国被称为扑热息痛，以必理痛品牌销售。这四个名称完全不同，但如果您将知识图谱嵌入到向量数据库中，向量将具有语义理解，知道这些实体密切相关。

非结构化数据标记：假设您想将一些非结构化数据纳入知识图谱。您有一堆文件名模糊的PDF，但您知道这些文档中有重要信息。您需要用文件类型和主题标记这些文档。如果您的主题分类法和文档类型分类法已经嵌入，您只需要将文档向量化，向量数据库就会从每个分类法中识别出最相关的实体。

实体和类提取：基于非结构化数据语料库创建或增强受控词汇表，如本体或分类法。实体提取类似于标记，但这里的目标是增强本体而不是将非结构化数据纳入知识图谱。

方式二：使用知识图谱为生成式AI管道提供动力和治理

有几个原因使用知识图谱为生成式AI管道和应用提供动力和治理。根据Gartner的数据，“到2025年，由于数据质量差、风险控制不充分、成本不断上升或业务价值不明确，至少30%的生成式AI项目将在概念验证（POC）后被放弃”。知识图谱可以帮助改善数据质量、降低风险并减少成本。

数据治理、访问控制和合规性

只有授权的人员和应用程序才能出于特定目的访问某些数据。通常，企业希望某些类型的人员（或应用程序）以治理良好的方式与某些类型的数据进行交互。您如何知道哪些数据应该进入哪个生成式AI管道？您如何确保个人身份信息不会进入您希望所有员工都能与之交互的数字助手？答案是数据治理。

政策和法规可能会发生变化，特别是在AI方面。即使您的AI应用现在是合规的，将来可能也不会是。良好的数据治理基础使企业能够适应这些不断变化的法规。

准确性和上下文理解

知识图谱还可以帮助提高整体数据质量——如果您的文档充满了矛盾和/或虚假陈述，当您的聊天机器人告诉您不一致和虚假的事情时，不要感到惊讶。如果您的数据结构很差，将其存储在一个地方并不会有帮助。这就是数据湖的承诺如何成为数据沼泽的祸害。

目前实现自然语言查询（NLQ）的方式包括RAG、提示到查询转换和微调。

检索增强生成（RAG）

RAG意味着用训练数据之外的额外相关信息补充提示，以生成更准确的响应。虽然大语言模型已经在大量数据上进行了训练，但它们没有在您的数据上进行训练。

目前有两种突出的检索方式：通过图的向量化或将提示转换为图查询（提示到查询）。

基于向量的检索：这种检索方法要求您将知识图谱向量化并存储在向量存储中。如果您然后将自然语言提示向量化，您可以在向量存储中找到与您的提示最相似的向量。由于这些向量对应于图中的实体，您可以返回给定自然语言提示的图中最"相关"的实体。

提示到查询检索：或者，您可以使用大语言模型生成SPARQL或Cypher查询，并使用该查询从图中获取最相关的数据。

关于RAG的一些重要考虑

RAG按定义需要知识库。知识图谱是一个知识库，因此知识图谱的支持者将是由图驱动的RAG（有时称为GraphRAG）的支持者。但RAG可以在没有知识图谱的情况下实现。

理论上，更相关的信息应该减少幻觉，但这并不意味着RAG消除了幻觉。我们仍在使用语言模型生成响应，因此仍有很大的不确定性和幻觉空间。即使有我的简历和职位描述，大语言模型仍可能夸大我的经验。

如果知识图谱的目的是为AI应用提供数据，那么"最佳"本体不再是现实的反映，而是AI看待现实方式的反映。

仅提示到查询转换

使用大语言模型将自然语言查询转换为知识图谱的正式查询（如SPARQL或Cypher）。这与上述RAG的提示到查询检索方法相同，只是我们在检索数据后不将其发送给大语言模型。这里的想法是，通过使用大语言模型生成查询而不解释数据，您正在减少幻觉。

使用知识图谱微调大语言模型

使用您的知识图谱为现成的大语言模型提供额外训练。您可以使用知识图谱来训练大语言模型本身，而不是在查询时将知识图谱数据作为提示的一部分提供（RAG）。这里的好处是您可以将所有数据保留在本地——您不需要将提示发送给OpenAI或其他任何人。缺点是大语言模型中的第一个L代表大型，因此下载和微调其中一个是资源密集型的。

一旦您使用图来微调模型，您也失去了使用图进行访问控制的能力。

效率和可扩展性

构建许多不连接的独立应用程序是低效的，Dave McComb称之为软件荒地。应用程序是"由AI驱动的"并不重要。孤立的应用程序导致重复的数据和代码以及整体冗余。知识图谱通过企业内数据的顺畅流动为消除这些冗余提供了基础。

Gartner上述声称许多生成式AI项目将因成本不断上升而被放弃，但我不知道知识图谱是否会显著降低这些成本。我不知道有任何研究或成本效益分析来支持这一声明。为企业开发由大语言模型驱动的聊天机器人是昂贵的，但开发知识图谱也是如此。

结论

我不会假装知道"最优"解决方案，但正如我上面所说，我认为没有人知道。我确实相信知识图谱和大语言模型都是试图让更多数据更快地传递给合适人员的有用工具，它们各有优缺点。使用大语言模型写求职信（或监管报告），但使用知识图谱确保您给它正确的简历（或研究或期刊文章或其他任何东西）。

一般来说，我相信尽可能多地使用AI来构建、维护和扩展知识图谱，同时认为知识图谱对于寻求采用生成式AI技术的企业来说是必要的。这有几个原因：数据治理、访问控制和合规性；准确性和上下文理解；以及效率和可扩展性。

主要厂商和解决方案

数据治理解决方案：Cambridge Semantics、data.world、PoolParty、metaphacts、TopQuadrant等语义知识图谱公司，以及Alation、Collibra、Informatica等数据目录公司。

GraphRAG解决方案：data.world、Microsoft、Neo4j、Ontotext、PoolParty、SciBite、Stardog、TopQuadrant、柯基数据等。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述