提升图数据库查询生成的提示策略：Graph-RAG中的最佳实践

adfyvatbia

584人浏览 · 2024-12-02 15:27:55

adfyvatbia · 2024-12-02 15:27:55 发布

引言

在现代数据处理任务中，图数据库凭借其独特的优势被广泛应用。然而，生成精准的图数据库查询，尤其是Cypher语言的查询，仍然是一个挑战。本文将重点讨论如何通过精细的提示策略改进图数据库查询的生成，帮助开发者在使用Graph-RAG（Graph Retrieval-Augmented Generation）时获取更准确的数据库特定信息。

主要内容

环境设置

在开始图数据库查询优化之前，我们需要安装所需的包，并设置环境变量。使用以下命令安装必要的Python库：

%pip install --upgrade --quiet langchain langchain-community langchain-openai neo4j

接下来，设置OpenAI的API密钥：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

同时，我们需要定义Neo4j的凭据：

os.environ["NEO4J_URI"] = "bolt://localhost:7687"
os.environ["NEO4J_USERNAME"] = "neo4j"
os.environ["NEO4J_PASSWORD"] = "password"

这种设置允许我们连接到Neo4j数据库并导入示例数据，例如关于电影及其演员的信息。

过滤图模式

在某些情况下，我们可能需要在生成Cypher语句时专注于图模式的特定子集。通过使用GraphCypherQAChain链的exclude参数，可以排除某些节点类型，例如"Genre"。

from langchain.chains import GraphCypherQAChain
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
chain = GraphCypherQAChain.from_llm(
    graph=graph, llm=llm, exclude_types=["Genre"], verbose=True
)

Few-shot 示例

在提示中包含自然语言问题到Cypher查询的转换示例对于提升模型性能特别是复杂查询的处理能力非常有效。以下是一些示例：

examples = [
    {"question": "有多少艺术家？", "query": "MATCH (a:Person)-[:ACTED_IN]->(:Movie) RETURN count(DISTINCT a)"},
    {"question": "电影《赌场》中有哪些演员？", "query": "MATCH (m:Movie {title: 'Casino'})<-[:ACTED_IN]-(a) RETURN a.name"},
    # 更多示例...
]

使用这些示例可以创建few-shot提示：

from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate

example_prompt = PromptTemplate.from_template(
    "User input: {question}\nCypher query: {query}"
)
prompt = FewShotPromptTemplate(
    examples=examples[:5],
    example_prompt=example_prompt,
    prefix="你是一名Neo4j专家。给定一个输入问题，请创建一个语法正确的Cypher查询。\n\n这是模式信息\n{schema}。\n\n以下是问题及其对应Cypher查询的示例。",
    suffix="User input: {question}\nCypher query: ",
    input_variables=["question", "schema"],
)

动态Few-shot 示例

当拥有足够多的示例时，选择最相关的示例是非常重要的，以避免超出模型的上下文窗口限制。我们可以使用ExampleSelector，例如SemanticSimilarityExampleSelector，在运行时选择最语义相似的示例：

from langchain_community.vectorstores import Neo4jVector
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_openai import OpenAIEmbeddings

example_selector = SemanticSimilarityExampleSelector.from_examples(
    examples,
    OpenAIEmbeddings(),
    Neo4jVector,
    k=5,
    input_keys=["question"],
)

代码示例

以下是一个使用动态few-shot示例选择器的代码示例：

prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="你是一名Neo4j专家。给定一个输入问题，请创建一个语法正确的Cypher查询。\n\n这是模式信息\n{schema}。\n\n以下是问题及其对应Cypher查询的示例。",
    suffix="User input: {question}\nCypher query: ",
    input_variables=["question", "schema"],
)

llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
chain = GraphCypherQAChain.from_llm(
    graph=graph, llm=llm, cypher_prompt=prompt, verbose=True
)

chain.invoke("有多少演员在图中？")