AI时代核心技术概念理解:LLM、RAG、Agent、MCP、Harness
如果把现在的人工智能系统比作一个人,那么 LLM(大语言模型)就是大脑,Prompt是人与大脑沟通的语言,RAG是给大脑提供外部知识,Function Calling是让大脑调用工具,Memory是让大脑拥有长期记忆,Agent则是让大脑能够自主完成任务,而Harness则负责管理整个智能体系统的运行。
这些概念共同构成了当前 AI 应用开发,尤其是 Agent 时代的技术基础。
1. LLM(Large Language Model,大语言模型)
LLM 是 Large Language Model 的缩写,即大语言模型。
它是一类通过大量文本数据训练得到的人工智能模型,能够理解和生成自然语言。
简单来说,LLM本质上是一个非常强大的“语言预测系统”。它通过学习海量文本中词语之间的关系、语义规律以及世界知识,从而能够完成文本生成、问答、代码编写、总结分析等任务。
例如,当用户输入:
“中国的首都是……”
模型会根据训练过程中学习到的知识预测:
“北京”。
当然,现在的大模型已经不仅仅是简单预测文字,而是通过 Transformer 架构学习复杂的语义关系,因此具备一定程度的推理、规划和知识整合能力。
目前比较典型的LLM包括:
- OpenAI GPT系列
- Anthropic Claude系列
- Google Gemini系列
- 阿里通义千问Qwen系列
- Meta LLaMA系列
但是需要注意,LLM本身并不是真正意义上的“智能体”。
它更像一个拥有大量知识和推理能力的大脑,但它无法主动操作外部世界。
例如:
它知道杭州今天可能下雨,但它不能自己查询天气;
它知道如何修改代码,但不能直接运行电脑上的程序。
因此需要后面的技术体系。
2. Token(词元)
Token 是大语言模型处理文本时的基本单位。
很多人会误认为 Token 就是“字”或者“单词”,但实际上不是。模型并不是直接理解文字,而是先把文字转换成 Token,再转换成数字进行计算。
例如:“人工智能”可能会被模型切分成:“人工” + “智能”两个Token。
英文:“I love AI”可能被拆分为:“I / love / AI”三个Token。
LLM内部处理流程大致是:
文字 → Token化 → 数字表示 → 神经网络计算 → 输出Token → 转换为文字。
Token非常重要,因为它决定了三个方面:
第一是成本。大模型API通常按照输入和输出Token数量收费。
第二是上下文长度。比如某些模型支持128k Token上下文,意味着一次最多可以处理这么长的信息。
第三是模型理解能力。Token划分方式会影响模型对文本结构的理解。
3. Prompt(提示词)
Prompt就是用户给AI的输入指令,也就是人与大模型沟通的方式。
简单Prompt:“帮我写一篇文章。”
复杂Prompt:“你是一名AI行业分析师,请面向准备进入AI领域的大学生,分析2026-2030年人工智能产业趋势,重点讨论Agent、多模态模型和机器人,并从技术、商业和职业发展三个角度展开。”
两者区别非常明显。
优秀Prompt并不是简单地“说清楚一句话”,而是在设计一个任务。
通常包括几个部分:
角色(Role):告诉模型你希望它扮演什么身份。例如:“你是一名GIS领域专家。”
背景(Context):提供任务环境。例如:“我要研究杭州老年群体医疗可达性。”
任务(Task):明确目标。例如:“请设计研究方案。”
限制条件(Constraint):告诉模型不能做什么。例如:“不要编造数据。”
输出格式(Output Format):规定结果形式。例如:“按照论文技术路线格式输出。”
所以高级Prompt实际上接近一种“程序设计语言”,它是在设计AI工作的流程。
4. Function Calling(函数调用)
Function Calling 是让大语言模型能够调用外部函数或工具的技术。
普通LLM:用户提问 → LLM生成文字答案。
加入Function Calling之后:
用户提问 → LLM判断需要什么工具 → 调用函数 → 获取结果 → 生成答案。
例如:用户:“查询杭州今天的天气。”
LLM本身不知道实时天气,于是调用:
get_weather("Hangzhou")
系统返回:“杭州,25℃,晴。”
然后LLM生成:“杭州今天晴天,气温25℃。”
Function Calling解决了LLM最大的限制:
LLM擅长思考,但不会直接操作现实世界。
通过函数调用,它可以连接:
- 数据库
- 搜索引擎
- Python程序
- 企业系统
- API接口
这也是Agent能够执行任务的基础。
5. RAG(Retrieval-Augmented Generation,检索增强生成)
RAG中文叫“检索增强生成”。
它解决的是LLM两个核心问题:
第一,模型不知道最新信息。
例如:2026年的新闻,大模型训练数据可能没有。
第二,模型不知道用户自己的私人数据。
例如:你的论文、公司内部资料、个人知识库。
RAG的核心思想是:不要重新训练模型,而是在回答问题时临时给模型补充相关资料。
流程:用户提问 → 检索相关资料 → 将资料提供给LLM → LLM生成答案。
例如:你上传100篇GIS论文。
用户问:“总结这些论文关于GeoAI的发展趋势。”
RAG系统会先找到相关论文内容,然后让LLM基于这些资料总结。
所以:LLM负责“理解和生成”。RAG负责“找到正确的信息”。
6. Context(上下文)
Context就是模型当前能够看到的信息。
例如我们现在这次聊天:你之前问过Agent、Harness、GeoAI。
这些聊天内容就是当前Context。
Context包括:
- 用户输入
- 历史对话
- 系统指令
- 检索到的资料
但是Context有容量限制。
如果超过模型最大上下文长度,旧信息可能会被截断。
因此需要Memory。
7. Memory(记忆)
Memory和Context很像,但是两者区别非常重要。
Context是短期信息,只存在当前任务中。
Memory是长期信息,可以跨任务保存。
例如:Context:今天聊天:“我正在准备港大AI硕士申请。”
Memory:以后AI助手知道:“用户本科是浙江大学GIS专业,对AI Agent和GeoAI方向感兴趣。”
对于Agent来说,Memory非常重要。
没有Memory:每次交互都是重新认识用户。
有Memory:Agent可以逐渐形成对用户、任务和环境的长期理解。
8. Agent(智能体)
Agent是当前AI发展的核心方向。
简单理解:
Agent就是能够自主理解目标、规划任务、调用工具并完成任务的AI系统。
普通ChatGPT:用户提问 → AI回答。
Agent:
用户提出目标 → AI分析任务 → 制定计划 → 调用工具 → 执行动作 → 检查结果 → 完成目标。
普通AI:“帮我写论文。”输出一篇文章。
Agent:先搜索论文 → 整理文献 → 建立框架 → 写作 → 修改 → 生成最终版本。
一个完整Agent通常包含:
LLM + Tools + Memory + Planning + Action。
9. MCP(Model Context Protocol,模型上下文协议)
MCP是近年来非常重要的AI基础设施协议。
它解决的问题是:
如何让AI模型更加方便地连接外部工具和数据。
过去:每个AI模型连接数据库、文件系统、软件,都需要单独开发接口。
MCP希望建立一个统一标准。
类似:过去不同手机使用不同充电接口。后来统一成USB-C。
MCP就是AI世界里的“USB-C”。
通过MCP,一个Agent可以更方便地连接:
- 文件
- 数据库
- 软件
- 企业系统
- 外部工具
10. Skill(技能)
Skill指Agent具备的专业能力模块。
例如,一个普通LLM:只能聊天。
加入技能之后,它可以成为:
GIS分析Agent:具备空间分析能力。
科研Agent:具备论文阅读和总结能力。
招聘Agent:具备岗位匹配能力。
Skill本质上就是:“让通用AI拥有专业能力”。
未来很多Agent不会是一个万能模型,而是一系列Skill组合。
11. Harness(Agent驾驭工程)
Harness是Agent系统中非常重要但容易被忽视的一层。
简单理解:
LLM是大脑,Harness是身体和神经系统。
LLM负责:思考、推理、生成。
Harness负责:管理Agent如何运行。
它包括:
工具管理(Tools)让Agent调用外部能力。
记忆管理(Memory)保存长期信息。
权限控制(Permission)限制Agent可以做什么。
任务流程管理(Workflow)决定Agent执行步骤。
安全机制(Guardrails)防止错误行为。
完整结构:
用户
↓
Agent
↓
Harness
↓
LLM
↓
Tools / Memory / MCP / Database
未来AI竞争的重要部分,很可能不是单纯比较谁的模型参数更大,而是谁能够设计更强的Harness,让模型真正解决现实问题。
用户需求
↓
Prompt
(告诉AI做什么)
↓
Agent
(自主规划任务)
↓
Harness
(管理整个系统)
↓
LLM
(负责推理)
↓
RAG
(获取外部知识)
↓
Memory
(保存长期经验)
↓
Function Calling
(调用工具)
↓
MCP
(连接外部世界)
↓
真实应用
如果用一句话总结:
LLM提供智能,Prompt负责沟通,RAG提供知识,Function Calling提供行动能力,Memory提供长期经验,Agent负责自主完成任务,MCP负责连接生态,而Harness负责把这些能力组织成一个真正可用的AI系统。
对于你未来想做的 AI产品、GeoAI、Spatial Agent,最重要的技术组合就是:
LLM + RAG + Function Calling + Agent + MCP + Harness。
这套体系基本就是未来几年AI应用开发的核心底层逻辑。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)