如果把现在的人工智能系统比作一个人,那么 LLM(大语言模型)就是大脑,Prompt是人与大脑沟通的语言,RAG是给大脑提供外部知识,Function Calling是让大脑调用工具,Memory是让大脑拥有长期记忆,Agent则是让大脑能够自主完成任务,而Harness则负责管理整个智能体系统的运行。

这些概念共同构成了当前 AI 应用开发,尤其是 Agent 时代的技术基础。


1. LLM(Large Language Model,大语言模型)

LLM 是 Large Language Model 的缩写,即大语言模型。

它是一类通过大量文本数据训练得到的人工智能模型,能够理解和生成自然语言。

简单来说,LLM本质上是一个非常强大的“语言预测系统”。它通过学习海量文本中词语之间的关系、语义规律以及世界知识,从而能够完成文本生成、问答、代码编写、总结分析等任务。

例如,当用户输入:

“中国的首都是……”

模型会根据训练过程中学习到的知识预测:

“北京”。

当然,现在的大模型已经不仅仅是简单预测文字,而是通过 Transformer 架构学习复杂的语义关系,因此具备一定程度的推理、规划和知识整合能力。

目前比较典型的LLM包括:

  • OpenAI GPT系列
  • Anthropic Claude系列
  • Google Gemini系列
  • 阿里通义千问Qwen系列
  • Meta LLaMA系列

但是需要注意,LLM本身并不是真正意义上的“智能体”。

它更像一个拥有大量知识和推理能力的大脑,但它无法主动操作外部世界。

例如:

它知道杭州今天可能下雨,但它不能自己查询天气;

它知道如何修改代码,但不能直接运行电脑上的程序。

因此需要后面的技术体系。


2. Token(词元)

Token 是大语言模型处理文本时的基本单位。

很多人会误认为 Token 就是“字”或者“单词”,但实际上不是。模型并不是直接理解文字,而是先把文字转换成 Token,再转换成数字进行计算。

例如:“人工智能”可能会被模型切分成:“人工” + “智能”两个Token。

英文:“I love AI”可能被拆分为:“I / love / AI”三个Token。

LLM内部处理流程大致是:

文字 → Token化 → 数字表示 → 神经网络计算 → 输出Token → 转换为文字。

Token非常重要,因为它决定了三个方面:

第一是成本。大模型API通常按照输入和输出Token数量收费。

第二是上下文长度。比如某些模型支持128k Token上下文,意味着一次最多可以处理这么长的信息。

第三是模型理解能力。Token划分方式会影响模型对文本结构的理解。


3. Prompt(提示词)

Prompt就是用户给AI的输入指令,也就是人与大模型沟通的方式。

简单Prompt:“帮我写一篇文章。”

复杂Prompt:“你是一名AI行业分析师,请面向准备进入AI领域的大学生,分析2026-2030年人工智能产业趋势,重点讨论Agent、多模态模型和机器人,并从技术、商业和职业发展三个角度展开。”

两者区别非常明显。

优秀Prompt并不是简单地“说清楚一句话”,而是在设计一个任务。

通常包括几个部分:

角色(Role):告诉模型你希望它扮演什么身份。例如:“你是一名GIS领域专家。”

背景(Context):提供任务环境。例如:“我要研究杭州老年群体医疗可达性。”

任务(Task):明确目标。例如:“请设计研究方案。”

限制条件(Constraint):告诉模型不能做什么。例如:“不要编造数据。”

输出格式(Output Format):规定结果形式。例如:“按照论文技术路线格式输出。”

所以高级Prompt实际上接近一种“程序设计语言”,它是在设计AI工作的流程。


4. Function Calling(函数调用)

Function Calling 是让大语言模型能够调用外部函数或工具的技术。

普通LLM:用户提问 → LLM生成文字答案。

加入Function Calling之后:

用户提问 → LLM判断需要什么工具 → 调用函数 → 获取结果 → 生成答案。

例如:用户:“查询杭州今天的天气。”

LLM本身不知道实时天气,于是调用:

get_weather("Hangzhou")

系统返回:“杭州,25℃,晴。”

然后LLM生成:“杭州今天晴天,气温25℃。”

Function Calling解决了LLM最大的限制:

LLM擅长思考,但不会直接操作现实世界。

通过函数调用,它可以连接:

  • 数据库
  • 搜索引擎
  • Python程序
  • 企业系统
  • API接口

这也是Agent能够执行任务的基础。


5. RAG(Retrieval-Augmented Generation,检索增强生成)

RAG中文叫“检索增强生成”。

它解决的是LLM两个核心问题:

第一,模型不知道最新信息。

例如:2026年的新闻,大模型训练数据可能没有。

第二,模型不知道用户自己的私人数据。

例如:你的论文、公司内部资料、个人知识库。

RAG的核心思想是:不要重新训练模型,而是在回答问题时临时给模型补充相关资料。

流程:用户提问 → 检索相关资料 → 将资料提供给LLM → LLM生成答案。

例如:你上传100篇GIS论文。

用户问:“总结这些论文关于GeoAI的发展趋势。”

RAG系统会先找到相关论文内容,然后让LLM基于这些资料总结。

所以:LLM负责“理解和生成”。RAG负责“找到正确的信息”。


6. Context(上下文)

Context就是模型当前能够看到的信息。

例如我们现在这次聊天:你之前问过Agent、Harness、GeoAI。

这些聊天内容就是当前Context。

Context包括:

  • 用户输入
  • 历史对话
  • 系统指令
  • 检索到的资料

但是Context有容量限制。

如果超过模型最大上下文长度,旧信息可能会被截断。

因此需要Memory。


7. Memory(记忆)

Memory和Context很像,但是两者区别非常重要。

Context是短期信息,只存在当前任务中。

Memory是长期信息,可以跨任务保存。

例如:Context:今天聊天:“我正在准备港大AI硕士申请。”

Memory:以后AI助手知道:“用户本科是浙江大学GIS专业,对AI Agent和GeoAI方向感兴趣。”

对于Agent来说,Memory非常重要。

没有Memory:每次交互都是重新认识用户。

有Memory:Agent可以逐渐形成对用户、任务和环境的长期理解。


8. Agent(智能体)

Agent是当前AI发展的核心方向。

简单理解:

Agent就是能够自主理解目标、规划任务、调用工具并完成任务的AI系统。

普通ChatGPT:用户提问 → AI回答。

Agent:

用户提出目标 → AI分析任务 → 制定计划 → 调用工具 → 执行动作 → 检查结果 → 完成目标。

普通AI:“帮我写论文。”输出一篇文章。

Agent:先搜索论文 → 整理文献 → 建立框架 → 写作 → 修改 → 生成最终版本。

一个完整Agent通常包含:

LLM + Tools + Memory + Planning + Action。


9. MCP(Model Context Protocol,模型上下文协议)

MCP是近年来非常重要的AI基础设施协议。

它解决的问题是:

如何让AI模型更加方便地连接外部工具和数据。

过去:每个AI模型连接数据库、文件系统、软件,都需要单独开发接口。

MCP希望建立一个统一标准。

类似:过去不同手机使用不同充电接口。后来统一成USB-C。

MCP就是AI世界里的“USB-C”。

通过MCP,一个Agent可以更方便地连接:

  • 文件
  • 数据库
  • 软件
  • 企业系统
  • 外部工具

10. Skill(技能)

Skill指Agent具备的专业能力模块。

例如,一个普通LLM:只能聊天。

加入技能之后,它可以成为:

GIS分析Agent:具备空间分析能力。

科研Agent:具备论文阅读和总结能力。

招聘Agent:具备岗位匹配能力。

Skill本质上就是:“让通用AI拥有专业能力”。

未来很多Agent不会是一个万能模型,而是一系列Skill组合。


11. Harness(Agent驾驭工程)

Harness是Agent系统中非常重要但容易被忽视的一层。

简单理解:

LLM是大脑,Harness是身体和神经系统。

LLM负责:思考、推理、生成。

Harness负责:管理Agent如何运行。

它包括:

工具管理(Tools)让Agent调用外部能力。

记忆管理(Memory)保存长期信息。

权限控制(Permission)限制Agent可以做什么。

任务流程管理(Workflow)决定Agent执行步骤。

安全机制(Guardrails)防止错误行为。

完整结构:

用户
 ↓
Agent
 ↓
Harness
 ↓
LLM
 ↓
Tools / Memory / MCP / Database

未来AI竞争的重要部分,很可能不是单纯比较谁的模型参数更大,而是谁能够设计更强的Harness,让模型真正解决现实问题。

用户需求

↓

Prompt
(告诉AI做什么)

↓

Agent
(自主规划任务)

↓

Harness
(管理整个系统)

↓

LLM
(负责推理)

↓

RAG
(获取外部知识)

↓

Memory
(保存长期经验)

↓

Function Calling
(调用工具)

↓

MCP
(连接外部世界)

↓

真实应用

如果用一句话总结:

LLM提供智能,Prompt负责沟通,RAG提供知识,Function Calling提供行动能力,Memory提供长期经验,Agent负责自主完成任务,MCP负责连接生态,而Harness负责把这些能力组织成一个真正可用的AI系统。

对于你未来想做的 AI产品、GeoAI、Spatial Agent,最重要的技术组合就是:

LLM + RAG + Function Calling + Agent + MCP + Harness。

这套体系基本就是未来几年AI应用开发的核心底层逻辑。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐