过往多数Agent综述聚焦LLM文本智能体，把多模态视作附加功能，缺少以多模态融合为核心的体系化梳理，也很少把架构选型和落地成本、评测指标结合分析。近日，一篇题为《A Survey on Foundations and Frontiers of Multimodal Agentic Frameworks: Techniques and Applications》的综述综述，系统地梳理了这一领域的技术演进路径。该文由来自马里兰大学、KAUST、牛津大学、新加坡国立大学等机构的二十余位研究者共同完成，对多模态智能体的架构设计、融合策略、应用场景及效率挑战进行了全方位的考察。

多模态智能体的基础架构

编排器是智能体的大脑。它负责所有高层的认知活动，包括推理、规划和记忆。

• 推理：早期的LLM智能体主要依赖思维链（Chain-of-Thought），也就是让AI一步步思考。后来进化出更复杂的策略，比如思维树（Tree-of-Thoughts），让AI可以像下棋一样，探索多种解决方案的路径，并适时回溯。在多模态环境下，推理必须结合视觉信息。例如，**视觉基础推理（Visually-grounded Reasoning）**让AI在点击屏幕上的那个红色按钮时，能直接参考屏幕截图上的坐标，而不是仅仅依靠文字描述。
• 记忆：智能体的记忆分为工作记忆（当前对话或任务的上下文）、短期记忆（最近的交互历史）和长期记忆（过去积累的经验知识）。检索增强生成（RAG）等技术让长期记忆的调用更加精准。

感知模块负责把图像、视频、音频等原始数据转化为模型可理解的抽象表征。这是多模态智能体和纯文本LLM最根本的区别所在。

行动模块则把计划落地，调用API、操作网页、控制机械臂，都属于它的职责范围。

文本在所有模态中仍处于基础地位，是推理、代码生成和工具调用的核心语言。但问题在于，当处理图像、视频、音频等密集型模态时，单纯转换成文字会造成严重的信息损失，空间关系、时序动态、音色细节都会被过滤掉。这正是多模态融合技术出现的根本原因。

分类体系：多模态如何重塑每一个模块

论文最核心的贡献是提出了一个贯穿始终的分析框架：用三种感知融合策略作为主线，分别考察它们对感知、推理、记忆、行动四个模块的影响。

感知：三种融合策略

这是多模态智能体区别于纯文本LLM最核心的部分。

• 委托感知（Delegated Perception）：这是最初的曲线救国方案。AI本身不理解图像，但它会写代码或调用外部工具。比如，你给它一张图，它会调用一个图像识别API（如CLIP模型），把识别结果以文本形式（这是一只猫）返回给它。代表框架有VisProg、HuggingGPT。这种方式灵活，但信息丢失严重，因为一张图的意境、布局、细节，无法被几句文字完全概括。
• 后期融合感知（Late-fusion Perception）：为了解决信息丢失问题，研究者们把视觉编码器（如ViT）提取的图像特征向量，通过一个可训练的投影层，直接映射到大语言模型的嵌入空间中。这样，AI在处理文本时，旁边就挂着一个视觉理解模块。著名的Flamingo模型和RT-2机器人控制模型都采用了此策略。它比纯文本好，但视觉和语言信息还是在高层才融合，不够原生。
• 早期融合感知（Early-fusion Perception，原生多模态）：这是当前最前沿的方向。模型从底层开始就统一处理所有模态的信息。无论是文本、图像像素还是音频波形，都被Token化成一个统一的序列，送入同一个Transformer进行自注意力计算。最典型的代表就是GPT-4o和Gemini这类模型。它们能真正地看懂图像中的微妙表情，或听懂语音中的讽刺语气，因为这种信息在早期就被模型保留了。

推理与规划：从语言到跨模态

推理分为三个层级。

• 基于语言的推理最简单，所有推理都在文字层面完成，哪怕输入是张图也要先转成文字，简单易用但丢失空间细节。
• 视觉基础推理则把坐标、标注直接拉进推理链，让AI可以“指着”图上的某个区域分析，这对点按钮、抓物体这类任务至关重要。
• 跨模态推理是目前前沿方向，要求AI同步整合图像、声音、视频异步信号，实现不同模态信息互相推导，比如凭声音判断物体位置。

记忆：模态分离与统一

记忆模块分为模态专属记忆和统一记忆。

• 模态专属记忆把图片、音频分开存储，依靠文本索引检索，节省算力，但跨模态关联弱。
• 统一记忆将全部模态映射至同一个嵌入空间，支持以文搜图、以画面召回音频，代价是存储与上下文开销激增。Gemini 1.5和GPT-4o的工作记忆本身就是多模态的，能直接关注上下文里的图像块或音频片段。

论文还专门讨论了时序上下文管理和带宽管理，多模态交互中上下文膨胀得更快，压缩带来的损失也更大。VideoAgent每查询只检索平均8.4帧，比密集采样少了20倍的计算量。VLog把视频映射成紧凑叙事，检索复杂度从帧数降到了词汇量级别，实现了10到20倍加速。

行动执行：三种形态

有了计划，智能体必须去执行。

• 语言驱动行动：这是最基础的方式，即输出一段文本指令（如JSON、Python代码或API调用）。Toolformer和Gorilla等框架就是让LLM学会调用外部工具和API。
• 视觉基础行动：在GUI自动化和机器人领域，AI必须输出精确的像素坐标或对特定UI元素的操作。例如，AppAgent可以模拟人类在手机上点击和滑动，CogAgent则专注于理解高分辨率的电脑桌面截图。
• 具身多模态行动：这是最高阶的形态，AI输出的是机器人的连续控制信号，如关节角度、抓取姿势等。RT-2和OpenVLA这类视觉-语言-行动模型（VLA）已经可以直接从视觉输入端到端地生成机器人动作，跨越了语义决策和物理控制之间的鸿沟。

四大主流应用赛道

机器人与物理具身智能

机器人智能体的核心难题是接地问题，把语言指令映射为真实物理动作。发展经历三个阶段：早期SayCan依靠LLM高层规划，调用视觉工具评估动作可行性；随后PaLM‑E等后期融合模型把视觉特征注入语言模型；当下视觉‑语言‑行动（VLA）模型成为前沿，例如RT‑2、OpenVLA，直接从图像输入输出机器人动作token，把互联网预训练知识迁移到实体机器人。

综述指出一个重要结论：架构融合方式比参数量更加重要，7B参数OpenVLA，依靠统一感知‑行动token架构，性能超过55B的RT‑2‑X。现实落地痛点主要体现在云端API带来巨大延迟，很难支持高频电机控制；仿真效果优秀，但真实环境泛化依旧困难。

GUI与网页导航

GUI Agent目标让AI看懂截图，模拟人点击、滑动操作网页与APP。初代方案把网页、APP解析为HTML/XML文本交给LLM，但是丢失布局、图标细节；后期融合出现CogAgent、SeeClick，专门针对高分辨率截图微调，预测点击坐标；现阶段大量方案直接调用GPT‑4o等原生多模态大模型读取截图做规划，搭配SoM标记框提升定位精度。

但在WebArena等基准上，当前SOTA模型对比人类依旧存在60‑70%巨大性能差距。模型语义理解尚可，但像素级精准定位、多步错误恢复、弹窗广告、动态加载页面处理仍是难点；经过微调的开源领域专用模型，在推理速度、部署成本上优于商用API方案。

多媒体内容生成与编辑

多媒体创作智能体，理解复杂创意指令，自主拆解任务，调度多个生成工具迭代修改内容。早期VISPROG、AudioGPT依靠LLM编排图像、音频工具，生成脚本完成创作；GenArtist等原生多模态智能体可以直接查看生成结果，视觉校验效果，实现自我纠错。

该领域痛点是缺少完备统一基准，很多评测依赖主观人工评价；多轮迭代创作计算开销巨大，复用历史工具路径降低成本是重点；多智能体协作兴起，拆分创意总监、评审、优化角色，分工完成视频剪辑、音视频同步。

长视频理解与检索

小时级长视频直接全部输入模型，会带来爆炸算力开销。智能体范式把视频视作环境，主动检索、查询、抽取关键片段。代表系统VideoAgent不会读取全部帧，迭代查询只取回和问题相关少数帧，相比稠密采样减少20倍处理帧数量。VideoMind使用Chain‑of‑LoRA架构，用轻量LoRA适配器切换规划、定位、校验角色，小模型取得大模型级效果。

值得注意的是，即便拥有百万token超长上下文窗口的Gemini 1.5这类大模型，长视频因果推理依旧薄弱。单纯扩大上下文窗口无法解决推理瓶颈，仍然需要Agent检索规划循环辅助。

性能、效率、可扩展性、延迟与可靠性的现实权衡

综述跳出只看跑分的视角，剖析实验室效果走向产品落地必须面对的几组核心矛盾。

性能层面：整体趋势是融合越深效果越好。机器人领域早期融合VLA模型带来20‑30个百分点提升；长视频依靠选择性检索，用更少计算拿到不错效果；但GUI领域无论哪种融合架构，和人类之间都存在巨大鸿沟。

效率：委托感知模块化，计算分散适合简单任务；原生早期融合开箱即用，但API调用token开销高、延迟大；经过微调的后期融合领域专用模型，往往在速度、成本、精度之间取得更好平衡。机器人高频控制场景，网络API延迟几乎不可接受；长视频领域稀疏采样检索是提升效率的关键手段。

可扩展性：商用API免去预训练成本，但每一步推理持续产生token费用；预训练微调模型前期训练成本高，但上线后单步推理成本低。综述给出明确观点：面向真实落地，适度承担高昂前期训练成本，训练领域专用模型，长期会比持续调用高消耗商用API更可行。

可靠性：多模态智能体极易出现级联错误，一步感知出错，后续全部规划行动跟着出错。业界发展闭环校验机制，每执行一步动作，重新感知环境状态，状态不匹配就重新规划。但是校验越多延迟越高，形成可靠性与延迟的固有矛盾。同时还存在分布外泛化、对抗扰动、幻觉等问题，图像细微噪点就可以误导整套智能体做出错误决策。

局限与未来研究方向

当前多模态智能体仍然存在六大根本性局限：

1. 接地鸿沟：尤其GUI交互，语义理解尚可，但像素级定位、错误恢复距离人类差距巨大；

2. 性能与效率的矛盾：通用原生多模态大模型零样本强，但成本延迟高；领域微调模型速度成本占优，但泛化受限，暂无完美方案；

3. 长周期任务记忆脆弱：长交互过程错误持续累积，信念更新、遗忘过时信息、时序一致性维护难度高；

4. 评测隐患：大量SOTA依赖闭源商用API，无法消融复现；公开基准数据集存在数据泄露风险，成绩虚高；

5. 对抗鲁棒性不足：丰富的感官输入扩大攻击面，隐蔽视觉扰动即可劫持智能体决策流程，带来安全风险；

6. 多模态幻觉：感知出错衍生错误规划与危险行动，自我纠错机制依旧脆弱。

面向未来，综述指明几条重要研究方向：构建面向规划控制优化的统一多模态表征；受认知科学启发的可终身学习、可修订记忆架构；完善可复现统一评测基准；发展预测性世界模型，让智能体行动前模拟后果，而非完全依靠事后观察；提升对抗鲁棒性与安全防护；平衡能力、推理延迟、部署成本，推动通用多模态智能体走出实验室。

​最后

我在一线科技企业深耕十二载，见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​