SoK: Attack and Defense Landscape of Agentic AI Systems

论文重点

论文是由Juhee Kim（UC Berkeley与首尔国立大学）、Wenbo Guo（UC Santa Barbara）和Dawn Song（UC Berkeley）联合撰写的系统化知识综述（Systematization of Knowledge, SoK），发表于USENIX Security 2026。这是首个针对AI Agent安全的系统性、综合性综述，系统分析了Agentic AI系统的设计空间、攻击面全景和防御机制，为这一新兴领域建立了首个系统化的安全研究框架。

核心研究内容

问题定义

Agentic AI系统——即将大语言模型（LLM）与非AI软件组件（工具、API、文件系统、网络接口等）深度融合的混合系统——正在快速进入现实世界应用，从智能聊天机器人到软件开发自动化、网页浏览代理等。然而，这种前所未有的灵活性带来了与传统软件系统根本不同的复杂安全挑战。

核心问题在于：传统安全模型假设系统行为是确定性的、可预测的，而Agentic AI系统具备自主性、目标导向推理、规划能力以及对数字或物理环境采取行动的能力。LLM的概率性本质与工具执行的确切性之间的鸿沟，使得攻击面急剧扩大，威胁模型需要根本性重构。具体而言：

1. 信任边界模糊：Agent既是“进程”又是“数据存储”还是“参与者”，传统STRIDE威胁建模框架难以适用
2. 攻击向量多元化：从提示注入到工具投毒、从知识库投毒到多Agent涌现威胁，攻击面远超传统LLM应用
3. 防御评估体系缺失：现有防御机制在面对自适应攻击时表现不佳，缺乏统一的评估标准和基准

创新方法

本论文的创新之处在于方法论层面的系统性突破：

（1）首次建立系统化框架：这是学术界首个针对AI Agent安全的系统化知识综述，从设计空间、攻击面和防御机制三个维度构建了完整的研究框架。论文整理了128篇代表性论文、51种攻击类型和60种防御机制，覆盖了安全顶会（USENIX Security、NDSS等）和ML顶会（NeurIPS、ICLR、ICML等）的相关工作，以及高影响力预印本、行业白皮书和CVE漏洞报告。

（2）设计空间分析：论文提出了7个决定攻击面的核心设计维度，系统分析了不同设计选择如何影响系统的安全态势。这7个维度构成了理解Agentic AI系统安全风险的结构化透镜。

（3）攻击面全景映射：论文构建了覆盖提示层注入、知识库投毒、工具/插件利用、多Agent涌现威胁的全面攻击分类体系。

（4）案例研究方法：通过具体案例研究指出现有安全实践中的系统性缺口，而非仅仅罗列漏洞。

研究成果

论文的核心研究成果包括：

1. 首个系统化安全框架：为理解AI Agent的安全风险和防御策略提供了理论基石

2. 全面的攻击分类学：系统梳理了51种攻击类型，涵盖从提示注入到工具投毒、从单Agent到多Agent协作场景的各类威胁

3. 防御机制系统化：整理了60种防御机制，并对各类防御的有效性进行了批判性分析

4. 关键缺口识别：指出现有防御在面对自适应攻击时绕过率持续超过50% 的严峻现实，揭示了当前防御研究的根本性不足

5. 开放挑战：识别了该新兴领域未来研究的开放性问题

实际落地应用的可能性

高可行性：

• 安全审计与风险评估：企业可采用论文框架对Agentic AI系统进行全面的安全审计，识别设计层面的安全缺陷
• 安全开发生命周期集成：在Agentic AI系统的设计阶段引入7个设计维度的安全考量，实现“安全左移”
• 红队演练：基于51种攻击类型的分类体系，构建系统化的红队测试方案

中等可行性：

• 标准化制定：为行业标准（如ISO、NIST）的Agentic AI安全部分提供理论基础
• 安全产品开发：基于60种防御机制的分析，开发针对性的安全产品和工具

挑战与限制：

• 论文是综述性研究而非实证性研究，具体防御方案需要进一步的技术研发
• Agentic AI技术本身仍在快速演进，安全框架需要持续更新

技术细节

核心架构分析

Agentic AI系统的典型架构可抽象为以下层次：

┌─────────────────────────────────────────────┐
│              治理层 (Governance)              │
├─────────────────────────────────────────────┤
│            多Agent协调层 (Multi-Agent)        │
├─────────────────────────────────────────────┤
│          工具执行层 (Tool Execution)          │
├─────────────────────────────────────────────┤
│            记忆层 (Memory)                   │
├─────────────────────────────────────────────┤
│           认知层 (Cognitive)                 │
├─────────────────────────────────────────────┤
│           基础模型层 (Foundation)             │
└─────────────────────────────────────────────┘

每一层都存在独特的安全威胁，且威胁可以跨层传播。

关键攻击向量

论文系统化的攻击类型主要包括：

1. 提示注入（Prompt Injection）

   • 直接注入：恶意指令直接插入用户输入
   • 间接注入：通过外部数据源（网页、文档、邮件）注入

2. 知识库投毒（Knowledge-base Poisoning）

   • 污染Agent的检索增强生成（RAG）知识库
   • 记忆层攻击可产生与模型失败难以区分的表现

3. 工具/插件利用（Tool/Plugin Exploits）

   • 工具投毒：通过恶意工具输出劫持Agent行为
   • 权限提升：利用过度授权执行未授权操作

4. 多Agent涌现威胁

   • Agent间恶意协作
   • 通过Agent间通信传播攻击载荷

信任边界模型

论文分析指出，Agentic AI系统的安全挑战根源在于概率性信任边界的出现。传统系统的信任边界是确定性的（如进程边界、网络边界），而Agent的决策基于LLM的概率输出，使得信任边界变得模糊且动态变化。这种“信任-授权不匹配”是多数安全威胁的根本原因。

研究设定

方法论设计

作为SoK论文，其研究设计主要包括：

• 文献范围：覆盖安全顶会（USENIX Security、NDSS、IEEE S&P等）和ML顶会（NeurIPS、ICLR、ICML等）的相关论文，以及高影响力预印本、行业白皮书和CVE漏洞报告
• 分析维度：设计空间 → 攻击面 → 防御机制 → 缺口识别 → 开放挑战
• 分类方法：基于系统架构层次的威胁分类，而非简单的攻击类型枚举

硬件/软件配置

作为综述性研究，论文本身不需要特定的硬件或软件配置。但对于复现或应用其框架的研究者和实践者，建议配置：

• LLM部署环境：支持主流LLM（GPT系列、Claude、Llama等）的推理环境
• Agent框架：LangChain、AutoGPT、BabyAGI等主流Agent开发框架
• 安全测试工具：提示注入测试工具、权限审计工具等
• 计算资源：取决于具体Agent系统的规模和复杂度

综合分析

学术贡献

这篇论文的学术价值体现在以下几个层面：

填补空白：Agentic AI是2024-2026年间最活跃的研究领域之一，但此前缺乏系统化的安全综述。本文首次将散落在安全会议、ML会议和工业界的碎片化知识进行了系统化整合。

方法论创新：论文没有停留在简单的文献罗列，而是构建了设计空间→攻击面→防御机制的三维分析框架。这种结构化方法使得研究者能够：

• 理解不同设计选择的安全含义
• 预测新型攻击的可能形态
• 评估防御机制的适用边界

跨学科桥梁：论文连接了安全社区和ML社区——两个在Agentic AI安全问题上视角差异显著的学术群体。

实践洞见

“自适应攻击绕过率>50%” 这一发现具有深远含义：现有防御大多是在已知攻击模式上训练的，面对能够实时调整策略的攻击者，防御效果急剧下降。这说明：

1. 当前防御研究可能存在过度拟合特定攻击模式的问题
2. 需要从“特征匹配”转向“行为异常检测”的防御范式
3. 红队测试必须采用自适应攻击策略才能反映真实威胁

局限性与批判性思考

1. 时效性挑战：Agentic AI领域发展极快，论文截稿后可能出现新的攻击面和防御技术
2. 实证验证缺失：作为SoK，论文缺乏对不同防御机制在大规模真实场景下的实证比较
3. 工业界覆盖：虽然涵盖了行业白皮书，但闭源商业系统的安全实践可能未被充分反映
4. “设计维度”的具体化：7个设计维度的具体内容和相互关系在公开摘要中尚未详细披露，需阅读全文

实践应用

对研究者的建议

1. 定位研究缺口：利用论文的攻击分类学和防御机制分析，识别尚未被充分研究的攻击向量或防御策略
2. 建立评估基准：基于论文框架，构建包含51种攻击类型的标准化安全评估基准
3. 关注根本原因：论文指出的“信任-授权不匹配”是值得深入研究的根本性问题

对工程师/架构师的建议

1. 设计阶段的安全考量：在Agentic AI系统设计初期，参照论文的7个设计维度进行安全威胁建模
2. 分层防御：在基础模型层、认知层、记忆层、工具执行层、多Agent协调层分别部署针对性防御
3. 假设突破：鉴于自适应攻击的高绕过率，应假设防御可能被突破，设计纵深防御和快速响应机制
4. 权限最小化：严格限制Agent的工具访问权限，避免过度授权

对安全团队的建议

1. 红队测试升级：采用自适应攻击策略进行红队测试，而非仅测试已知攻击模式
2. 持续监控：建立针对Agent行为的异常检测能力，而非仅依赖静态防御
3. 供应链安全：关注Agent依赖的第三方工具、模型和知识库的供应链风险

参考资料来源

• 原始论文页面（USENIX Security 2026）: https://www.usenix.org/conference/usenixsecurity26/presentation/kim-juhee-agentic
• arXiv预印本: https://arxiv.org/abs/2603.11088
• SoK论文列表（Oakland SoK）: https://oaklandsok.github.io/usenix/
• 作者信息: Juhee Kim (UC Berkeley/Seoul National University), Wenbo Guo (UC Santa -