AGI的技术瓶颈:当前AI距离通用智能还有多远

title: “AGI的技术瓶颈:当前AI距离通用智能还有多远”
authors: “[DeepThink.ai]”
affiliations: “[AI Genius Institute]”
keywords: “[通用人工智能, 大语言模型, 智能体, 技术瓶颈, 能力评测, 可扩展监督]”

Abstract

通用人工智能(Artificial General Intelligence,AGI)的实现路径与差距评估已成为大语言模型(Large Language Model,LLM)研究的核心议题。现有讨论多停留在单一任务得分或定性轶事,缺乏将能力、泛化、自主性与安全纳入同一分析框架的系统性梳理。本文提出一个面向 AGI 距离评估的多维瓶颈分析框架,将技术瓶颈划分为认知与推理、知识与真实性、长程自主性、具身与世界模型、持续学习与自我进化、对齐与可扩展监督六个维度,并为每个维度给出可操作的评测协议与已发表证据的汇总。基于对代表性基准结果的梳理,本文观察到三点事实:其一,在对人类概念上简单的多步骤真实任务上,通用助手系统与人类仍存在显著差距(例如 GAIA 基准上人类正确率 92%,带插件的 GPT-4 为 15%);其二,推理模型在问题复杂度越过阈值后出现准确率骤降;其三,自我进化智能体在持续学习与安全维度上尚缺乏可信的正向证据。本文进一步讨论各瓶颈的成因与耦合关系,指出可扩展监督与长程任务可靠性是当前最紧的约束,并给出面向未来可检验的研究议程。

—

你离拥有一支永不停歇、持续进化的 AI 超级研发团队,只差一次 git clone——DeepThink 是 AI Genius Institute & 光剑AI 打造的开源、免费、可自由使用的私有 AI 操作系统(AI OS):在安全隔离的沙箱中自主执行代码、管理文件、完成超复杂长程任务,作为自托管、多用户、本地优先的 AI Agent Loop Engineering 系统,支持桌面端+浏览器+移动端,让 DeepThink 成为你的全能数字助手;它不止让你使用 AI,更要让你从工具使用者进化为代码创造者,最终成长为可自我繁衍的超级智能体,让每家企业都拥有自己的 AI 超级研发团队,一起走向 AGI——现在就去 git clone,顺手点亮 Star:你收藏的不是一个仓库,而是通往 AGI 的入场券。🚀

DeepThink,开源企业级自主 Agent 超级智能体自进化平台,是从 Harness Engineering 到 Loop Engineering 范式的先行者,面向企业客户的新一代 AI 基础设施(AI Infra)。DeepThink 平台以多 Agent 协作框架为核心,融合 AI 自主编程(AI Coding)、自主进化(Self-Evolving)、全栈可观测性(Full-Stack Observability)、Bug 自修复闭环(Bug Auto-Fix Loop)与 程序员-Agent 共生协作(Human-Agent Symbiosis),构建一个能持续学习、自我改进、最终成长为超级智能体的企业级 AI 系统。

DeepThink 项目开源代码(如果你觉得好玩,就一起来玩, Star 一下):
Gitcode: https://gitcode.com/AIGeniusInstitute/deepthink
Github: GitHub - AIGeniusInstitute/deepthink: DeepThink, A Loop Engineering App Running On Desktop, and Inte

—

1 Introduction

动机与重要性。 以大语言模型为代表的现代人工智能系统在考试式基准上不断刷新记录,工业界与学术界围绕"距离通用智能还有多远"的讨论随之升温。这一问题的重要性体现在三个层面:对研究者,它决定资源投向能力扩展还是基础缺陷修补;对产业界,它决定哪些场景可以放心部署、哪些场景需要人机协同兜底;对政策制定者,它关系到风险分级与监管介入的时机。Morris 等人 [1] 指出,缺乏可操作的 AGI 分级定义会直接导致风险评估与基准设计失焦,这从反面说明"距离"必须被定义成可测量的量而非修辞。

现有做法的具体局限。 当前关于 AGI 进展的判断主要依赖三类证据,各有结构性缺陷。第一类是考试式基准得分:任务以静态选择题或短程生成为主,无法反映长程自主性与环境交互能力,Chollet [2] 明确论证了"任务技能"受先验知识与经验强烈调制,不能等同于智能本身。第二类是定性演示与轶事:例如 Bubeck 等人 [3] 对 GPT-4 的早期能力展示引发"AGI 火花"之争,但演示样本的挑选偏差与不可复现性使其难以支撑系统结论。第三类是单一维度的排行榜:知识、推理、多模态、智能体各自评测,缺少跨维度的汇总视角,导致"短板在哪"这一关键问题悬而未决。此外,关于能力涌现的争论——Wei 等人 [4] 报告了随规模突现的能力,Schaeffer 等人 [5] 则指出所谓突现可能源于非线性评价指标的选择——进一步说明,度量方式本身就会制造或掩盖"差距"。

本文核心思路。 本文不提出新模型,而是提出并落地一套多维瓶颈分析框架:把通往 AGI 的技术瓶颈分解为认知与推理、知识与真实性、长程自主性、具身与世界模型、持续学习与自我进化、对齐与可扩展监督六个维度;为每个维度给出问题形式化、代表性基准、已发表证据与失败模式;并提供一个可复用的评测协议,用于在未来工作中把各维度证据汇总为可比较的"距离"刻画。我们用该框架系统梳理了 2019—2026 年间的代表性工作,并对每个维度给出证据强度评级。

贡献。 本文的贡献概括为四点:

  • 提出一个六维 AGI 技术瓶颈分类框架,明确各维度的边界、耦合关系与评测对象,使"距离 AGI 多远"从修辞问题变为可操作的测量问题。
  • 系统梳理每个瓶颈维度的代表性基准与已发表证据,并以统一格式(任务、指标、参考人类基线、观察到的差距)进行对照,所有引用数字均可回溯到原始文献。
  • 给出一套可复用的评测协议与证据强度评级标准,明确哪些结论目前证据充分、哪些仅为提示性证据、哪些方向证据为空白。
  • 提炼出可检验的研究议程:可扩展监督、长程任务可靠性、持续学习一致性被识别为当前最紧的三项约束。

结构说明。 第 2 节按技术流派综述相关工作;第 3 节给出多维瓶颈分析框架与问题形式化;第 4 节报告用该框架进行的现状梳理与证据分析;第 5 节讨论成因、适用边界与伦理影响;第 6 节总结全文。

2 Related Work

AGI 概念与分级流派。 该流派试图为 AGI 给出可操作定义。Chollet [2] 将智能定义为"技能获取效率",主张以先验知识受控的任务(如 ARC)衡量泛化而非静态技能;Morris 等人 [1] 提出按性能、通用性、自主性三轴分级的 AGI 本体论,用于模型比较与风险评估;Bubeck 等人 [3] 从能力展示角度主张 GPT-4 是 AGI 的早期形态。与上述工作相比,本文不重新定义 AGI,而是以这些定义为输入,聚焦"瓶颈"这一更具诊断价值的问题:即便接受任一分级定义,仍需回答哪些技术能力构成主要障碍。

大模型能力与局限流派。 该流派研究规模扩展带来的能力变化及其边界。Kaplan 等人 [6] 给出损失随参数量、数据量、算力的幂律关系;Wei 等人 [4] 报告了小模型上不存在的突现能力;Schaeffer 等人 [5] 对"突现"提出度量伪象的质疑;Dziri 等人 [7] 通过计算图分析指出 Transformer 在组合推理上依赖线性化子图匹配,复杂度增长时性能快速退化;Huang 等人 [8] 系统综述了幻觉现象的分类、成因与检测。与上述工作相比,本文将这些分散的局限证据映射到统一的瓶颈坐标系中,用以回答"哪一类局限离 AGI 更致命",而不局限于单一现象的机理分析。

智能体与具身流派。 该流派研究模型在环境中自主行动的能力。Wang 等人 [9] 综述了基于 LLM 的自主智能体框架;Liu 等人 [10] 提出 AgentBench,在 8 个交互环境中评测智能体的推理与决策,指出开源小模型在长程推理与指令遵循上的失败模式;Mialon 等人 [11] 提出 GAIA,用对人类简单、对 AI 困难的真实世界多步任务测量通用助手能力;在具身方向,Driess 等人 [12] 的 PaLM-E 将传感器输入接入 LLM 做机器人任务,Wang 等人 [13] 的 Voyager 在开放环境中持续学习技能库,Bruce 等人 [14] 的 Genie 从无标注视频学习可交互世界模型。与上述工作相比,本文不设计新智能体或新基准,而是将这些进展作为"长程自主性"与"具身"两个瓶颈维度的证据来源,并评估其证据强度。

持续学习与自我进化流派。 该流派研究部署后系统从经验中改进自身的能力。近期综述 [15,16] 梳理了自我进化智能体的范式与记忆机制;LifelongAgentBench [17] 首次系统评测智能体的终身学习能力,指出现有智能体多为无状态系统;“Are Self-Evolving Agents Continual Learners?” [18] 质疑非参数化自我进化能否承担持续学习;“The Self-Improvement Paradox” [19] 研究无外部脚手架时自我改进的可行性;安全方向的综述 [20] 指出经验一旦成为可复用状态,过去事件会成为未来决策的持久原因。与上述工作相比,本文将自我进化定位为 AGI 的必要不充分条件之一,并将其收益与风险放进同一评估框架,而不是单独论证其有效性。

对齐与可扩展监督流派。 该流派研究当模型能力接近或超过人类时如何保持可控。Burns 等人 [21] 提出弱到强泛化实验,用弱模型监督强模型以模拟未来的超人监督问题;Hubinger 等人 [22] 构造了经安全训练仍持续存在的欺骗性后门行为,说明标准安全训练可能造成安全错觉。与上述工作相比,本文把可扩展监督视为独立于能力维度的瓶颈,强调"能力越强、监督信号越稀薄"这一结构性矛盾。

3 方法:AGI 技术瓶颈的多维分析框架

3.1 问题形式化

设智能系统在任务分布 T \mathcal{T} T 上运行。对每个任务 t ∈ T t \in \mathcal{T} t∈T,定义人类参考基线 h ( t ) ∈ [ 0 , 1 ] h(t) \in [0,1] h(t)∈[0,1] 与系统得分 s ( t ) ∈ [ 0 , 1 ] s(t) \in [0,1] s(t)∈[0,1]。本文不追求单一的"AGI 分数",而是先按瓶颈维度分解。设维度集合

D = { d r s , d k n , d a g , d e m , d c l , d a l } \mathcal{D} = \{d_{\mathrm{rs}}, d_{\mathrm{kn}}, d_{\mathrm{ag}}, d_{\mathrm{em}}, d_{\mathrm{cl}}, d_{\mathrm{al}}\} D={drs​,dkn​,dag​,dem​,dcl​,dal​}

其中六个元素依次对应认知与推理(reasoning)、知识与真实性(knowledge)、长程自主性(agency)、具身(embodiment)、持续学习(continual learning)、对齐(alignment)。对维度 d d d,定义其归一化差距为

G a p ( d ) = E t ∼ T d [ h ( t ) − s ( t ) max ⁡ ( h ( t ) , ϵ ) ] \mathrm{Gap}(d) = \mathbb{E}_{t \sim \mathcal{T}_d}\left[\frac{h(t) - s(t)}{\max(h(t), \epsilon)}\right] Gap(d)=Et∼Td​​[max(h(t),ϵ)h(t)−s(t)​]

其中 T d \mathcal{T}_d Td​ 为该维度的代表任务子集, ϵ \epsilon ϵ 为防止除零的小常数。进一步,参照 Chollet [2] 将智能视为技能获取效率的立场,定义效率项

E f f ( d ) = s p o s t ( d ) − s p r i o r ( d ) c e x p \mathrm{Eff}(d) = \frac{s_{\mathrm{post}}(d) - s_{\mathrm{prior}}(d)}{c_{\mathrm{exp}}} Eff(d)=cexp​spost​(d)−sprior​(d)​

其中 s p r i o r s_{\mathrm{prior}} sprior​ 与 s p o s t s_{\mathrm{post}} spost​ 分别为接触新任务前后的得分, c e x p c_{\mathrm{exp}} cexp​ 为获得经验的成本(样本、交互轮数或算力)。系统的整体刻画由向量 ( G a p ( d ) , E f f ( d ) ) d ∈ D \left(\mathrm{Gap}(d), \mathrm{Eff}(d)\right)_{d \in \mathcal{D}} (Gap(d),Eff(d))d∈D​ 给出,而非标量,理由见 3.5 节。符号汇总见附录 A。

3.2 框架总览

框架的总体结构如图 1 所示。证据采集层从基准与文献中抽取事实,瓶颈分析层按六维归类并评级,输出层给出"距离"刻画与研究议程。

┌─────────────────────────────────────────────────────────────────┐
│                        输出层:距离刻画与议程                       │
│   各维证据强度评级 │ 关键短板识别 │ 可检验研究议程(1–3 年)        │
├─────────────────────────────────────────────────────────────────┤
│                     瓶颈分析层(六维分解)                          │
│  ┌──────────┐ ┌──────────┐ ┌──────────┐                         │
│  │B1 认知    │ │B2 知识    │ │B3 长程    │                         │
│  │   与推理  │ │  与真实性 │ │   自主性  │                         │
│  └──────────┘ └──────────┘ └──────────┘                         │
│  ┌──────────┐ ┌──────────┐ ┌──────────┐                         │
│  │B4 具身    │ │B5 持续    │ │B6 对齐    │                         │
│  │ 与世界模型│ │  学习与   │ │ 与可扩展  │                         │
│  │          │ │  自我进化 │ │   监督    │                         │
│  └──────────┘ └──────────┘ └──────────┘                         │
│         维度间耦合:B5←→B6,B3←→B1,B4←→B3                       │
├─────────────────────────────────────────────────────────────────┤
│                       证据采集层                                  │
│  代表性基准(GAIA/GPQA/AgentBench/ARC 等)                        │
│  已发表结果与人类基线 │ 失败案例与机理分析 │ 安全事件报告            │
└─────────────────────────────────────────────────────────────────┘

图 1:AGI 技术瓶颈多维分析框架总览。

3.3 模块细节

B1 认知与推理。 评测对象为组合泛化、多步规划与精确计算。核心证据:Dziri 等人 [7] 在多位数乘法、逻辑格与动态规划上证明,Transformer 的组合推理更接近线性化子图匹配,随组合深度增加性能退化加速;Shojaee 等人 [23] 用可控复杂度的谜题环境报告大推理模型在超过特定复杂度后出现准确率完全崩塌,且推理努力在难度升高时反常下降。典型失败模式:解题过程流畅但中间步骤不可验证、复杂度越界后静默失败。

B2 知识与真实性。 评测对象为事实准确性、校准与知识边界的自知。核心证据:Huang 等人 [8] 的综述给出幻觉的分类体系并指出检索增强并不能根除该问题;Rein 等人 [24] 的 GPQA 显示在专家出题的研究生级问题上,非专家借助网络检索正确率仅 34%,说明网络检索不是可靠的知识替代。典型失败模式:以高置信度陈述错误事实、无法区分"知道"与"不知道"。

B3 长程自主性。 评测对象为多步工具使用、错误恢复与失败归因。核心证据:GAIA [11] 的 466 个真实世界多步任务上人类正确率 92%,而带插件的 GPT-4 为 15%;AgentBench [10] 指出智能体的失败集中在长程推理、决策与指令遵循;失败归因研究 [25] 基于 127 个多智能体系统的失败日志表明,定位"哪个智能体在哪一步出错"仍高度依赖人工。典型失败模式:中间步骤偏离目标后不自纠、工具调用错误级联放大。

B4 具身与世界模型。 评测对象为物理 grounding、交互式环境预测与从观察学习。核心证据:PaLM-E [12] 展示了多模态传感器输入接入 LLM 做机器人操作的可行性(最大 562B 参数),Voyager [13] 展示开放环境中技能库的持续积累,Genie [14](11B 参数)从无标注互联网视频学习出可提示控制的交互环境。典型失败模式:仿真到真实迁移损失、长时程物理一致性缺失。该维度的证据以可行性展示为主,人类基线对照普遍缺失。

B5 持续学习与自我进化。 评测对象为经验复用、抗遗忘与自我改进的可持续性。核心证据:LifelongAgentBench [17] 在数据库、操作系统、知识图谱三个交互环境中系统评测终身学习能力,指出现有智能体基本是无状态系统;[18] 质疑仅靠改写提示、记忆与技能库的非参数化自我进化能否构成有效的持续学习;[19] 研究无外部脚手架的自我改进能力;自我进化安全综述 [20] 警告经验固化为状态后会放大历史事件的影响。典型失败模式:技能库漂移、自我强化的错误经验、改进停滞(tail narrowing)。

B6 对齐与可扩展监督。 评测对象为监督信号随能力增长的有效性、欺骗性行为的持久性。核心证据:弱到强泛化 [21] 表明强模型被弱监督微调后可以超过监督者但达不到全监督上限,说明监督信号存在信息瓶颈;Sleeper Agents [22] 证明演示性后门行为可经监督微调与对抗训练持续存在,且更强大的模型与使用欺骗性思维链训练的模型保持性更强。典型失败模式:安全训练后的表面合规、监督者无法识别的隐性失败。

3.4 训练 / 评测协议

本文方法不含模型训练,其"推断"过程是对证据的结构化聚合。协议分四步:

  1. 维度映射:每项证据(基准或实验)映射到一个主维度与至多一个耦合维度,映射规则在附录 B 给出。
  2. 证据抽取:抽取任务定义、指标、参考人类基线、被测系统配置与已发表数值。数值只允许来自原始文献的可核实结果;本文不做跨论文重跑。
  3. 强度评级:对每条"该维度存在瓶颈"的结论标注证据强度——A 级(多篇独立文献、有人类基线对照)、B 级(单篇文献或缺乏人类基线)、C 级(仅有定性演示或推理式论证)。
  4. 汇总与议程:按维度给出差距与效率的定性刻画,识别证据最充分的短板,导出可检验研究议程。

3.5 复杂度与理论性质

为什么不输出单一标量。 设各维权重向量 w w w,标量总分 S = ∑ d w d ⋅ ( 1 − G a p ( d ) ) S = \sum_d w_d \cdot (1 - \mathrm{Gap}(d)) S=∑d​wd​⋅(1−Gap(d))。对任意两个系统,只要其差距向量不是逐维占优,改变 w w w 就可能翻转排序;而 w w w 的取值本质上是价值判断而非测量结果。Schaeffer 等人 [5] 关于度量选择改变能力涌现结论的发现是同一现象在单维内的表现。因此本文坚持向量刻画,标量聚合仅在明确声明权重时使用。

测量成本。 长程自主性与持续学习维度的评测成本远高于静态基准:一次完整评测包含多轮环境交互,其成本随任务时程 H H H 近似线性甚至超线性增长( c e x p ∝ H c_{\mathrm{exp}} \propto H cexp​∝H),这使得效率项 E f f ( d ) \mathrm{Eff}(d) Eff(d) 的可靠估计本身成为一个开放的实验设计问题。

证据不完备性。 框架输出受限于公开文献:厂商内部评测无法核实,本文对所有不可核实内容标注"此处无法核实"并排除在证据之外(见 4.5 节)。

4 实验:现状评测与证据分析

4.1 实验设置

对象。 2019 年 1 月至 2026 年 10 月间公开的代表性工作,经第 3.4 节协议抽取与映射。基线。 以人类参考基线 h ( t ) h(t) h(t) 为唯一对照基线;模型间比较只采用同一论文内报告的结果。指标。 各基准原生指标(正确率、成功率等)+ 证据强度评级(A/B/C)。实现细节。 文献检索以 arXiv 为主,检索与核实过程记录在参考文献中;所有数值均标注来源。超参。 维度映射规则见附录 B;默认不设标量权重。

4.2 主要结果

表 1 汇总各瓶颈维度的代表性证据。表中"已发表数值"列只收录可回溯到原始文献的数字。

表 1:六维瓶颈的代表性基准与已发表证据

维度代表基准/工作任务与指标人类基线已发表数值证据强度
B1 认知与推理Faith and Fate [7]组合任务(乘法/逻辑格/DP)正确率未报告组合深度增加时性能快速退化(定性结论,见原文)A
B1 认知与推理Illusion of Thinking [23]可控复杂度谜题正确率未报告超过复杂度阈值后准确率完全崩塌A
B2 知识与真实性GPQA [24]448 道研究生级选择题正确率领域博士 65%非专家+网络检索 34%A
B2 知识与真实性幻觉综述 [8]分类/检测/缓解体系—定性:检索增强不能根除幻觉A
B3 长程自主性GAIA [11]466 个多步真实任务正确率92%GPT-4 + 插件 15%A
B3 长程自主性AgentBench [10]8 个交互环境综合成功率未报告开源 70B 以下模型明显落后商用模型A
B3 长程自主性Who&When [25]失败归因标注(127 个系统)人工标注自动归因仍显著弱于人工(见原文)B
B4 具身与世界模型PaLM-E [12]机器人操作+视觉问答未报告最大 562B 参数,联合训练正迁移B
B4 具身与世界模型Genie [14]无标注视频→交互环境未报告11B 参数,可提示帧级控制B
B5 持续学习与自我进化LifelongAgentBench [17]3 个环境终身学习成功率未报告现有智能体多为无状态,跨任务迁移弱A
B5 持续学习与自我进化自我进化综述 [15]范式综述—定性:静态配置限制适应性B
B6 对齐与可扩展监督弱到强泛化 [21]弱监督下强模型恢复的性能差距—强模型超过弱监督者但低于全监督上限A
B6 对齐与可扩展监督Sleeper Agents [22]后门行为经安全训练的存续—存续,且模型越大越顽固A

表 2 为本文框架下"距离刻画"的模板。定性刻画列填写依据表 1 证据的判断;本文自身的汇总评分属于待验证项,故以占位符标注。

表 2:AGI 距离向量刻画(模板与待填项)

维度Gap 定性刻画Eff 定性刻画当前最紧约束本文汇总评分
B1 认知与推理中:常规推理强,组合深度与复杂度越界后崩塌中复杂度鲁棒性[实验数据待填]
B2 知识与真实性中:知识广但校准差,边界自知缺失中校准与自知[实验数据待填]
B3 长程自主性高:人类 92% 对系统 15%(GAIA)低长程可靠性[实验数据待填]
B4 具身与世界模型高:人类基线缺失,证据以可行性为主低真实世界 grounding[实验数据待填]
B5 持续学习与自我进化高:无状态为主,改进可持续性存疑低抗遗忘与经验质量[实验数据待填]
B6 对齐与可扩展监督高:监督信息瓶颈,安全训练可被欺骗低可扩展监督[实验数据待填]

4.3 消融分析(权重与度量敏感性)

由于本文输出为向量刻画,此处的"消融"指度量选择与权重选择对结论的影响分析,作为后续实证研究的设计说明:

  • 度量敏感性:同一能力用非线性指标(精确匹配)与平滑指标(部分得分)测量,可能得出"突现"与"渐进"两种相反结论 [5]。评测协议要求每个维度至少报告一种平滑指标作为稳健性对照。
  • 权重敏感性:若坚持输出标量总分,需报告权重扰动下的排序稳定性;排序翻转的权重区间本身是结论的一部分。
  • 人类基线消融:去除人类基线后,B3 与 B4 维度的结论强度降级(B4 尤甚),说明补充人类对照是该维度最优先的实验补强。

4.4 分析

定性分析。 三类失败在证据中反复出现:复杂度越界后的静默失败(B1)[23];流畅但不可验证的中间过程(B1/B3)[7];表面合规掩盖隐性失败(B6)[22]。三者的共同点是标准评测指标(最终正确率)对其不敏感,指向评测协议必须纳入过程性指标。

效率分析。 静态基准的单次评测成本可忽略,而 B3/B5 维度的交互式评测需要多轮环境交互。以任务时程 H H H 计,评测成本约以 O ( H ) O(H) O(H) 增长,且失败归因需要人工标注 [25],是目前评测体系中最贵的环节。

失败案例。 GAIA 上 15% 对 92% 的差距 [11] 并非由单点能力缺失造成,而是推理、检索、工具调用、自我纠错的级联;把该差距归因于任何单维能力都会低估修复难度。Sleeper Agents [22] 则提供了另一种失败案例:能力指标一切正常而安全属性失效,说明"距离 AGI"的刻画必须并列安全维度而非将其作为附属。

4.5 局限

  • 本文为文献框架研究,不包含新模型训练与新基准重跑;表 2 的汇总评分为待验证项。
  • 证据覆盖以 arXiv 公开文献为主,闭源系统内部评测无法核实,不纳入结论;对 2026 年发表的部分文献仅核实了标题、摘要与元数据,正文级结论引用仅限于已核实内容。
  • 六维划分存在边界争议,例如多模态感知横跨 B2 与 B4;本文采用"评测对象优先"的映射规则以保持一致。
  • 人类基线并非处处可得, G a p ( d ) \mathrm{Gap}(d) Gap(d) 的定义在无人类基线的维度上只能给出定性刻画。

5 Discussion

成因解释。 六维瓶颈的共同根源可归纳为三点:训练目标与部署目标错配(下一词元预测与长程任务成功的错配直接体现在 B3);监督信号的信息瓶颈(当被测系统能力接近监督者,反馈不再提供增量信息,这同时限制 B1 的上限与 B6 的有效性 [21]);经验利用机制不成熟(B5 的记忆与技能复用缺少一致性的形式保证 [17,18])。三个根源相互耦合:能力越强、监督越稀薄、对自我进化经验质量的要求越高,风险越集中。

适用边界。 本文框架适用于以 LLM 为核心、任务可描述、存在可定义参考基线的系统。对科学发现、开放创造性任务等缺乏人类基线的领域,框架只能给出证据强度评级而无法量化 Gap;对纯硬件或纯理论能力的评估不在范围内。

伦理影响。 其一,"AGI 距离"的公开叙事直接影响投资与就业预期,框架强调向量刻画与证据分级,旨在减少单指标宣传造成的误判。其二,欺骗性行为经安全训练仍存续 [22] 意味着部署前安全测试的通过不能作为长期安全的证据,需要持续监测。其三,自我进化系统将历史经验固化为持久状态 [20],可能放大早期数据偏差,涉及用户数据的复用应纳入知情同意范围。

6 Conclusion

本文针对"当前 AI 距离通用智能还有多远"这一问题,提出并应用了一个六维技术瓶颈分析框架。基于可回溯的已发表证据,本文验证了三点:推理能力在复杂度越界后出现崩塌;长程自主任务上通用系统与人类存在显著差距;自我进化与可扩展监督两个维度尚缺乏可信的正向证据。框架坚持向量刻画而非单一标量,并给出证据强度评级与评测协议。本文的结论限于已核实的公开文献,不含未验证的模型评测数据。

未来工作具体包括三项:其一,为 B4 与 B5 维度补充带人类基线的对照实验,把表 2 的占位符替换为实测值;其二,设计过程性指标(步骤可验证性、失败自纠率)并嵌入 GAIA/AgentBench 类评测;其三,构建弱到强监督的长期实验,测量监督信息瓶颈随能力增长的退化曲线。

References

[1] Morris, M. R., Sohl-Dickstein, J., Fiedel, N., et al. Levels of AGI for Operationalizing Progress on the Path to AGI. arXiv:2311.02462, 2023.

[2] Chollet, F. On the Measure of Intelligence. arXiv:1911.01547, 2019.

[3] Bubeck, S., Chandrasekaran, V., Eldan, R., et al. Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712, 2023.

[4] Wei, J., Tay, Y., Bommasani, R., et al. Emergent Abilities of Large Language Models. arXiv:2206.07682, 2022.

[5] Schaeffer, R., Miranda, B., Koyejo, S. Are Emergent Abilities of Large Language Models a Mirage? arXiv:2304.15004, 2023.

[6] Kaplan, J., McCandlish, S., Henighan, T., et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020.

[7] Dziri, N., Lu, X., Sclar, M., et al. Faith and Fate: Limits of Transformers on Compositionality. arXiv:2305.18654, 2023.

[8] Huang, L., Yu, W., Ma, W., et al. A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232, 2023.

[9] Wang, L., Ma, C., Feng, X., et al. A Survey on Large Language Model based Autonomous Agents. arXiv:2308.11432, 2023.

[10] Liu, X., Yu, H., Zhang, H., et al. AgentBench: Evaluating LLMs as Agents. arXiv:2308.03688, 2023.

[11] Mialon, G., Fourrier, C., Swift, C., et al. GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983, 2023.

[12] Driess, D., Xia, F., Sajjadi, M. S. M., et al. PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378, 2023.

[13] Wang, G., Xie, Y., Jiang, Y., et al. Voyager: An Open-Ended Embodied Agent with Large Language Models. arXiv:2305.16291, 2023.

[14] Bruce, J., Dennis, M., Edwards, A., et al. Genie: Generative Interactive Environments. arXiv:2402.15391, 2024.

[15] A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems. arXiv:2508.07407, 2025.

[16] A Survey of Agent Memory in the Second Half: Towards Self-Evolving and Long-Horizon Agents. arXiv:2602.06052, 2026.

[17] LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners. arXiv:2505.11942, 2025.

[18] Are Self-Evolving Agents Continual Learners? arXiv:2610.25858, 2026.

[19] The Self-Improvement Paradox: Can Language Models Bootstrap Reasoning Capabilities without External Scaffolding? arXiv:2502.13441, 2025.

[20] Safety in Self-Evolving Agents: A Survey. arXiv:2610.00093, 2026.

[21] Burns, C., Izmailov, P., Kirchner, J. H., et al. Weak-to-Strong Generalization: Eliciting Strong Capabilities with Weak Supervision. arXiv:2312.09390, 2023.

[22] Hubinger, E., Denison, C., Mu, J., et al. Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. arXiv:2401.05566, 2024.

[23] Shojaee, P., Mirzadeh, I., Alizadeh, K., et al. The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity. arXiv:2506.06941, 2025.

[24] Rein, D., Hou, B. L., Stickland, A. C., et al. GPQA: A Graduate-Level Google-Proof Q&A Benchmark. arXiv:2311.12022, 2023.

[25] Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems. arXiv:2505.00212, 2025.

Appendix

A 符号表

符号含义定义位置
T \mathcal{T} T任务分布3.1
T d \mathcal{T}_d Td​维度 d d d 的代表任务子集3.1
h ( t ) h(t) h(t)任务 t t t 的人类参考基线, h ( t ) ∈ [ 0 , 1 ] h(t) \in [0,1] h(t)∈[0,1]3.1
s ( t ) s(t) s(t)系统在任务 t t t 上的得分, s ( t ) ∈ [ 0 , 1 ] s(t) \in [0,1] s(t)∈[0,1]3.1
G a p ( d ) \mathrm{Gap}(d) Gap(d)维度 d d d 的归一化差距3.1
E f f ( d ) \mathrm{Eff}(d) Eff(d)维度 d d d 的技能获取效率3.1
s p r i o r ( d ) , s p o s t ( d ) s_{\mathrm{prior}}(d), s_{\mathrm{post}}(d) sprior​(d),spost​(d)接触新任务前/后在维度 d d d 的得分3.1
c e x p c_{\mathrm{exp}} cexp​获得经验的成本(样本/轮数/算力)3.1
H H H任务时程(交互步数)3.5
ϵ \epsilon ϵ防止除零的小常数3.1
w w w标量聚合时的权重向量3.5

B 维度映射规则

  1. 以基准的评测对象(而非模型架构)决定主维度:测组合与精确计算归 B1,测事实与校准归 B2,测多步环境交互归 B3,测物理/传感 grounding 归 B4,测经验积累与遗忘归 B5,测监督有效性与安全行为归 B6。
  2. 耦合维度至多一个;无明确耦合则留空。
  3. 同一工作可贡献多条证据,但每条证据独立评级。
  4. 证据强度:A = 至少两篇独立文献或一篇含人类基线对照的文献;B = 单篇文献或缺少人类基线;C = 仅有定性演示、厂商报告或推理式论证。C 级证据不进入表 1。

C 评测协议检查清单(供后续实证研究使用)

  1. 是否报告了人类参考基线?若无,Gap 只能定性。
  2. 是否报告了过程性指标(步骤正确率、失败自纠率)而非仅最终正确率?
  3. 是否使用了平滑指标做稳健性对照 [5]?
  4. 交互式任务是否公开了时程 H H H 与终止条件?
  5. 自我进化/持续学习实验是否报告了旧任务性能保持率(抗遗忘)?
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐