花 9 万美元请高手,三道题都输给了 AI
最近,《The Information》报道了 METR 的一项新评测:人类专家满负荷干一周(约 40 小时)的硬活,最前沿的 AI 已经有一半的概率能独立搞定。
先交代一下 METR(Model Evaluation & Threat Research):一家专门给顶尖大模型做极限摸底的非营利研究机构。他们不爱测选择题,专测把 AI 扔进高难度长程任务里,它能自己扛多久,并用“人类专家需要花几小时”作为衡量难度的尺子。
问题来了:“40 小时”这把尺子怎么量出来的? 想摸清这类任务对熟手有多难,最直接的办法,是找对口的专家真刀真枪把题做一遍。
听着简单,干起来差点把 METR 逼疯。

纵轴是模型约有 50% 成功率时,对应的人类任务用时。来源|METR
先问 AI 全世界谁最牛,再烧 9 万美元摇人
负责找人的研究员 Matt Putz,第一步居然是先问大模型:“全世界谁最擅长干这事,而且可能抽出空?”拿到线索后再挨个联系。
为了请动大神,他们开出 200–350 美元/小时 的时薪,光是 7 次人工对照尝试就花掉约 9 万美元。请来的全是一线硬茬,配的也是三道硬核考题:
写一个能自己通关《我的世界》的机器人: 请来真做过《我的世界》和《英雄联盟》游戏机器人的开发者。
给《生命游戏》倒放录像: 只给最终演化图案,倒推初始棋盘(约等于端上一盘炒菜,让你还原生食材)。找来 Kaggle 相关竞赛亚军队成员,加一位约束求解方向博士生。
训练神经网络复现指定程序的输入输出: 外部最高分得主,是前 Codeforces 国际特级大师、2020 年 Kaggle ARC-AGI 冠军。
全明星阵容拉满,结果一开测就出了状况。
5.5 小时起飞,160 小时卡死:这钱是不是白花了?
拿《我的世界》那道题来说,通关路上设了一串检查点,评测会记录机器人推进到哪一步。
受邀专家起步极猛,只用约 5.5 小时就冲到了第一个检查点,和一个开源通关项目的作者用时相当。
可画风紧接着就急转直下。 他一路死磕到 160 小时(相当于一个月的全职工时),得分却只小幅涨了一点。前 5 个半小时证明高手能很快跑通起步,后面 150 多小时才暴露出:从“能跑起来”到“持续推进直至通关”,中间隔着多远的鸿沟。

黑点是专家最高分,绿点是模型最高分。图中时长是专家累计投入。来源|METR 。
看到这儿你可能会嘀咕:请来真高手、干了 160 小时,最后团队还得靠翻开源项目的开发记录去估算后续用时——这 9 万美元,是不是白交学费了?
钱倒没白花,这次实测让团队看见了开局和后续推进的差距,也给估算提供了一个能对照的起点。但它恰恰暴露了 METR 一个极其尴尬的处境:这道题只有一位外部专家实测。一个高手在 160 小时卡住,你很难分清,到底是这关对大多数高手都这么难,还是他走进了一条费时的路线,换个高手就能更早破局。
画尺子画到一半,撞上两个更扎心的现实
原本请这些世界冠军下场,只是为了给考题“画一把靠谱的人类标尺”。可真跑下来,AI.info 披露的细节暴露了两个更现实的困境:
第一,尺子越来越难靠真人画了——九成新题只能靠估。
真正能接住这种题的高手,都在忙高难度的本职工作,哪能随随便便抽出几十上百小时陪考?结果 METR 这批新题里,只有 3 道(约 9%) 是真花钱请高手掐表实测出来的;剩下 31 道 实在拉不到真人下场,只能靠研究员翻公开项目记录、找专家咨询,硬估出一个“人类大概需要多少小时”。
第二,真请来画尺子的高手,“开挂”还是输给了 AI。
为了帮人类减负,METR 在这轮实测里甚至允许受邀专家调用 Sonnet 5 辅助写代码。但即便带着顶级 AI 副驾驶一起作战,在这三类做了正式人工对照的任务上,表现最强的 AI 模型,最终得分全部超过了参与对照的人类专家。
聊到这儿,其实已经踩到了当下大模型最核心的一个命题:既然单个高手的表现代表不了全人类,那到底什么才是“好数据”?好的数据 Taste 背后,为什么绕不开足够大的专家规模?
这个硬核话题,先在这儿留个钩子,我们后面专门开一篇好好聊。
回到眼下,这也是我们想和 TalentsAI 的专家们聊的事。竞赛题和游戏机器人终究只是冰山一角,真正能测出模型深浅的硬骨头,藏在各行各业的实战里——有人死磕过极端工况下的结构设计,有人能从几张互相矛盾的表里追出一笔错账。
AI 已经能交出一份看起来像样的答卷了。如果把最强的模型摆在你面前,你会拿哪道自己做过的难题,来试试它到底能走多远?
来源
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)