钱学森1954年就指出了今天AI的根本问题
一、今天AI的三个根本问题
2026年,人工智能正在从“数字世界”走向“物理世界”。大模型能写诗、能编程、能通过律师资格考试。自动驾驶正在上路,机器人开始进入工厂和家庭。
但所有人心里都有一个疑问:我们不敢真正信任它。
问题一:大模型“不知道自己不知道”
大模型用同样自信的语气说出正确和错误的内容。你问它一个它知道的问题,它自信地回答。你问它一个它完全不知道的问题,它同样自信地回答。它不会说“我不确定”——它只会继续往下说。
这不是“撒谎”——撒谎的前提是知道真相而选择隐瞒。幻觉比撒谎更根本:模型自己都不知道自己在编造。它只是按照统计规律,生成了“最有可能出现的下一个词”。对模型来说,正确和错误、真实和虚构、确定和不确定——这些区分不存在。它只有“概率高”和“概率低”。
一个能写诗、能编程、能通过律师资格考试的模型,却不知道自己知道什么、不知道什么。
问题二:自动驾驶无法判断“该信哪个”
摄像头说“前方畅通”,雷达说“前方有障碍物”。两个传感器数据矛盾了——系统该信谁?
传统自动驾驶没有“不确定”这个状态。它只会输出一个概率——“前方有障碍物的概率是87%”——然后继续开。它不知道“自己不确定”,不知道“自己该停下来想一想”。它只能硬着头皮继续执行。
问题三:机器人没有“不确定”这个状态
机器人在意外场景中不知道“现在该做什么”。它能“执行”预设指令,但遇到规则没覆盖的情况——它就卡住了。
它不会说“我现在不确定该怎么做”——它没有这个能力。它只会执行、卡住、或者做错。
这三个问题的本质是什么?
不是“不够聪明”,是 “不可控” 。
今天的AI,在算力和模型层面已经足够强大。但它缺少一个关键的能力:知道自己知道什么、不知道什么、在不确定时主动收敛的能力。
用钱学森的话来说,它缺少“判断力”。
二、钱学森七十年前已经给出了答案
1954年,钱学森在美国出版了《工程控制论》一书。这本书是他在遭受麦卡锡主义迫害、被美国政府软禁期间完成的。他将学术精力转向了理论探索,创立了“工程控制论”这门新的技术科学。
钱学森将“工程控制论”的内容界定为“系统各个部分之间的相互作用的定性性质以及整个系统的运转状态” 。
这个定义极其深刻——它意味着工程控制论研究的不是物质运动本身,而是代表物质运动的事物之间的关系,研究这种关系的系统性质。
他在书中提出了一个核心论断:
控制论的基本问题,其关键,就在于存在各种不确定因素(Uncertainty) 。
钱学森进一步指出,控制系统的性质常可用某一特定数值是否为零来判断,但若该值不为零但特别小,“很小的误差或噪声干扰就可能导致严重的后果”-1。
这段话用在今天的AI身上,再贴切不过。大模型的“幻觉”、自动驾驶的“传感器冲突”、机器人的“意外场景”——都是这些“很小的误差或噪声干扰”在复杂系统中被放大成“严重后果”的过程。
三、钱学森的三个论断,精准对应今天的三个问题
对应一:“不确定性是控制论的基本问题”——对应大模型的幻觉
钱学森认为,控制论的基本问题“就在于存在各种不确定因素”。系统的问题不是“不知道答案”,而是“不确定自己不确定”。
今天的大模型最大的问题,恰恰就是它不知道“自己不确定”。它面对未知问题时,没有“我不确定”这个出口——它只能继续“猜”。
对应二:“系统各部分之间的相互作用”——对应自动驾驶的传感器冲突
钱学森将工程控制论界定为研究“系统各个部分之间的相互作用的定性性质以及整个系统的运转状态”-6-。
今天的自动驾驶系统有摄像头、雷达、激光雷达等“各个部分”,每个部分都在工作。但系统对“整个系统的运转状态”没有感知——它不知道“各个部分”已经冲突了,不知道“整个系统”已经进入不确定状态了。
对应三:“在不确定因素下保持预定品质”——对应机器人的困境
钱学森指出,控制论的核心可以归结为一句话:“针对某种不确定性使系统保持预定的品质” -1-10。
一个可靠的控制系统,必须在存在各种不确定因素的情况下,仍然能“稳妥地保持预定的工作状态”-。
今天的机器人,恰恰不具备这种能力。遇到规则之外的情况,它就无法“保持预定的品质”——它没有“不确定时的稳定收敛机制”。
四、为什么今天的问题,钱学森能看到
钱学森在1954年看到的,不是具体的某个技术问题,而是一切控制系统面临的普遍问题。
钱学森将工程控制论定位为一门“技术科学” ——它的目的是“把工程实际中所用的许多设计原则加以整理与总结,使之成为理论”。工程控制论要做的,是从各种具体的工程实践中提炼出“一般性的理论”。
“不确定性”就是那个一般性的问题。
无论是1954年的火炮控制系统,还是2026年的大模型、自动驾驶、机器人——它们都是“控制系统”,都面临同一个根本问题:在存在各种不确定因素的情况下,如何保持稳定的运转状态。
钱学森在1954年指出的问题,是一切控制系统的根本问题。七十多年过去了,AI从数字世界走向物理世界,面临的核心问题仍然是同一个——不确定性。
五、我们正在做的事
钱学森指明了方向,我们今天要做的,就是把这个方向工程化实现。
我们构建了 “判断力引擎” ——一套独立的认知决策系统,在AI的感知和行动之间插入一个“判断层”。
它让AI在行动之前先回答三个问题:
-
现在是什么情况? ——64卦完备态势空间,让AI从整体上把握情境
-
我对此有多确定? ——U值(全局认知势),让AI第一次拥有“自知之明”
-
这安不安全? ——内生安全降级,让AI在不确定时自动收敛到保守态势
判断力引擎要解决的,就是钱学森七十年前提出的核心问题:系统在存在各种不确定因素的情况下,如何保持预定的品质。
六、结语
1954年,钱学森在《工程控制论》中指出:控制论的基本问题“就在于存在各种不确定因素”。
七十多年后的今天,AI从数字世界走向物理世界,面临的核心问题仍然是同一个——不确定性。
大模型不知道自己不知道,自动驾驶无法判断该信哪个,机器人在意外面前不知所措——这些问题不是算力能解决的。堆再多的GPU、训练再大的模型,也堆不出一个“知道自己不知道”的AI。
钱学森在七十年前已经看到了今天AI所有问题的本质,并且给出了方向:系统需要在不确定因素下保持预定品质。
我们正在做的,就是把这个方向变成可运行的工程。
本文基于钱学森《工程控制论》核心思想编写。钱学森关于“控制论的基本问题就在于存在各种不确定因素”和“系统各部分之间的相互作用以及整个系统的运转状态”的论述,是本文的理论根基。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)