文丨恩里科  排版丨恩里科

行业动向：4000字丨10分钟阅读

让AI读懂物理世界，是具身智能要解决的核心问题：机器人得知道，推一下桌上的杯子，会发生什么。

量子计算里有一类路线，让物理系统帮AI计算。相干伊辛机（Coherent Ising Machine）就是其中之一，它把一道优化题映射到一串光脉冲上，由光脉冲自身的演化去寻找答案。

这两件事，在清华大学智能产业研究院（AIR）助理教授赵昊那里碰到了一起。业界将他与高阳、许华哲、陈建宇、赵行并称为“清华具身五杰”。他研究世界模型与具身智能，正尝试把机器人建图时遇到的一道组合难题，写成这类硬件能求解的形式。

具身智能遇到了哪些组合难题？

人看到桌上的玻璃杯，知道推它会移动，推到桌边会掉下去。让机器人也具备这种理解，正是世界模型要做的事情。赵昊这样概括世界模型与具身智能的关系：“世界模型让机器人能够想象行动的后果，具身智能让机器人把这种想象变成真实的行动。”

想象行动的后果之前，机器人先得知道自己在哪里、周围是什么。这里就有一道组合难题，也是赵昊想交给量子硬件的那道。

点云是激光雷达或深度相机扫出的大量三维点。把两次扫描对齐，叫作点云配准，要求出两团点之间的旋转和平移。如果每个点该对应谁事先已知，这一步不难，用现成的公式就能直接算出。难在对应关系事先不知道，例如一栋楼有许多一模一样的窗户，两扇不同窗户附近的点很容易被配错；两次扫描还可能只有部分重叠，夹杂噪声、遮挡和走动的行人。

点云配准的主要难点，在于从大量可能出错的候选匹配里，挑出彼此一致的那一组。这就成了一道组合优化题：假如有1000个候选匹配，每个都可以保留或舍弃，可能的组合就有2的1000次方种。实际算法不会穷举，但难度由此可见。定位、同时定位与建图（SLAM）、抓取，都常常用到点云配准。

西北工业大学团队在《3D Registration with Maximal Cliques》中提出MAC（Maximal Cliques，极大团）方法，获得CVPR 2023最佳学生论文奖。MAC把每个候选匹配当作图上的一个节点，几何上相容的两个匹配之间连一条边，再在图中搜索“极大团”，也就是一组两两相容、再也加不进新节点的节点。候选匹配一多，这一步就很慢。

赵昊团队在《FastMAC: Stochastic Spectral Sampling of Correspondence Graph》（CVPR 2024）中用一种随机谱采样方法，按节点携带几何信息的多少随机抽样，尽量保留关键的几何信息。只抽取5%的节点时，在自动驾驶数据集KITTI上，FastMAC比MAC快约80倍，配准成功率基本保持。FastMAC靠减少要搜索的节点提速；他正在探索的Quantum FastMAC，则把挑出相容匹配这道离散优化问题，写成专用优化硬件能求解的形式。

赵昊看重的另一道组合难题，来自机器人部署之前的训练环节。训练世界模型和具身模型要处理海量视频、动作轨迹和交互数据，数据多不等于效果好。挑出一组有代表性、不过度重复、又能覆盖困难场景的数据，要同时权衡每个样本的价值和样本之间的冗余，这本身就是一道二元组合优化题。在他看来，它可能直接影响大规模世界模型的训练成本。

多台机器人分配任务也属于这类问题。这些问题有一个共同点：都要在数量庞大的离散组合里作选择。Andrew Lucas在综述《Ising formulations of many NP problems》中，给出了大量组合难题的伊辛模型写法，这类写法正是量子退火机、相干伊辛机等硬件接收问题的形式。

把几何约束翻译成0和1

赵昊选择的“解题方式”，其核心数学形式是QUBO（Quadratic Unconstrained Binary Optimization，二次无约束二元优化）：一组只能取0或1的变量，目标函数里最多出现两两变量的乘积，要找出让目标函数最小的那组取值。

写成公式的话就是：

E = ∑ aᵢxᵢ + ∑ bᵢⱼxᵢxⱼ

aᵢ是单独保留某个选项的代价，bᵢⱼ描述两个选项同时保留时的相互关系；这里系数取正表示惩罚，取负表示奖励。

翻译配准问题的办法，是给每个候选匹配配一个变量，取1表示保留，取0表示舍弃。接着把几何一致性写进目标函数。物体做刚性移动时，两点之间的距离不变。假设第一团点云里A到B是1米，第二团里候选的A′到B′却是3米，这两组匹配就很难同时成立，目标函数会对“同时保留它们”加上惩罚，也就是给对应的bᵢⱼ取正值；彼此一致的两组匹配取负值，相当于奖励。

图1　点云配准写成0和1的选择题：①②③各自连起两次扫描里的同一个窗角，彼此一致，④连到了另一扇窗；解出保留①②③、舍弃④ 图源：量子前哨自绘

计算机视觉里，把配准写成QUBO并非首次。2020年，马普所的Vladislav Golyanik和Christian Theobalt在《A Quantum Computational Approach to Correspondence Problems on Point Sets》（CVPR 2020）中，把点集配准写成QUBO，在D-Wave 2000Q量子退火机上做了实验。

真实问题比距离这个例子复杂，当中还会涉及局部姿态、多帧之间的一致性等约束，有的能直接写成二次形式，有的要引入辅助变量或分层优化。接受量子前哨专访时，赵昊表示，硬改写成QUBO未必会变好，丢掉关键的几何信息或引入太多变量，都可能得不偿失。在他看来，有研究价值的部分，是找到一种既保留几何意义、又能发挥专用硬件特性的表示方法。

赵昊把训练数据选择也列为QUBO可能适用的问题。照同样的办法，每段数据本身的价值可以放进一次项，两段数据之间的重复放进二次项；要限定挑出多少段，再加一项关于总数的惩罚，展开后也是二次的，这是QUBO处理数量约束的常用写法。

赵昊认为，近期最有价值的，就是找到这样真实、明确、可以比较的优化问题，比如点云配准、多机器人任务规划和数据选择。它们数学定义清楚，也有成熟的经典算法作基线，专用硬件在求解的质量、时间和成本上带来了什么，一比便知。

一位用户给量子硬件开的需求清单

评价一套计算系统，赵昊不只看每秒浮点运算次数（FLOPS），更看重它在时间、能源和成本预算内能否帮机器人作出可靠的决策。

他把物理AI的计算需求分成四类：

• 大规模连续数值计算

• 海量数据的存储与访问

• 物理仿真

• 离散组合优化

四类任务对硬件的要求各不相同，他预测，计算系统会从今天以GPU为中心，逐步走向各类计算单元各司其职的异构架构。相干伊辛机对准的是最后一类。

把QUBO里的0和1换成自旋的朝下和朝上，就成了伊辛模型，相干伊辛机要找的是能量较低的那组朝向。

目前常见的相干伊辛机属于测量反馈型：每个光脉冲代表一个自旋，系统测量各个脉冲的状态，由FPGA算出它们之间的相互作用，再把反馈注入光学回路，经过多轮演化，系统尝试找到能量较低的自旋组合。按这种原理造出的专用量子计算机，只求解特定的优化问题，可以在常温下运行，不需要稀释制冷机。

赵昊设想的分工是这样的：摄像头和激光雷达采集环境，GPU处理视觉信息、提取三维特征、给出候选匹配；遇到困难的离散决策，就把它提取出来写成QUBO矩阵，交给相干伊辛机求解；得到的0和1回到经典系统，由GPU或CPU接着细化位置和姿态，做运动控制或物理仿真。

要让这条流水线接得上，赵昊认为，算法要从一开始就考虑硬件的四个维度：变量规模、耦合形式、数值精度和通信方式。这四项是算法设计要迁就的硬件条件，反过来，也是他这位用户给量子硬件开的需求清单。

变量规模　城市级的点云或几十亿个网络参数，要先由经典计算压缩成硬件装得下的优化问题。相干伊辛机的一个自旋对应QUBO里的一个变量，放在配准题里就是一条候选匹配。2014年，斯坦福大学Yoshihisa Yamamoto团队演示原理时只用了4个光脉冲；2021年，NTT在《Science Advances》上报告的系统已有约10万个自旋；2026年7月的一篇综述，把下一步目标定在百万自旋。

规模也是这类实验最先碰到的门槛。2022年，宝马与AWS把机器人沿车身接缝涂密封胶的轨迹规划写成QUBO，交给调用D-Wave量子退火的混合求解器：结果与贪心算法相当，耗时却长得多，接缝超过约30条就扩展不上去了；表现最好的是经典优化算法。

耦合形式　配准题的候选匹配两两之间都可能有约束，是稠密问题。求解这类问题时，量子退火机和测量反馈型相干伊辛机付出的代价不同。D-Wave量子退火机的量子比特间只有稀疏连线，一个变量常要用好几个量子比特串起来表示。测量反馈型相干伊辛机靠FPGA计算相互作用，能实现任意两两耦合，代价落在反馈延迟、带宽和系数精度上；早期的光纤延迟线型相干伊辛机，每种耦合都要一条专门的光路，难以扩展到任意两两耦合。

图2　同一张耦合图交给两类常见硬件：量子退火机在一种示意的嵌入方案里，4个变量用了15个量子比特，代价是变量数放大；测量反馈型相干伊辛机由FPGA计算任意两两耦合，代价是反馈延迟、带宽和系数精度 图源：量子前哨自绘

数值精度　硬件可表示的系数精度有限，不同几何约束的权重可能难以准确区分；超出容量的问题还得分块、分层求解，近似都会影响解的质量。

通信方式　把问题转换、硬件编程、数据传输和结果读取都算进来，专用硬件的速度优势可能被抵消；机器人底层控制要求极高的响应频率，不能每一步都等远程服务返回结果。这也是赵昊把低频的全局任务看作切入点的原因。

数据怎样进出有多关键，他参与的TideGS是一个例子。他与香港科技大学等团队合作，在《TideGS: Scalable Training of Over One Billion 3D Gaussian Splatting Primitives via Out-of-Core Optimization》（ICML 2026）中，用三维高斯拼出城市级场景。三维高斯是带有位置、形状和颜色的三维小单元，城市级场景所需数量远超显卡的显存。研究者注意到，每次训练只用到当前相机看得见的那部分，于是把大部分数据放在CPU内存和SSD里，用到时再搬进GPU。同样一张24GB显卡，论文对比的常规训练只装得下约1100万个高斯，TideGS做到了超过10亿个。赵昊说：“限制人工智能规模的，常常是数据的组织方式。遇到算力瓶颈，未必只能等更强的芯片。”

围绕这四项设计算法，就是赵昊主张的算法与硬件协同设计：面对新架构，从一开始就按它的特点来设计，直接移植现有算法，发挥不出硬件的长处。他期待与量子计算研究者合作，一方出真实难题，一方出算法思想和硬件机制，双方一起定义问题，再在一个个真实问题上用实验找答案。

写在最后

AI在学着理解物理世界，物理系统也开始帮AI挑答案。在赵昊设想的异构算力里，经典处理器负责看清世界，量子硬件负责解决一部分取舍难题；而具身智能提出的需求越来越多，也会推着量子硬件往前走。

当机器人把一天走过的路拼成一张完整的地图时，帮它挑对那组匹配的，也许就是光学回路里往返的一串光脉冲。

赵昊教授简介

赵昊，清华大学智能产业研究院（AIR）助理教授、智源学者，清华大学电子工程系学士、博士，曾任英特尔中国研究院研究员、北京大学博士后。研究聚焦具身智能与机器人视觉，涵盖三维／四维场景重建、神经渲染、自动驾驶仿真与世界模型。已在CVPR、NeurIPS、ICLR、IEEE TPAMI等顶级会议期刊发表论文 70余篇，获多项国际算法竞赛冠军。曾获CICAI 2023最佳论文Runner-up、3DV 2024最佳论文、CVPR 2026最佳学生论文，入围ICRA 2026、RSS 2026 最佳论文。主导研发开源模块化真实感自动驾驶仿真器MARS，推动世界模型与具身智能研究及落地。

参考链接

1. https://doi.org/10.1109/CVPR52729.2023.01702

2. https://doi.org/10.1109/CVPR52733.2024.01691

3. https://doi.org/10.3389/fphy.2014.00005

4. https://doi.org/10.1109/CVPR42600.2020.00920

5. https://arxiv.org/abs/2605.20150

6. https://doi.org/10.1038/nphoton.2014.249

7. https://doi.org/10.1103/PhysRevApplied.18.054045

「END」