您应当了解的情况:

  • ‌在向6G技术和边缘AI的演进过程中,机器人技术从孤立的单机自主转向可扩展的异构机器人集群协同作业(包括人形机器人、自主移动机器人(AMRs)、无人机和机械臂),共同实现工业领域的统一目标。‌
  • 传统以 2D 为核心的仿真技术限制了机器人在真实世界中的自主能力。高通技术公司在扩展现实领域实现了技术创新,从而能够从真实环境中捕获丰富的3D数据,加速仿真到现实的迁移,提升AI模型的稳健性,并显著提高强化学习与集群范围学习的效果。‌
  • ‌通过融合扩展现实、先进无线技术与设备端AI,机器人能够通过实际部署进行持续学习;在各个集群中共享策略与全局模型;并实现持续累积的价值输出,从而确保高通技术公司能够引领可扩展、持续学习的机器人系统市场。

机器人技术的下一次浪潮不仅关乎更加智能的单个机器,更在于能够实时感知、推理并协同行动的AI驱动系统。随着机器人从独立自动化向协调化、智能化的集群演进,网络成为关键组成部分。目前,若要实现可靠协作,需要超低延迟、确定性性能和内置安防等特性‌,这通常发生在带宽受限、安全至关重要且失败可能带来高昂代价的环境中。

机器人技术正是一个典型范例,体现了最具吸引力也最复杂的边缘AI挑战。这种复杂性体现在多个维度:

  • 大规模具身智能:全尺寸人形机器人拥有极高的自由度(尤其体现在灵巧的手部),同时配备多种传感器模态,以感知视觉、听觉、触觉,并进行逻辑推理。
  • 长程推理能力‌:机器人必须在动态的非结构化环境中,在较长的时间范围内规划并执行复杂操作任务。
  • 数据稀缺性:与数字AI不同,物理AI必须利用有限的现实训练数据实现各种技能的泛化,因此可扩展性和迁移学习至关重要。
  • 运行部署‌:AI必须通过一个稳健、可随时部署、并支持集群管理、协作式机器人,以及机器人与基础设施间感知的平台交付,从而实现传感、计算与网络连接的端到端集成。
  • 功率效率‌:所有这些功能必须在严格的功率限制下运行,以实现运行时间的最大化,启用高效的机械设计,并对热约束条件进行管理。

‌总之,这些挑战标志着一个根本性转变:机器人不再只是对孤立设备的优化,而是构建能够在现实条件下可靠运行、学习和扩展的“物理AI系统”。当机器人从独立运行转向共享自主,智能便不能再局限于单一设备,而必须在各种设备、基础设施和环境中实现安全、一致和实时的流动。

‌这就是先进无线架构变得至关重要的原因。新兴的6G技术和AI原生网络连接模型不仅用于连接机器人,还可协调智能 – 从而在边缘侧实现确定性、低延迟的协同,即使是在对安全性、可靠性和安防要求极高的严苛条件下。

工厂车间内持续学习的机器人集群:一个具体的工业场景

在工厂车间内,联网物理AI最为清晰的应用之一便是机器人必须持续协同,以保障生产效率、安全性和正常运行时间。以一家对生产效率和正常运行时间要求极高的电子产品组装厂为例:

  • 搭载了高通跃龙IQ10平台人形机器人可用于执行复杂且精细的工作任务,包括:电缆布线、连接器插接、紧固件拧紧,并以符合人体工学要求的方式执行通过固定工具难以实现自动化的繁重操作。此项功能由以下技术提供支持:高自由度操控、双手协同、视觉伺服(基于多摄像头的视觉特征),以及人类与机器人的自然协作。
  • 依托物体检测和分割、抓取姿态合成、力感知插入,以及误抓取或错位恢复等技术,安装在工作单元中的机械臂可以从传送带或托盘上实现高速拾取与放置、单件分离和精准定位等功能。
  • 依托地图构建与定位、多机器人路径规划和协同避障等技术,自主移动机器人(AMR可以协调物料流转,将零部件运送到各个工作单元,返回已完成的组件,并在遇到拥堵时动态调整路径
  • ‌依托3D地图构建、异常情况检测、工厂资产语义标注等技术,巡检无人机‌可以从空中对生产线、货架和安全区域进行检查,以发现异常情况、通道阻塞或设备问题。

这些智能体作为一个协同集群相互作用:

  • ‌人形机器人‌通过低延迟的5G/6G侧行链路,直接向自主移动机器人请求补给任务,说明即将发生的零部件需求和当前任务积压情况,以实现准时交付。
  • ‌机械臂与自主移动机器人‌通过确定性无线通信共享物体和位置先验信息(例如:库存单位尺寸、料箱位置、障碍物地图),从而确保在货箱移动时,所有设备的全局模型 (world model) 将同步更新。
  • ‌无人机‌可提供高精度的态势地图(例如:堵塞通道、新增临时构筑物),以近乎实时的方式更新集群路径与操作策略。

除此之外,安全关键型运动控制器在专门的安全岛上运行,反应性行为(例如:局部避障、短时程规划)在设备端执行,而长程调度和优化(例如:生产线平衡、预测性维护、全局路径规划)则可在架构混合性更高的边缘或云端完成。

如要实现这一点,机器人集群必须整合以下要素:‌

  • 适用于共享情境感知的‌传感器与协同规划。
  • ‌网络安全与隐私优先的框架‌,包括物理隔离操作。
  • ‌可实时优化各项技术的持续学习与混合AI。
  • ‌实现高能效与低延迟运行‌,确保安全性与准确性。

这种类型的持续学习集群表明,物理AI系统不仅将网络连接用于通信,还将其用于共享智能 – 而新兴的6G架构则将现有功能拓展至更具确定性的AI原生协同。

高通跃龙机器人:可扩展物理AI背后的平台方法

若要实现这种水平的协同,不仅需要先进的算法或强大的硬件,还需要在现实约束条件下能够整合感知、认知、规划、控制与学习等功能的系统级平台。这正是高通跃龙机器人平台所要解决的核心问题。

我们的愿景是每一个物理具身都能成为持续学习的智能机器人,而协同运作的机器人集群则是这一愿景在近期最具体的实现路径之一。无论是人形机器人、机械臂、自主移动机器人(AMR)还是无人机,每一台机器人均成为一个更加庞大的持续学习网络中的节点,通过在整个集群中共享数据、模型以及全局理解,实现持续优化。

在不同的复杂程度下,高通跃龙机器人平台重点关注在各个行业中反复出现的核心机器人“技能”:

  • ‌单件分离以及拾取与放置
  • ‌抓取、灵巧操作与工具使用‌
  • ‌恢复、错误处理与重新定位‌
  • ‌导航、路径规划与协同运动‌

这些技能可以在截然不同的具身中组合并重复使用。例如,高通跃龙IQ10平台 – 作为工业自主移动机器人和全尺寸人形机器人的“机器人大脑”而构建 – 采用了相同的策略主干,可以支持料箱取物机械臂、执行装配任务的人形机器人,以及进行托盘搬运的自主移动机器人,而由平台异构计算处理的不同具身适配器则可在紧张的功率预算下实现传感、感知、运动规划和控制。

作为其高性能前代产品,高通跃龙IQ9平台同样支持搭载大型语言模型和视觉模型的先进人形机器人及移动平台。目前,OEM合作伙伴已将该芯片投入实地运行。此外,其他高通跃龙系列平台也满足了执行相对简单任务的服务机器人和消费机器人的计算需求。这些需求 – 包括超低延迟性、高可靠性、离线支持或间歇性连通、功率效率等 – 均源于边缘优先的AI架构,该架构与高通技术公司在异构计算(CPU、GPU、NPU)、高能效AI推理、实时感知与决策等方面的深厚专业知识相契合,并构成了高通跃龙机器人平台五大核心支柱的基础。

异构计算

其核心是一个专为实现效能功耗比峰值而协同设计的高效异构架构。利用创新性内存层次结构和实时保护功能,机器人能够在边缘做出快速、可靠的决策,从而确保关键任务系统能够保持快速响应和高效运行。例如,高通跃龙IQ10平台搭载了18核高通Oryon CPU和专用NPU,可以实现高达700 TOPS的算力,以处理高密度AI工作负载;该平台还具有可用于人类共存机器人的多模态传感(支持多达20个摄像头、激光雷达、雷达)和先进运动控制功能。

复合AI系统

机器人必须在复杂、混合的临界环境中以智能、安全的方式运行。复合AI框架整合了三个认知层次,而我们可以将其视为三个操作层面:

  • 反射性传感:微秒级确定性、低延迟控制
  • 快速行动和运动:设备上的反应性智能和本地决策。
  • 推理和长期规划:通过边缘和云端进行的高阶推理和集群协调。

总之,这些层面体现了互联自主的新时代:每台机器人都可以进行本地感知、推理和行动,同时为集群的集体智能做出贡献。此外,这些系统结合在一起,可以实现感知、空间推理、毫米级灵巧性和人类感知协作,在感知与认知相结合的情况下解锁自主智能。

物理AI机器学习运营(MLOps

持续学习可以驱动持久能力。我们的‌物理AI机器学习运营(MLOps)框架可支持行为克隆、强化学习和基于全局模型的方法,以安全地训练、评估和部署机器人行为。该框架构建了从数据到部署的自动化流水线,从而加快了各个集群的迭代改进。尽管遥操作提供了富有价值的证明,但其本质上存在局限;数据采集资源消耗大,并且受限于操作范围。

高通跃龙平台旨在利用能够模拟物理动态并生成合成体验的全局模型解决这一问题,从而允许机器人探索现实任务的无数虚拟变化。与‌强化学习(RL)结合‌时,机器人可以通过模拟试错来完善其策略,从而在多样化条件下发现最优行为。这种混合方法集成了真实数据与合成数据,降低了训练成本,提高了泛化能力,并显著加快了连续学习循环。

AI飞轮

构建可扩展的物理AI系统需要与在其他安全关键领域实现自主化的相同功能。我们已在汽车高级驾驶辅助系统(ADAS)平台中应用了这一方法 – 管理数百万现实边缘设备的学习 – 这一基础如今直接指导机器人技术如何实现规模化。

在这一传统的基础上,‌AI飞轮‌加速了分布式机器人集群的数据采集、治理与标注。每一次交互均成为加强共享智能层面的反馈,从而形成了数据网络效应,其中每一台机器人都能从整个集群的经验中受益,从而推动模型在各行业中的快速优化与适应能力提升。

机器人技术也是这种飞轮实现完全“物理化”的场景。我们将基于扩展现实的3D模拟与物理AI(“玻璃物理AI”)、边缘和云端计算,以及低延迟无线网络连接组合在一起,以实现连接现实运行与虚拟训练的持续学习循环。其结果是形成分四个阶段运行的自我强化AI数据飞轮

1. 部署与观察‌:机器人在现实世界中运行,通过设备端计算采集异构感官数据。

2. 学习与共享‌:通过先进连接技术在各个集群中共享洞察、策略与模型,从而丰富共享全局模型

3. 模拟与优化‌:由扩展现实驱动的3D环境可在重新部署前大规模训练和测试各种新技能

4. 重新部署与累积‌:每次迭代都会形成更加智能的集群和更高的运营价值。

这一循环随时间不断累积,确保每一台参与的机器人、人形机器人、机械臂或无人机无需集中式重新设计即可持续改进。

高通跃龙机器人致力于实现这样一个未来:具有可扩展性、异构性和持续学习能力的集群将孤立的自主性转化为互联智能。随着6G技术的兴起和先进扩展现实的成熟,模拟、学习和部署之间的界限会变得模糊。利用我们的技术基础,机器人技术将从战术自动化转向各个行业的战略性自我优化智能。

部署就绪的开发平台

我们的目标是通过一套完整的工具包(包括模型库、特定领域的基础模型、SDK、参考设计、文本到技能生成)来推动机器人技术进步的普及。开发者可以快速完成原型设计、验证与部署,从而大幅降低门槛,同时确保进入生产准备状态。

此外,通过设计从一开始就假定采用AI原生连接的平台,高通跃龙机器人平台系统旨在与新兴的6G架构同步演进,以支持设备、边缘与云端之间的分布式智能。

为什么是现在:网络连接、AI与数据终于实现协同

这些平台功能并非孤立出现,而是伴随着AI模型、数据、模拟与网络连接的广泛融合。从历史上看,运动能力已取得巨大进步,但具有高度灵活性和诸多自由度的复杂操作仍然难以企及,原因在于经典的AI架构需要大量特定任务的数据,而这类数据对于复杂、多自由度的操作而言不具可行性。因此,扩展具有高度灵活性的机器人操作受限于算力与数据多样性。

这一局面正在发生改变。利用在大规模多模态数据集基础上进行训练的‌基础模型,可确保单一模型能够针对各项任务实现泛化,从而对其推理与控制策略进行动态调整。结合我们在‌数字底盘、自动驾驶与扩展现实(即我们已在安全关键领域大规模部署的技术)等方面的可靠工作业绩,我们现在可以从真实环境中获取丰富的3D场景数据,取代以2D为核心的传统模拟。利用这种方法,可以在仿真到现实的迁移、模型稳健性和强化学习效率等方面实现显著改进。

‌关键在于,网络连接构成了这一变革的基础‌。先进的5G侧行链路和即将推出的6G架构旨在实现机器人之间的确定性协同通信,即使在带宽受限或具有网络安全层面的安全关键场景中,也能实现低延迟的实时协作。6G技术致力于实现物理AI的三种关键范式

  • 机器人到基础设施:例如,工厂车间的机械臂可以将计算卸载到附近的基础设施,形成共享的本地智能。它可以访问来自头顶摄像头传感器的实时数据流,从而能够检测到从货架上掉下的物品,并通过自主导航对其进行重新布置。在另一种场景下,机器人可以将表明发生罕见操作事件的新捕获数据上传到云端或边缘服务器,从而强化模型再训练,并针对未来类似任务提高技能泛化能力。
  • 多机器人协作:例如,在零售和库存管理场景中,通过多机器人协作可确保自主机器人能够并行协调货架扫描、库存补充和仓库拣选等任务,从而提高速度和准确性。
  • 机器人内部通信:在连接传感器、控制器和执行器时,传统机器人严重依赖于复杂的布线。电缆在反复运动或压力下会断裂,导致停机和费用昂贵的维护周期。由6G技术支持的机器人内部无线链路可以降低这种物理复杂性,提高可靠性、灵活性和易维护性。

总之,这些转变重新定义了机器人可以实现的功能 – 不仅仅是作为自动化功能,而是作为各个行业的战略性功能。

扩展物理AI:从战术性自动化到战略性智能

基于在多个领域的边缘侧提供实时AI系统的经验,我们正推动“芯片到系统”方面的专业技术扩展到机器人领域。我们的目标是实现具有安全性、可扩展性和经济可行性,并可提供真正价值的机器人系统:从仓库和零售货架到餐馆和家庭。

目前,许多机器人仍然依赖于适合结构化环境的脚本逻辑。高通跃龙平台的目标是融合先进推理能力、可适应自主性,以及AI原生网络连接,以重新构想这种范式,使机器人能够在非结构化的动态环境中充当自主代理,同时为共享集群智能做出贡献。实现这一目标需要自下而上的设计,其核心是基于AI的推理、安全性和多领域灵活性。

这种转变 – 从孤立的机器到协调的AI系统 – 定义了机器人技术的下一个阶段,并巩固了我们处理边缘侧AI的方法。从智能芯片到自适应AI系统,高通跃龙机器人平台旨在将战术性自动化转变为战略性自我优化的智能 – 从而将每台机器人转变为学习代理,将每个集群转变为集体大脑,将每次部署转变为迈向通用自主能力的下一次飞跃。

随着AI转向嵌入到边缘侧的实时代理系统,机器人技术正成为物理世界中智能行为的主要体现,而不是脚本化的机器。新兴的6G架构有助于加速这一转变,从而实现具有超低延迟的确定性网络连接和无缝云端边缘协调。通过共享数据和学习,高通跃龙机器人平台可以将单个机器人连接到一个实时演进的集体网络中。其目标是将数字智能与具身行动连接在一起,创造真正可扩展的物理AI。

发现高通跃龙机器人平台组合

在所发布内容中表达的观点仅为原作者的个人观点,并不代表高通技术公司或其子公司(以下简称为“高通技术公司”)的观点。所提供的内容仅供参考之用,而并不意味着高通技术公司或任何其他方的赞同或表述。本网站同样可以提供非高通技术公司网站和资源的链接或参考。高通技术公司对于可能通过本网站引用、访问、或链接的任何非高通技术公司网站或第三方资源并没有做出任何类型的任何声明、保证或其他承诺。

关于作者

艾哈迈德·萨德克,高通技术公司工程副总裁

阅读更多

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐