在边缘部署的基础模型如何通过AI智能体将工厂数据转化为实时设备控制


您应当了解的情况:

  • 智能体AI正日益实现跨平台部署,协调智能手机、个人电脑和机器人之间的智能交互。
  • 随着智能功能在各种设备间的流转,在设备端运行的AI模型决定了AI智能体如何优化工厂运营。
  • 工业智能、边缘侧计算与智能体AI的融合,降低了工业设备的底层复杂性,确保智能体可通过自然语言直接运行工业设备。
  • 本文将介绍Forgis公司如何借助高通技术公司的分布式架构,将大模型落地至工厂车间,在最先进的Arduino边缘计算平台上运行。

当智能体AI应用于工业领域

回顾一下智能体AI对您日常生活的影响:在工作中,如今整理数据只需给出精准的提示词,并和您的AI智能体进行几轮信息交互即可完成;居家时,只需几句话,您的智能体就能帮您整理照片,或是找到缓解胃痛的最佳方案。

您只需专注于编写精准的提示词,剩下的执行工作交由AI智能体完成。无需关注底层技术 – 包括基础模型、编排器、算力与内存、工具调用、API等 – 它消除了接口的复杂性。这正是当前工业场景中正在发生的现实情况。

随着AI成为全新的用户界面,自然语言正在消除那些会延缓AI和自动化效益发挥的物理障碍,为具备适应性、自我优化能力以及实时响应能力的工厂留出空间。曾经需要接受专门培训才能操作复杂机器的工厂操作员,现在只需用自己的语言告诉机器该做什么即可。

为工业AI注入智能能力

Forgis是一家构建制造业物理 AI 模型的瑞士初创企业,该公司与Arduino公司(一家隶属于高通技术公司的企业)合作,让操作人员能够通过语音控制机械臂。

实际体验如下:

  • 操作人员通过智能手机,向在Arduino UNO Q开发板上运行的AI智能体发送语音指令。
  • Forgis公司的基础模型可处理该指令提示,确定待抓取的物体、放置位置,并计算出完整的运动规划方案。
  • 机器人完成任务,将不同物品逐一放入对应箱子中。
  • UNO Q开发板利用其LED矩阵,实时展示智能体的当前状态并汇总其正在采取的行动。

“工厂每秒钟都会通过不同来源和数据模态产生数以千计的信号。我们的专有AI模型能够接收并处理这些信号,预测下一个物理状态,并为智能体提供行动洞察,对机器进行重新参数化并加以控制。得益于高通技术公司的分布式智能架构,这一切无需往返云端即可实现,生动展示了工厂车间层面的边缘智能形态。”

——Forgis公司首席执行官费德里科·马泰利

技术

在该示例中,Forgis公司的专有基础模型可接收多模态工厂数据 – 包括机器人CAD模型、可编程逻辑控制器输入/输出信号、项目规范 – 并将其转化为结构化技能、参数以及情境信息,以供下游机器人控制与设备执行环节使用。

这一效果由多项技术协同实现。在硬件层面,搭载骁龙芯片的三星智能手机负责完成自然语言处理,将指令提示词的文本转录结果直接发送给搭载高通跃龙QRB2210处理器的UNO Q开发板。

自动语音识别与文本转录功能可采集操作人员的指令,同时Forgis公司的基础模型会将类似“把每个盒子放到对应隔间里”提示词,转化为一套结构化、机器可读的指令集:

  • 连接至机器人摄像头
  • 识别目标物体
  • 计算抓取与放置序列
  • 执行运动规划

通过USB连接机械臂的摄像头,将视频流直接发送至运行Forgis公司基础模型的开发板,该基础模型可在‌20毫秒‌的延迟下识别出目标部件的数量与位置。模型输出结果将用于确定抓取与放置序列并执行运动规划。

优势

这种方案能为制造商和设备厂商带来切实价值:AI智能体可减少技术人员在车间常规操作上耗费的时间,让他们能够专注于监管、质检、异常情况处理这类高价值工作。

人工操作输入减少也意味着出错概率降低,这在航空航天、医疗设备、汽车这类精密制造场景中是核心优势。在此基础上,基础模型可持续从生产数据中学习,将洞察提供给智能体,支撑其实时决策、优化流程。

在智能手机与UNO Q开发板之间协调完成完全本地的AI模型推理,还带来了额外优势:工厂车间无法等待云端响应 – 直接在边缘侧运行的基础模型可以在数据生成位置按照流程要求的速度处理数据。无延迟。无需依赖可能并不存在的网络连接。生产数据完全不会流出厂区。对于数据主权和正常运行时间要求极高的行业来说,这是一项极具价值的差异化优势。

此外,依托开放的Arduino生态系统,Forgis公司团队可快速部署其专有AI模型,不会被硬件集成难题拖慢进度。这也印证了如今在工业场景下开发边缘AI和智能体AI的门槛已经大幅降低。

未来计划

AI智能体已不再局限于数字环境,它正在改变工业场景中我们与物理空间的交互方式 – 甚至也会渗透到我们自己的笔记本电脑中。

AI不仅会思考,更能在物理世界中执行实际动作。高通技术公司正在研发相关技术,为这一变革提供动力,以支持能够将语音指令与机器动作相结合的智能系统。

Forgis公司的落地实践只是其中一个示例。随着更多开发者基于UNO Q开发板这类平台进行开发工作,智能体AI将出现在您意想不到的诸多场景中,完成您过去从未设想过的任务。


深入了解:

高通跃龙QRB2210是什么?它在本次落地实施中起到了什么作用?

高通跃龙QRB2210是为本项演示核心的Arduino UNO Q开发板提供动力的处理器 – 作为计算引擎,该处理器可直接在工厂车间运行Forgis公司的基础模型,处理机器人CAD模型、可编程逻辑控制器输入/输出信号、项目规范等多模态输入数据,延迟仅为20毫秒。利用该处理器,使无云端依赖的实时推理在每毫秒响应都至关重要的工业环境中成为可能。

探索高通跃龙平台在工业边缘侧AI领域所能实现的全部能力范围

Forgis公司的演示展现了AI在物理世界中执行操作的能力这一技术后续将走向何方?

智能体AI已不再局限于数字环境:它正在重塑工业场景下我们与物理空间的交互方式,如今的智能系统已能实现语音指令到设备动作的直接连通。

了解更多物理AI与机器人技术在生态系统层面的演进方向

如今开发者与设备厂商能否基于同一平台进行产品构建?

Forgis公司团队选择基于开放的Arduino生态系统进行构建,正因为利用生态系统可确保其快速部署专有AI模型,同时不会被硬件集成难题拖慢进度 – 这种构建能力同样面向所有想要将智能体AI落地到物理场景的开发者开放。

探索高通跃龙iQ10机器人参考设计:亲自上手体验支撑此类落地实施的平台


在所发布内容中表达的观点仅为原作者的个人观点,并不代表高通技术公司或其子公司(以下简称为“高通技术公司”)的观点。所提供的内容仅供参考之用,而并不意味着高通技术公司或任何其他方的赞同或表述。本网站同样可以提供非高通技术公司网站和资源的链接或参考。高通技术公司对于可能通过本网站引用、访问、或链接的任何非高通技术公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。

高通品牌产品均为高通技术公司和/或其子公司的产品。

关于作者

莉维娅·罗,高通欧洲公司意大利分公司办事

高通欧洲公司意大利分公司办事处市场营销经理

阅读更多

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐