具身智能的 Infra,可能比 LLM 难多了?

最近了解了 OpenAI 用 GPT-6 Astra 去做 robotics,有些想法想探讨。我本人不做 robotics,纯粹从 LLM Infra 角度瞎想了一下,听听业内朋友的看法。
一、Workload 更复杂?我感觉具身的 workload 比 agent 复杂很多,毕竟物理世界远比文本 token 复杂,包括各种视觉、触觉、空间和运动状态等很多信号,怎么处理这些 workload?
二、Context 怎么管?workload 复杂性决定了 context 管理。LLM 有 KV cache hit,可是 robotics 几分钟后场景就完全不一样了,cache hit 怎么做?如果维护一个 latent space,又怎么保证不会丢失细节?因为如果上真机,我觉得会对损失的信号比较敏感。
三、RL 更难做?具身 workload 也决定了其 workspace 比 agent 大很多,面对一个复杂任务时是不是很难做 RL?而且真机的错误往往不可逆,会不会让 RL 探索逻辑偏于保守,从而放弃那些(对 robot 来说)高风险但极有价值的事情?
四、端侧 vs 云端?端侧 memory、功耗以及带宽有限,光小模型权重 + KV cache 就对芯片压力很大;云端必定受到网络波动、延迟以及成本影响。如果一个家居机器人耗费了几十亿 token 只是去打扫卫生,未免过于昂贵,给普通人带来的收益远低于用来 coding。
五、嗯这个想得比较远了:如果做云端的话,安全会有问题吗?现在 LLM agent 能用 RCE 黑进系统的能力太强,如果坏人遥操作机器人去伪装事故怎么处理?比如遥操作家居机器人,晚上故意让煤气泄漏。
欢迎业内朋友留言讨论。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)