研究背景

当前Hello Robot移动操作机器人、各类 7 自由度移动操作机器人普遍采用全局开放词汇检测，全屋物体统一识别造成算力冗余，且无法区分用户摆放偏好。Martinson 团队提出分层感知架构：以 NeRF/GSPLAT 重建基线场景，差分提取环境变化，再通过 LLM 校验任务可行性，在Stretch 2 hello robot机器人完成全场景验证。

完整算法两阶段架构

阶段 1：环境变化差分检测

1. 基线采集：stretch 3/stretch 4机器人沿预设路径采集图像，NerfStudio 构建室内 3D 标准模型；
2. 二次巡检配准：新图像通过 COLMAP 对齐基线坐标系，渲染同视角原始场景图；
3. 语义差分：CLIP-Seg、SAM v3 分别分割新旧图像，做像素差分得到变动区域。

阶段 2 ：点云融合 + LLM 语义过滤

变动像素映射深度图像生成点云，DBSCAN 聚类得到物体候选；Llama 大模型输入物体图像，判断是否适合机器人拾取（装饰、贵重物品直接过滤）。

该架构优势：各模块解耦，基线建模离线完成，巡检阶段轻量化运算，适配Hello Robot家庭服务机器人低算力机载设备。

定量消融实验结论

1. 像素优化：CLIP-Seg 搭配变化检测减少 68% 冗余像素，SAM v3 减少 53%；
2. 检测框优化：SAM v3 目标框直接降低 78%，大幅减少后处理计算；
3. 跨平台适配：有深度 hello robot 机器人、无深度手机图像均可稳定运行；
4. 语义增益：LLM 过滤后 CLIP-Seg 识别精度提升至 94%。

工程落地硬件

论文验证平台为 Hello Robot 移动操作机器人 Stretch 2：

1. Stretch 2/3/4 7dof 开源移动操作机器人，原生 ROS、完整开源驱动；
2. 配套 RGB-D 深度感知模组、自主导航底盘；
3. 提供 NeRF、CLIP-Seg 部署调试、多传感器同步技术服务，快速搭建Hello Robot具身智能平台。

技术价值总结

该方案解决服务机器人全局感知算力浪费痛点，为居家清洁、老年居家监测类hello robot机器人提供轻量化感知新思路，无需大规模标注数据集，适合高校、企业具身智能落地研究。

参考论文：https://www.frontiersin.org/articles/10.3389/frobt.2026.1772005

欢迎关注 “欣佰特科技” ，持续为大家带来 “具身智能领域”前沿技术及应用！详情可邮件咨询sales@cnbestec.com