文档类型：技术说明文档
主题：大模型如何赋能家庭服务机器人的场景适应
说明：本文讨论的家庭服务机器人不局限于清扫机器人，而是面向家庭生活中的整理、照护、递送、安防、陪伴、厨房辅助等综合服务场景。
日期：2026-07-09

---

目录

1. 问题背景
2. 家庭服务机器人场景适应的核心难点
3. 大模型赋能家庭服务机器人的总体思路
4. 大模型赋能场景适应的关键能力
5. 不局限于清扫机器人的典型应用场景
6. 系统技术架构
7. 工程实现流程
8. 安全与隐私约束
9. 评估指标
10. 局限性与未来方向
11. 总结
12. 参考资料

---

1. 问题背景

传统家庭机器人中，最典型的产品形态是清扫机器人。清扫机器人主要解决的是家庭地面清洁问题，其能力通常集中在：

建图 -> 避障 -> 路径规划 -> 清扫覆盖 -> 回充

这类机器人在特定任务上表现较成熟，但其能力边界较明显：

• 任务目标单一；
• 对自然语言理解能力有限；
• 对家庭物品的语义理解不足；
• 难以完成跨房间、多步骤、长程任务；
• 难以适应不同家庭成员的个性化习惯；
• 对突发情况的处理能力较弱。

随着大语言模型（LLM）、视觉语言模型（VLM）和视觉-语言-动作模型（VLA）的发展，家庭服务机器人可以从“单一功能设备”逐渐演化为“家庭服务智能体”。

大模型赋能后的家庭服务机器人，不再只是执行固定路线或固定程序，而是能够：

1. 理解用户自然语言指令；
2. 理解家庭环境和物体语义；
3. 根据家庭习惯生成任务计划；
4. 调用导航、抓取、交互、家电控制等多种技能；
5. 根据环境反馈动态调整行为；
6. 在长期使用中形成个性化服务能力。

---

2. 家庭服务机器人场景适应的核心难点

家庭环境是典型的开放、动态、非结构化环境。相比工厂、仓库或实验室，家庭场景具有更强的不确定性和个性化特征。

2.1 家庭空间高度非结构化

不同家庭的空间布局不同：

• 客厅、厨房、卧室、卫生间的位置不同；
• 家具摆放方式不同；
• 物品存放习惯不同；
• 房间之间的通行路径不同；
• 临时障碍物经常出现。

例如同样是“杯子”，在不同家庭中可能出现在：

餐桌、茶几、厨房水池、床头柜、书桌、阳台

因此，机器人必须具备持续感知和动态适应能力。

---

2.2 用户指令高度模糊

家庭用户往往不会使用精确的机器指令，而是使用自然语言表达目标。

例如：

“帮我收拾一下客厅。”
“看看老人有没有需要帮助。”
“把桌上该扔的东西处理一下。”
“帮孩子把玩具整理好。”

这些指令中包含大量隐含语义：

• 什么叫“收拾”？
• 哪些东西“该扔”？
• 哪些物体不能动？
• 玩具应该放在哪里？
• 老人需要什么样的帮助？

这要求机器人不仅识别指令文本，还要结合家庭常识、用户偏好和环境状态进行解释。

---

2.3 家庭物体具有强语义属性

清扫机器人通常只需要判断障碍物是否影响路径，而家庭服务机器人需要理解物体的用途、归属和处理方式。

例如：

物体	机器人需要理解的语义
香蕉皮	垃圾，应放入垃圾桶
水杯	可能需要送到厨房或递给用户
药盒	涉及健康安全，不能随意移动
眼镜	易碎且重要，应谨慎处理
玩具	可放回玩具箱
文件	可能是重要物品，不能擅自丢弃
宠物碗	需要检查水或食物是否充足

因此，家庭服务机器人必须从“识别物体”进一步发展到“理解物体在当前任务中的意义”。

---

2.4 多任务、多技能、多约束并存

家庭服务机器人不应只完成单一任务，而需要具备多种服务能力：

• 清扫；
• 收纳整理；
• 递送物品；
• 老人照护；
• 儿童陪伴；
• 宠物辅助；
• 厨房辅助；
• 安防巡查；
• 家电联动；
• 日程提醒。

这些任务涉及导航、抓取、视觉识别、语音交互、动作执行、风险判断等多种能力，需要一个高层智能系统进行协调。

---

3. 大模型赋能家庭服务机器人的总体思路

大模型赋能家庭服务机器人，并不是简单地把聊天能力加入机器人，而是让大模型作为家庭服务机器人的认知与规划核心。

总体流程可以表示为：

大模型的主要作用包括：

1. 理解用户意图：把模糊自然语言转化为明确任务目标；
2. 解释家庭场景：理解物体、空间、用户、习惯之间的关系；
3. 分解复杂任务：将长期目标拆成短期可执行子任务；
4. 调用技能库：组合导航、抓取、识别、交互和家电控制能力；
5. 动态重规划：根据环境反馈修正任务计划；
6. 个性化适应：记录用户偏好和家庭布局，提升长期服务能力。

---

4. 大模型赋能场景适应的关键能力

4.1 自然语言语义理解能力

家庭机器人首先要理解用户真正想要什么。

例如用户说：

“帮我把客厅整理一下。”

大模型可以将其解析为：

目标：让客厅恢复整洁状态

可能子任务：
1. 识别客厅地面和桌面物体；
2. 区分垃圾、餐具、衣物、玩具、书本、贵重物品；
3. 将垃圾放入垃圾桶；
4. 将餐具送到厨房；
5. 将衣物放入洗衣篮；
6. 将玩具放入玩具箱；
7. 避免移动文件、电脑、眼镜等重要物品；
8. 完成后向用户报告。

这种能力使机器人能够从自然语言中提取目标、约束和任务边界。

---

4.2 多模态场景理解能力

家庭服务机器人需要结合视觉、语音、空间地图、传感器数据进行理解。

例如机器人检测到以下物体：

{
  "objects": [
    {"name": "banana_peel", "location": "table"},
    {"name": "cup", "location": "sofa_side"},
    {"name": "toy_car", "location": "floor"},
    {"name": "medicine_box", "location": "bedside_table"}
  ]
}

大模型可以进一步推理：

banana_peel -> 垃圾 -> 放入垃圾桶
cup -> 杯子 -> 可送到厨房或递给用户
toy_car -> 玩具 -> 放入玩具箱
medicine_box -> 药盒 -> 不应随意移动，必要时需确认

这说明大模型可以把感知模块输出的“物体标签”转化为“任务语义”。

---

4.3 家庭常识推理能力

家庭服务机器人必须具备一定常识。

例如：

场景	需要的常识
看到水洒在地上	可能需要擦干，避免滑倒
看到药盒	涉及健康安全，需要谨慎
看到儿童玩具在地面	可能影响行走安全
看到灶台未关闭	可能存在安全风险
夜间用户睡觉	机器人应降低音量，减少打扰
看到宠物碗为空	可能需要提醒加水或加粮

大模型可以利用预训练知识和家庭知识库进行推理，从而提升家庭场景适应能力。

---

4.4 技能组合与任务规划能力

家庭服务机器人通常具备多个基础技能：

技能类型	示例
导航	去厨房、去卧室、去用户身边
识别	找杯子、找药盒、识别垃圾
抓取	拿杯子、拿遥控器、拿玩具
放置	放到桌上、放入垃圾桶、放入玩具箱
交互	询问用户、语音确认、任务报告
家电控制	打开灯、调节空调、关闭窗帘
监测	检查门窗、检测跌倒、识别异常声音

大模型可以根据目标组合这些技能。

示例：

用户：帮奶奶拿一下药。

规划：
1. 查询药盒常见位置；
2. 导航到卧室床头柜；
3. 识别药盒；
4. 如果识别不确定，向用户确认；
5. 抓取药盒；
6. 导航到奶奶当前位置；
7. 递交药盒；
8. 提醒用户确认服药信息。

---

4.5 可供性判断能力

大模型生成的计划必须与机器人当前能力和环境条件相匹配。
也就是说，机器人不仅要知道“应该做什么”，还要判断“现在能不能做”。

可供性判断包括：

• 目标物体是否可见；
• 机器人是否能到达目标位置；
• 机械臂是否能抓取该物体；
• 物体是否易碎或危险；
• 当前路径是否安全；
• 是否需要用户确认。

可以表示为：

动作选择得分 = 任务相关性 × 当前可执行性 × 安全性 × 用户偏好

例如：

候选动作	任务相关性	可执行性	安全性	是否执行
拿起水杯	高	高	高	是
移动药盒	中	高	中	需确认
扔掉文件	低	高	低	否
打开燃气灶	中	低	低	否
把玩具放入玩具箱	高	高	高	是

这种机制可以减少大模型幻觉和错误执行风险。

---

4.6 闭环反馈与动态重规划能力

家庭环境会不断变化，因此机器人不能只依赖一次性计划。

闭环执行流程如下：

示例：

原计划：
去餐桌 -> 拿杯子 -> 送到厨房

执行反馈：
餐桌上没有杯子。

重规划：
1. 搜索茶几；
2. 搜索沙发旁；
3. 如果仍未找到，询问用户杯子位置；
4. 找到杯子后继续执行。

---

4.7 个性化记忆能力

家庭服务机器人需要适应不同家庭和不同用户。

个性化记忆可以包括：

{
  "home_profile": {
    "trash_bin": "kitchen_under_sink",
    "toy_box": "living_room_blue_box",
    "medicine_location": "bedroom_bedside_table",
    "pet_bowl": "balcony_corner"
  },
  "user_preference": {
    "do_not_move": ["documents", "laptop", "glasses"],
    "quiet_hours": "22:00-07:00",
    "preferred_report_style": "brief"
  }
}

基于记忆，大模型可以减少重复询问并提供更符合家庭习惯的服务。

---

5. 不局限于清扫机器人的典型应用场景

5.1 老人辅助照护

场景描述

老人独自在家时，机器人可以提供生活辅助、安全监测和简单陪伴。

典型任务

“帮爷爷拿水。”
“提醒奶奶吃药。”
“看看老人是否摔倒。”
“帮老人找遥控器。”

大模型作用

1. 理解任务意图；
2. 查询家庭记忆中的药品、水杯、遥控器位置；
3. 判断任务是否涉及健康安全；
4. 必要时向家属或用户确认；
5. 调用导航、识别、抓取、递送技能；
6. 异常情况下触发提醒或报警。

示例流程

用户：帮奶奶拿一下药。

机器人：
1. 确认药盒位置；
2. 导航至床头柜；
3. 识别药盒标签；
4. 不确定时询问用户确认；
5. 抓取药盒；
6. 导航到奶奶身边；
7. 递交药盒；
8. 提醒“请确认服药剂量”。

---

5.2 厨房辅助

场景描述

厨房是家庭中最复杂的服务场景之一，涉及工具、食材、家电、安全和顺序操作。

典型任务

“帮我准备早餐。”
“把杯子拿到水池。”
“检查一下牛奶还在不在。”
“提醒我关火。”

大模型作用

1. 分解做饭或准备任务；
2. 理解食材和厨具用途；
3. 判断热源、刀具、燃气等风险；
4. 协调家电控制；
5. 根据物品缺失情况向用户反馈。

示例流程

任务：帮我准备早餐。

规划：
1. 前往厨房；
2. 找到面包；
3. 找到盘子；
4. 找到杯子；
5. 检查牛奶是否存在；
6. 将面包和杯子放到餐桌；
7. 如果需要加热，确认机器人是否具备安全操作能力；
8. 完成后通知用户。

---

5.3 家庭整理与收纳

场景描述

整理收纳不是单纯清扫，而是根据物体语义和用户习惯进行归类和放置。

典型任务

“把客厅收拾一下。”
“把孩子的玩具放回去。”
“把桌上的垃圾处理掉。”
“帮我把书放回书架。”

大模型作用

1. 识别物品类别；
2. 判断是否可移动；
3. 根据家庭记忆确定归位位置；
4. 对不确定物品向用户确认；
5. 生成整理顺序。

示例归类

物体	处理方式
香蕉皮	放入垃圾桶
玩具车	放入玩具箱
书本	放回书架
水杯	送到厨房
文件	不移动或询问用户
眼镜	放到安全位置

---

5.4 家庭安防与异常巡检

场景描述

家庭机器人可以承担移动巡检任务，检查潜在安全风险。

典型任务

“晚上帮我巡查一下家里。”
“看看门有没有关好。”
“检查厨房有没有异常。”
“如果老人摔倒了就提醒我。”

大模型作用

1. 理解“巡查”任务的目标；
2. 生成巡检路线；
3. 调用视觉和声音检测模块；
4. 判断异常事件的严重程度；
5. 根据风险等级通知用户。

示例巡检内容

巡检对象	判断内容
门窗	是否关闭
厨房	灶台、烟雾、水渍
客厅	是否有人摔倒
阳台	宠物或门窗异常
卧室	老人是否需要帮助

---

5.5 儿童陪伴与辅助

场景描述

家庭机器人可以辅助儿童整理、提醒和简单互动，但需要严格的安全边界。

典型任务

“提醒孩子写作业。”
“帮孩子找故事书。”
“把玩具收起来。”

大模型作用

1. 使用更适合儿童的交互方式；
2. 根据家庭规则判断可做和不可做的事；
3. 避免替代监护人做高风险决策；
4. 对涉及安全或隐私的行为请求家长确认。

---

5.6 宠物辅助

场景描述

机器人可以帮助检查宠物用品状态或进行简单提醒。

典型任务

“看看猫有没有水。”
“检查狗的食盆是不是空了。”
“帮我找一下猫在哪里。”

大模型作用

1. 找到宠物碗或宠物位置；
2. 判断水碗是否为空；
3. 判断食盆是否需要补充；
4. 将结果报告用户；
5. 在机器人具备安全执行能力时完成补水等操作。

---

5.7 家电协同服务

场景描述

未来家庭服务机器人可与智能家居系统连接，协同完成家庭环境管理。

典型任务

“我准备睡觉了。”
“客厅有点冷。”
“帮我进入离家模式。”

大模型作用

1. 理解复合意图；
2. 调用灯光、空调、窗帘、门锁等设备；
3. 根据时间、房间和用户习惯自动生成操作；
4. 对高风险操作进行确认。

示例

用户：我准备睡觉了。

大模型规划：
1. 关闭客厅灯；
2. 检查门窗状态；
3. 调低卧室灯光；
4. 设置空调到用户偏好温度；
5. 降低机器人语音音量；
6. 开启夜间安防模式。

---

6. 系统技术架构

6.1 总体架构

---

6.2 模块说明

模块	功能
用户输入层	接收语音、文本、手势或 App 指令
大模型认知层	进行语义理解、常识推理、任务解释
场景感知层	获取图像、深度、声音、地图和物体状态
家庭知识与记忆层	存储家庭布局、用户偏好和历史任务
任务规划层	将目标分解为可执行子任务
技能调度层	调用导航、抓取、放置、交互等技能
安全与可供性检查层	判断动作是否能做、是否安全、是否需要确认
机器人执行层	执行具体动作
环境反馈层	将执行结果反馈给大模型进行重规划

---

7. 工程实现流程

7.1 任务执行闭环

用户指令
  ↓
意图识别
  ↓
环境感知
  ↓
任务分解
  ↓
技能匹配
  ↓
安全检查
  ↓
执行动作
  ↓
观察结果
  ↓
判断是否完成
  ↓
未完成则重规划

---

7.2 示例伪代码

def home_service_task(user_instruction, environment_state, user_profile):
    # 1. 理解用户意图
    goal = LLM.parse_goal(
        instruction=user_instruction,
        user_profile=user_profile
    )

    # 2. 感知并理解家庭场景
    semantic_scene = LLM.interpret_scene(
        environment_state=environment_state,
        user_profile=user_profile
    )

    # 3. 生成任务计划
    plan = LLM.decompose_task(
        goal=goal,
        scene=semantic_scene
    )

    while not task_completed(goal, semantic_scene):
        # 4. 选择下一步动作
        candidate_actions = LLM.propose_actions(
            goal=goal,
            plan=plan,
            scene=semantic_scene
        )

        # 5. 可供性与安全评估
        best_action = None
        best_score = 0

        for action in candidate_actions:
            relevance = score_task_relevance(action, goal)
            affordance = score_affordance(action, semantic_scene)
            safety = score_safety(action, user_profile)
            preference = score_user_preference(action, user_profile)

            score = relevance * affordance * safety * preference

            if score > best_score:
                best_score = score
                best_action = action

        # 6. 如果动作风险较高，请求确认或重规划
        if requires_confirmation(best_action):
            confirm = ask_user_for_confirmation(best_action)
            if not confirm:
                plan = LLM.replan(goal, semantic_scene)
                continue

        # 7. 执行动作
        result = execute_skill(best_action)

        # 8. 获取环境反馈
        semantic_scene = observe_and_update_scene()

        # 9. 失败则重规划
        if result.failed:
            plan = LLM.replan(
                goal=goal,
                scene=semantic_scene,
                error=result.error
            )

    return "task completed"

---

7.3 家庭知识库示例

{
  "home_layout": {
    "kitchen": "east_side",
    "living_room": "center",
    "bedroom": "north_side",
    "bathroom": "west_side"
  },
  "object_locations": {
    "trash_bin": "kitchen_under_sink",
    "toy_box": "living_room_blue_box",
    "medicine_box": "bedroom_bedside_table",
    "remote_control": "living_room_sofa_table",
    "pet_bowl": "balcony_corner"
  },
  "user_preferences": {
    "quiet_hours": "22:00-07:00",
    "do_not_move": ["documents", "laptop", "glasses"],
    "ask_before_moving": ["medicine", "wallet", "keys"],
    "preferred_temperature": "24C"
  }
}

---

8. 安全与隐私约束

家庭服务机器人进入私人空间，必须具备严格的安全和隐私机制。

8.1 操作安全

高风险操作应禁止或需要确认：

操作	处理方式
移动药品	需用户确认
操作燃气灶	默认禁止或需强确认
移动贵重物品	需用户确认
接触儿童或老人	需安全策略约束
处理刀具、热水、玻璃	需风险评估
开门、开窗、解锁	需身份认证或确认

---

8.2 隐私保护

机器人可能接触家庭图像、声音、用户习惯和健康信息，因此需要：

1. 本地优先处理敏感数据；
2. 明确告知数据采集范围；
3. 提供摄像头和麦克风关闭机制；
4. 对家庭成员数据进行权限分级；
5. 对儿童和老人数据进行更严格保护；
6. 避免将家庭隐私信息用于未经授权的训练。

---

8.3 人类确认机制

在以下场景中，机器人应主动请求确认：

- 不确定物体类别；
- 涉及药品、证件、钱包、钥匙；
- 涉及儿童、老人或宠物安全；
- 需要改变家庭设备状态；
- 用户指令可能有歧义；
- 计划动作可能造成损坏或危险。

---

9. 评估指标

家庭服务机器人的场景适应能力可以从以下维度评估：

指标	含义
指令理解准确率	是否正确理解用户意图
场景识别准确率	是否正确识别物体、空间和状态
任务完成率	是否成功完成家庭服务任务
子任务成功率	每个步骤是否顺利完成
泛化能力	是否能处理新物体、新房间、新用户
动态重规划能力	出现失败后是否能恢复
用户满意度	服务是否符合用户偏好
安全性	是否避免危险动作
隐私合规性	是否保护家庭数据
个性化程度	是否能适应家庭习惯
交互自然度	是否能用自然语言顺畅沟通
执行效率	是否以较少步骤完成任务

---

10. 局限性与未来方向

10.1 当前局限性

1. 物理执行能力不足

大模型可以规划复杂任务，但机器人硬件未必具备对应能力。
例如大模型知道如何“叠衣服”，但机械手可能无法稳定完成柔性物体操作。

2. 大模型幻觉问题

大模型可能生成不存在的物体、位置或技能。
因此必须通过感知反馈、可供性评估和安全检查进行约束。

3. 家庭环境变化频繁

物体位置每天都可能变化，用户习惯也可能改变。机器人必须持续更新家庭知识库。

4. 安全风险高

家庭场景涉及老人、儿童、宠物、药品、电器、燃气和隐私信息，对安全要求极高。

5. 成本与实时性挑战

大模型推理成本较高，机器人执行又需要实时响应，因此需要端云协同、小模型部署和缓存机制。

---

10.2 未来发展方向

方向	说明
多模态大模型	融合语言、视觉、声音、触觉和空间信息
视觉-语言-动作模型	直接从视觉和语言生成机器人动作
世界模型	预测动作对家庭环境的影响
长期记忆	持续学习家庭布局、物品位置和用户习惯
技能库增长	将成功任务沉淀为可复用技能
安全约束规划	在计划执行前过滤危险行为
人类反馈学习	根据用户评价持续优化服务策略
端云协同	本地处理隐私数据，云端处理复杂推理
家庭知识图谱	建立用户、物品、空间、任务之间的关系
标准化技能接口	让机器人更容易调用导航、抓取、家电控制等能力

---

11. 总结

大模型赋能家庭服务机器人的核心价值，不是让机器人只会更智能地清扫，而是让机器人具备面向家庭生活的综合场景适应能力。

具体来说，大模型可以帮助家庭服务机器人实现：

1. 从固定指令到自然语言理解
   理解“收拾一下”“帮我看看”“准备睡觉”等模糊表达。

2. 从物体检测到语义理解
   不只是看到杯子、药盒、文件，而是理解它们在家庭任务中的意义。

3. 从单一功能到多技能组合
   综合调用导航、抓取、识别、递送、交互、家电控制等能力。

4. 从一次性计划到闭环重规划
   根据家庭环境变化持续调整任务执行过程。

5. 从通用机器人到个性化家庭助手
   记住不同家庭的物品位置、生活习惯和用户偏好。

因此，未来的大模型家庭服务机器人应被理解为：

面向家庭生活的通用服务智能体：能够理解人、理解物、理解空间、理解习惯，并在动态家庭环境中持续适应。

---

12. 参考资料

1. Ahn et al., Do As I Can, Not As I Say: Grounding Language in Robotic Affordances, 2022.
   https://arxiv.org/abs/2204.01691

2. Brohan et al. / Zitkovich et al., RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control, 2023.
   https://arxiv.org/abs/2307.15818

3. Liang et al., Code as Policies: Language Model Programs for Embodied Control, 2022.
   https://arxiv.org/abs/2209.07753

4. Yao et al., ReAct: Synergizing Reasoning and Acting in Language Models, 2022.
   https://arxiv.org/abs/2210.03629

5. Wang et al., Voyager: An Open-Ended Embodied Agent with Large Language Models, 2023.
   https://arxiv.org/abs/2305.16291

6. Wang et al., Large Language Models for Robotics: Opportunities, Challenges, and Perspectives, 2024.
   https://arxiv.org/abs/2401.04334