1 前言

当前市面上家庭智能设备大多是单点能力产品：扫地机器人只负责清扫、家用摄像头仅承担安防监控、语音音箱只能完成简单对话。各类设备相互独立、数据不通，无法协同完成复合型家庭任务。

本文设计一套多 Agent 家庭管家机器人集群方案，融合全屋固定传感器阵列、固定点位相机，搭配搭载激光雷达的移动机器人，依托大模型多智能体架构，将环境感知、安防、家务、物品递送、家庭事务、人机交互能力整合为统一系统。用户一句自然语言指令，系统自动拆解任务、调度机器人集群协同执行。底层基于 ROS2 Humble + Qt 上位机开发，Agent 只负责高层任务规划，不侵入底层运动控制逻辑，保障系统实时性与运行安全。

硬件组成清单：

1. 移动管家机器人（激光雷达 + 移动 RGB 相机，支持全屋自主移动）
2. 全屋固定感知阵列：固定点位相机 + 各类环境传感器，部署在门口、厨房、客厅、卫生间等区域，7×24 小时持续监测
3. 多机器人集群：支持单机独立运行，也支持多机器人协同作业
4. 人机交互终端：机器人本体语音、手机 APP、Qt 管理面板，用于下发指令、查看画面、接收告警、对话交互

2 整体设计思路

核心设计原则：分层解耦，由简单能力逐步构建复杂任务，多 Agent 负责认知决策，底层机器人控制栈保持确定性。

• 感知层：固定传感器 + 固定相机实现全天候持续监测；移动机器人携带雷达 + 机载传感器、移动相机完成机动巡检与近距离复核观测；
• 技能层：封装标准化机器人技能接口，Agent 只能调用预定义技能，禁止直接下发电机、速度指令；
• 认知层：多 Agent 协同，完成自然语言理解、任务拆解、安全校验、家庭记忆管理；
• 执行层：ROS2 Nav2、MoveIt、Qt 上位机负责导航、运动、抓取等底层执行；
• 安全层：独立安全规则引擎，高危动作强制人工确认，规避安全风险。

3 核心功能模块（由易到难）

模块 1：自然语言对话陪伴（基础交互能力）

作为全系统人机交互入口，是所有功能的基础。

1. 日常闲聊：支持多轮对话，陪家人聊天、讲故事、讲笑话；可以记住家庭成员、家庭物品位置等上下文信息。
2. 生活问答：查询天气、菜谱、出行建议等生活常识。
3. 情感陪伴：面向老人、儿童提供陪伴对话；支持主动提醒，例如夜间提醒休息。
4. 交互方式：语音唤醒、文字输入，支持对话中途打断。
5. 家庭记忆：长期记录家庭成员偏好、物品常用摆放位置。

模块 2：全屋环境巡检 & 安全监测（基础感知能力）

感知源分为：全屋固定传感器阵列 + 固定相机常驻监测 + 移动机器人机动巡检 + 机载传感器复核

1. 定时全屋巡检：支持自定义巡检点位、巡检路线，自动定时执行；也支持用户随时手动发起单次巡检。
2. 多维度环境参数监测
   • 温湿度监测：固定点位 + 移动机器人机载温湿度探头采集各房间温湿度；温湿度超出预设阈值触发告警；对接互联网天气预报，结合室内外环境智能提醒（例：室外降雨，室内湿度上升，建议关闭窗户；室外高温，提醒合适开窗通风时段）。
   • 空气质量监测：PM2.5、PM10、TVOC 检测，室内空气污染超标推送告警，联动新风机。
   • 光照监测：采集房间亮度，辅助智能灯光、窗帘联动。
   • 噪声监测：采集室内噪音分贝，夜间噪音超标触发提醒。
3. 厨房专项安全监测
   • 固定相机常驻监测：持续识别灶台明火、燃气阀门状态、烟雾；
   • 红外热成像监测：识别灶台、插座、电器异常高温热源；
   • 可燃气体传感器监测天然气泄漏；CO 一氧化碳传感器防范不完全燃烧中毒；烟雾传感器实现火灾早期预警；
   • 移动机器人定点巡检：定期前往厨房复核燃气、灶台、电器温度状态。
4. 漏水监测：厨房、卫生间部署水浸传感器，检测积水漏水，触发告警。
5. 防盗振动监测：门窗部署振动传感器，检测窗户被撬动、撞击振动，触发安防告警。
6. 定向环境查看：调度机器人前往指定房间，查看窗户、灯光、地面状态，返回文字 + 现场照片。
7. 多类型异常识别：识别地面积水、地面杂物、人员跌倒等风险事件；PIR 人体红外传感器作为相机补充，暗光下检测人体活动，降低摄像头持续录制功耗。
8. 告警推送：识别异常后，本地语音提醒，手机 APP 推送告警信息 + 现场图片；可联动智能家居切断燃气电磁阀、启动排风设备（需配套硬件）。

传感器选型说明

1. 红外热成像：属于安全类核心传感器，可检测隐形高温隐患，弥补可见光相机无法测温的短板；普通 PIR 人体红外不作为主识别源，仅作为相机辅助，降低功耗，减少隐私录像。
2. 激光雷达作为机器人主避障，超声波做低矮障碍物补盲；碰撞传感器作为最后一级物理安全兜底。
3. 固定传感器负责 7×24 小时不间断监测；移动机器人负责机动复核。单一传感器容易误报，采用多源融合判断，提升告警可靠性。

模块 3：看家护院安防告警（固定相机为主，移动机器人复核）

1. 24 小时固定相机值守：门口、客厅点位持续视频监控。
2. 人员分类识别：区分家人、宠物、陌生人；识别门口长时间逗留、窗口异动、闯入事件，自动抓拍并推送手机告警。
3. 移动机器人现场复核：固定相机触发告警后，调度移动机器人前往现场近距离拍照、语音喊话。
4. 看家模式一键切换：离家自动布防，回家自动撤防；告警录像片段自动保存，支持历史录像回放。

模块 4：门禁访客管理

1. 门口固定相机抓拍访客画面，实时推送至手机。
2. 远程视频对讲：手机端与门口访客双向语音通话。
3. 远程授权开门：主人核验访客身份后 APP 一键开门；支持给快递、保洁设置限时临时开门权限。
4. 开门日志：记录每次开门时间、人员、开门方式，可回溯查询。
5. 机器人辅助复核：可调度移动机器人到门口，辅助查看门口现场情况。

模块 5：小件物品搬运递送

1. 跨房间小件转运：完成物品取件、转运、放置，支持水杯、书本、遥控器、小型包裹等轻量物品在房间之间递送。
2. 物品校验：视觉识别物品尺寸、体量，超重 / 超大物品拒绝搬运并提示用户。
3. 取放核验：抓取前拍照确认目标物品；放置完成后拍照反馈任务结果。
4. 高危物品拦截：刀具、易碎玻璃、热水等危险物品，直接拒绝搬运指令。

模块 6：快递取件辅助

依赖【门禁管理】+【小件物品搬运递送】模块能力。

前置硬件条件：智能门禁 + 门口安全投递区

1. 包裹识别：门口固定相机识别快递包裹，推送取件提醒。
2. 快递临时授权：用户远程视频确认后，临时授权开门，供快递员放置包裹。
3. 机器人取件搬运：调度移动机器人到门口取包裹，搬运送至室内指定房间。
4. 面单信息采集：搬运至桌面后拍摄快递面单，读取快递信息。

安全限制：机器人不执行拆包操作（刀具安全风险）。

模块 7：家务清扫

1. 自主全屋吸尘清扫；自动避开线缆、拖鞋、地毯等障碍物。
2. 分区清扫：支持指定单一房间清扫。
3. 脏污区域识别：视觉识别地面污渍，对脏污区域重点重复清扫。
4. 清扫报告：任务结束生成清扫报告，标注已清扫区域、因障碍物无法清扫区域。
5. 自动回充：电量不足自动返回充电桩，充电完成自动接续未完成清扫任务；遇到地面散落杂物，提醒用户整理后继续清扫。

模块 8：家庭事务管理（水电燃气账单）

1. 表计读数采集：移动机器人定点拍照抄表，或固定相机持续读取水表、电表、燃气表读数。或接入网络获取。
2. 账单提醒：到缴费周期主动提醒用户缴纳水电燃气费用。
3. 消耗台账：记录每月用量，生成月度消耗简报（包含室内温湿度、空气质量统计）。
4. 缴费快捷入口：APP / 管理面板提供缴费跳转链接。

安全限制：机器人不直接发起支付，支付操作由用户确认执行。

模块 9：儿童作业辅导

1. 拍照识题：相机拍摄习题，解析题目内容。
2. 学习辅导：数学、语文、英语习题讲解、作文润色、古诗文听写、单词朗读。
3. 坐姿矫正：视觉识别孩子弯腰、离书本过近，语音提醒纠正坐姿。
4. 学习计划管理：协助制定学习任务，定时提醒学习与休息。
5. 家长管控模式：家长可控制答案是否展示，防止孩子直接抄答案。

模块 10：智能家居联动

1. 设备控制：语音 / APP 下发指令，控制灯光、窗帘、空调、智能插座。
2. 状态查询：查询智能家居设备当前工作状态。
3. 场景联动策略：支持预设场景联动，例如识别燃气异常自动联动关闭燃气阀、离家一键关灯。

模块 11：多机器人集群协同（高阶能力）

依赖前面全部基础模块，属于系统调度层能力。

1. 任务自动拆分分配：收到复杂自然语言指令，自动拆分子任务，分配给不同机器人并行执行。
   • 示例：同时执行「客厅清扫」+「查找车钥匙」，清扫机器人负责打扫，另一台机器人检索物品。
2. 信息共享：集群内机器人共享地图、障碍物、物品位置、告警信息，一台机器人发现的物品位置，全集群共用。
3. 任务接力：机器人电量不足自动回充，同集群其他机器人接力继续完成未完成任务。
4. 冲突避让：多机器人相遇自动避让，避免堵路。
5. 集群监控：统一管理面板查看全部机器人电量、实时位置、任务进度；支持随时新增机器人加入集群。

4 系统全局调度能力（多 Agent 业务层，跨模块公共能力）

1. 自然语言任务拆解：一句话接收复合任务，自动拆分为可执行子任务。

示例指令：“我出门上班，开启看家模式，全屋清扫一遍，顺便检查厨房燃气。” 系统拆解：开启安防布防 → 启动全屋清扫任务 → 调度机器人巡检厨房燃气。

1. 异常动态处理：任务执行遇到障碍自动重试；无法完成则询问用户备选方案。
2. 任务优先级策略：安防告警 > 安全巡检 > 递送 / 清扫 > 闲聊。安全事件触发时，自动暂停家务任务优先处理告警。系统综合融合图像、雷达、各类环境传感器、互联网天气数据做多源信息融合，降低单一传感器误报率。
3. 用户权限管理：区分主人、老人、儿童权限；儿童账号禁止开门、搬运高危物品等高风险操作。

5 人机交互与消息通知（全局公共能力）

1. 多渠道推送：手机 APP、机器人本地语音、Qt 管理面板；告警、任务完成、账单提醒均可推送。
2. 多媒体消息：告警、巡检、物品查找完成后，附带现场照片 / 短视频推送。
3. 任务日志：永久保存机器人任务记录、告警记录，支持随时回溯查看。
4. 语音播报：实时播报任务进度、异常事件。

6 全局安全约束（所有模块统一规则）

1. 高危动作二次确认：开门、联动燃气切断阀等高危操作，必须用户确认才可执行。
2. 禁区自定义：可划定机器人禁止进入区域（婴儿房、浴室）。
3. 碰撞与人体保护：靠近人体自动减速，内置碰撞传感器物理防护。
4. 隐私总开关：一键关闭所有摄像头图像采集与录像。

7 系统总体架构

7.1 多 Agent 角色划分

系统认知层采用多 Agent 分工协作模式，每个 Agent 职责单一，解耦设计，避免大模型单 Agent 职责臃肿。

1. 交互 Agent 负责接收用户语音 / 文字指令，完成 ASR、语义理解，对话管理；回答闲聊类问题；将用户指令转发给任务规划 Agent；把系统执行结果、告警信息整理成自然语言反馈给用户。
2. 任务规划 Agent 系统核心调度 Agent。接收交互 Agent 的用户指令，将复合任务拆解为有序 / 并行子任务；结合任务优先级、机器人集群状态、地图信息，分配子任务到对应机器人；监控任务执行状态；子任务失败时生成重试策略或者询问用户。
3. 感知融合 Agent 统一汇聚固定传感器、固定相机、移动机器人机载传感器、互联网天气数据；对多源数据做融合分析，过滤传感器噪声，降低误告警；识别环境异常事件（燃气泄漏、高温、漏水、闯入等）；产生告警事件推送给任务规划 Agent 与通知模块。
4. 安全校验 Agent 独立安全守门 Agent。所有待执行动作（开门、燃气阀联动、搬运物品等）都必须经过安全校验 Agent 审核；根据权限规则、禁区配置、物品风险等级判断动作是否允许执行；高危动作拦截并触发人工确认流程。
5. 家庭记忆 Agent 持久化管理家庭知识库：房间地图、物品存放位置、家庭成员信息、用户习惯、历史任务记录、传感器历史数据；为其他 Agent 提供记忆查询能力，持续学习家庭环境信息。

7.2 数据流文字描述

1. 用户下发任务数据流 用户（语音 / APP/Qt 面板）→交互 Agent 解析自然语言→交互 Agent 把结构化任务提交给任务规划 Agent→任务规划 Agent 查询家庭记忆 Agent 获取家庭环境信息→任务规划 Agent 拆分任务，提交给安全校验 Agent 做权限 & 风险校验→校验通过后，下发标准化技能指令到 ROS2 技能执行层→ROS2 驱动机器人集群、传感器、智能家居硬件执行动作→执行过程中的图像、传感器数据回传给感知融合 Agent→任务执行结果回传给任务规划 Agent→交互 Agent 整理结果，语音 / APP 反馈给用户，同时写入家庭记忆 Agent 持久化保存。
2. 主动告警数据流（传感器触发，无需用户指令） 各类固定传感器、相机、移动机器人机载感知数据 → 感知融合 Agent 做数据融合、异常判断 → 感知融合 Agent 生成告警事件，推送给任务规划 Agent → 任务规划 Agent 按照最高优先级暂停现有任务，调度机器人现场复核；同时交给安全校验 Agent 确认告警联动策略 → 通知模块推送告警消息（APP、语音）；告警事件写入家庭记忆 Agent 留存日志。
3. 外部数据流入数据流 互联网天气 API → 感知融合 Agent，作为环境决策辅助数据，生成环境提醒。

7.3 分层架构说明

• 感知层：各类传感器、摄像头、激光雷达，原始数据采集；
• 认知 Agent 层：交互 Agent、任务规划 Agent、感知融合 Agent、安全校验 Agent、家庭记忆 Agent；
• 技能抽象层：封装机器人标准化技能接口（巡检、清扫、抓取搬运、导航、拍照、智能家居控制）；
• ROS2 执行层：ROS2 节点（Nav2、MoveIt、图像识别节点、传感器驱动节点）；
• Qt 上位机：集群状态监控、可视化面板、任务日志管理；
• 终端层：手机 APP、机器人语音交互。

8 典型业务场景示例

场景 1：离家场景

用户语音：“我出门上班，开启看家模式，机器人打扫全屋，顺便检查厨房燃气。”

1. 开启全屋固定相机看家布防，PIR 人体红外、振动传感器进入值守状态；
2. 调度清扫机器人启动全屋清扫；
3. 调度巡检机器人前往厨房，采集燃气、CO、温度数据并检查燃气阀门；
4. 如果清扫时识别地面积水，或传感器检测到燃气泄漏、高温、烟雾，立刻暂停清扫，手机推送告警；
5. 后台持续拉取互联网天气，若预报暴雨，提前推送提醒用户回家检查门窗。

场景 2：快递到家

固定相机识别门口快递，推送手机提醒。用户远程视频核验，临时授权开门。调度移动机器人到门口取包裹，搬运送到客厅茶几，拍照通知主人快递送达。

场景 3：多机协同任务

用户：“清扫客厅，同时帮我找一下车钥匙。” 清扫机器人负责清扫客厅；另一台移动机器人在全屋检索钥匙，找到后拍照汇报位置。

9 方案总结与展望

本方案把多 Agent 具身智能和传统 ROS2 服务机器人结合，打破单一功能家电孤岛。系统采用模块化设计，从最简单的对话交互，逐步叠加巡检、安防、家务、多机协同能力，可分阶段开发验证。

• MVP 阶段：先实现单机器人，完成导航、巡检、语音交互；
• 迭代阶段：叠加物品搬运、清扫、智能家居联动；
• 高阶阶段：落地多机器人集群协同。

后续扩展方向：数字孪生可视化、RAG 家庭知识库、老人跌倒健康监测、更多智能家居设备接入。

本文为产品功能方案，暂未深入底层代码与 ROS2 节点实现。大家觉得家庭管家机器人最刚需的功能是什么？欢迎评论区交流。