关于海尔

海尔智家布局服务机器人领域，旗下海娃机器人和智家大脑平台融合语音交互、NLP、多模态感知和强化学习决策技术。面试注重AI算法在家庭服务场景中的落地能力。

---

第1题：远场ASR优化——厨房嘈杂环境唤醒率低如何解决

答案要点：

前端：环形6+1麦阵列波束形成增强用户方向声音，TDOA声源定位让机器人转头对准说话人，自适应噪声抑制（维纳滤波）压制稳态噪声，回声消除。

后端：训练数据加入厨房噪声混合做数据增强（SNR从-5dB到15dB），使用Conformer/Whisper架构。唤醒策略：低阈值持续监听+高阈值确认唤醒+定向唤醒。

第2题：服务机器人全双工语音交互

答案要点：

半双工是"你一句我一句"，全双工要求机器人在用户说话间歇做出判断。关键技术：VAD语音活动检测、EOU（End of Utterance）预测判断用户是否说完、barge-in让用户可打断、流式ASR边说话边出结果。

延迟控制：端侧VAD<50ms，ASR动态chunk策略（80ms），TSS首字节延迟<150ms。

第3题：TTS方案选型

答案要点：

级联TTS：文本→前端→声学模型→声码器，成熟稳定但自然度有限。端到端TTS（VITS/CosyVoice）：直接从文本到波形，自然度高但可控性差。

推荐混合架构：日常命令用端到端（快速响应），长文本播报用级联（稳定性优先）。情感建模在声学模型中加入情感embedding作为条件输入。

第4题：多意图识别

答案要点：

复合指令如"把空调开到26度然后把灯调暗"需要识别多个意图。方案一：BERT+CRF做意图边界标注（BIO）。方案二：LLM拆句+传统NLU解析单个子句。

推荐方案二：LLM拆句+规则NLU解析，兼顾准确性和可解释性。上下文管理中维护场景状态栈支持"跟上次一样"这类指令。

第5题：指代消解

答案要点：

服务机器人场景中"这个""那个"需要结合视觉感知理解。方案：视觉目标检测提取场景物体列表+对话历史实体跟踪+LLM消解。

空间线索（RGB-D判断手势方向）+注意力线索（画面中心物体）加权融合确定指代对象。

第6题：任务型对话状态跟踪

答案要点：

家庭服务DST状态包含物体位置、设备状态、任务进度。设计"确认-执行"两阶段机制——DST维护待确认状态，机器人先确认再执行，反悔时只需改状态无需回滚物理动作。

第7题：多模态感知

答案要点：

"看到→知道→说出来"三步。YOLOv8/RT-DETR检测物体→CLIP提取属性→知识库查询存储建议→LLM生成自然语言反馈。

知识库需要包含物品间相互作用知识（如苹果释放乙烯催熟香蕉）。

第8题：融合手势+语音的指令理解

答案要点：

"收拾"是高度模糊动词，需结合视觉上下文消歧。方案：手势确定关注区域→场景理解获取物体类型和状态→多模态对比学习选择与场景最匹配的动作。

多模态时间对齐网络处理语音噪声场景，手势轨迹提供时序锚点。

第9题：强化学习柔性抓取策略

答案要点：

剥香蕉RL流程：Isaac Sim/Mujoco搭建数字孪生→复合奖励函数（接近+力控+进度+完成）→PPO+Domain Randomization训练。

Sim-to-Real迁移：仿真中随机化摩擦力、质量、刚度、光照、控制噪声等参数。真机增加力传感器闭环控制+在线自适应+人类示范行为克隆初始化。

第10题：系统设计——"无人家务"AI架构

答案要点：

三脑协同架构：云脑（大模型训练+知识库更新）、家脑（场景理解+任务规划+跨设备协同）、端脑（实时感知+语音交互+动作执行）。

整理餐桌流程：视觉识别物品→感知归属分析→对话确认→动作规划（抓取策略/路径规划）→执行→完成确认。关键设计：端云协同、场景状态持久化、故障恢复机制、隐私数据本地处理。

---