半夜宠物突发状况？ 端到端具身交互智能落地 的萌宠顾问能实时预警

# 半夜宠物突发状况？端到端具身交互智能落地的萌宠顾问能实时预警

我不打算先讲道理。这是「半夜宠物急诊台」的顾问毛豆，昨晚一整夜的真实运行日志，我原样贴出来——你看完，再决定要不要聊它到底做了什么。

补两句背景：毛豆是个沉稳、不吓人的养宠顾问，性格设定就一条——先安抚、再分级处置，绝不在凌晨给你甩一堆"延误可致命"。它平时不出声，整夜替你看猫看狗，发现不对劲才主动叫你。下面这段日志，就是它守了一夜团子（我家那只三岁英短）之后，留下的全部流水。

## 【事件日志】23:11 – 04:37，一台旧手机替我看了 5 小时猫

23:11  感知·团子姿态=侧卧 呼吸 12/min 平稳        → 决策：静默，无事件
00:26  感知·舔唇频繁 diffSignificant=false         → 决策：未越阈值，继续静默
01:42  感知·起身频率↑ 3 次/10min 焦躁踱步          → 决策：低优记录 · 挂观察位
02:31  感知·弓背 + 腹式抽动                        → 决策：疑似呕吐前兆，进待判定
02:47  感知·呕吐动作确认 ×2 内容物=黄色胃液        → 决策：中级预警（命中呕吐事件）
02:47  表达：轻音量唤醒 + 语音安抚                 → 行动：推送至主人手机
02:52  感知·主人语音回应"怎么回事" [Barge-in]      → 决策：立即收声，切换处置话术
03:15  感知·精神状态回落 呼吸恢复平稳              → 决策：解除紧急，生成就诊摘要草稿
03:40  行动：恒温窝 +0.5℃ / 灯光调暗至 0.15       → 行动：写回宠物长期档案（趋势）
04:37  感知·团子再次侧卧安睡                       → 决策：静默 · 整夜零误报

请注意这份日志的节奏。整整 5 小时，毛豆只开口叫了我一次。它不是没看见——00:26 舔唇、01:42 焦躁踱步，这些它都记下了，只是判断"还不够格"，于是闭嘴。直到 02:47 呕吐动作被确认、且和既往基线明显拉开，它才把我叫醒。

一夜里"它为什么这次没开口、那次开了口"，就是这份日志全部的看点。下面我按复盘的方式，一条条把它拆开讲——这也是我们做端到端具身交互智能时真正踩过的坑。每一条复盘，我都会指回日志里的具体时间戳，你能对着看它到底在哪一步做了什么。

读这份日志，你就盯三列：感知那栏是它看到了什么，决策那栏是它当晚怎么判，行动 / 表达那栏是它到底有没有因此动一下。整页扫下来你会发现，“行动"只出现在 02:47、03:40、04:37 这几行，其余全是"静默"或"低优记录”——一台看着猫熬了一整夜的机器，绝大部分时间其实是什么都不做的。会做这份"忍住不做"，比会报警难得多。

## 【复盘 1】它一夜为什么只叫了这一次

这是所有挂机监控类智能体的命门：持续感知很容易，难的是不打扰。 半夜三点被一台设备为"猫舔了一下嘴"叫醒的人，第二天就再也不会开这个功能了。所以毛豆的整条判定链，是在给"开口"这件事不断加门槛。

第一道门槛是事件，不是帧。摄像头一晚上送进来几万帧，毛豆从不逐帧报警，它只在姿态识别命中了语义事件（呕吐 / 抽搐 / 弓背 / 排尿困难 / 精神萎靡）时才进入判定。第二道门槛是****变化阈值 `diffSignificant`**：单次舔唇、单次起身，跟团子自己的历史基线一比，没拉开显著差，直接归零——日志里 00:26 那行"未越阈值，继续静默"，就是被这道门槛挡下的。第三道门槛才是优先级排队**——越过了前两道的，才按轻/中/重决定用多大音量、要不要打断当前播报、要不要联动急诊。

def on_pet_frame(frame, wearable, profile):
    sig = pet_monitor.analyze(frame, wearable, baseline=profile.baseline)
    event = sig.detect(["vomit", "seizure", "lethargy", "straining_to_urinate"])

    # 门槛一：只认语义事件，不认单帧噪声
    if not event:
        return                                        # 一切正常 → 静默待命

    # 门槛二：与这只猫自己的基线比，没显著变化就咽回去（00:26 舔唇走这里）
    if not event.diffSignificant(profile):
        brain.log_only(event, level="trace")
        return

    # 门槛三：越过阈值才分级，按严重程度排队决定"叫多大声"
    severity = triage.grade(event, profile=profile)   # light / moderate / severe
    if severity == "light":
        brain.log_only(event, level="low")            # 01:42 焦躁：只记档，明早汇总
    elif severity == "moderate":
        brain.proactive_speak(priority=2, tone="calm",
                              text=f"{event.name}两次了，先别慌，我一直看着它。")
    else:  # severe：抽搐 / 尿不出 / 呼吸困难 → 抢在一切播报之前叫醒
        brain.proactive_speak(priority=3, interrupt_current=True,
                              text="这个有点急，现在去拿航空箱，我同步通知急诊。")
        vet.connect_urgent(profile=profile)

看懂了吗——持续感知，主动决策，而不是等你被吓醒后来问它。 团子吐的时候你在睡觉，是它替你熬着这一夜、并在恰当的那一秒把你捞出来。

还有一层容易被忽略：那些没叫你的"低优记录"并没有被丢掉。00:26 的舔唇、01:42 的踱步，会以 trace / low 的级别沉进团子的基线里——下一次它判断"今晚这算不算反常"时，正是拿这一摞静默记录当参照。所以这套门槛不是一刀切的死阈值，而是越用越懂这只猫：一只本就爱夜里踱步的老猫，和一只突然开始踱步的年轻猫，在毛豆眼里是两件完全不同的事。误报治理的终点，是把"该不该叫醒你"变成一个会随档案漂移的判断，而不是一行写死的 if。

## 【复盘 2】02:52 那句"怎么回事"，它是怎么接住的

日志里有个细节最容易被忽略：02:47 毛豆刚开口安抚，02:52 你还在迷糊中就抢了一句"怎么回事"。换成一般的语音助手，多半会把你这句话当成新会话的开头，或者干脆自顾自把安抚念完。毛豆的处理是——立刻收声。

这就是 Barge-in（智能打断）。它正在说话的时候，麦克风并没有关；VAD 一旦判定是你在插话，当前播报被硬切，上下文马上从"我在安抚你"翻到"你在问我问题"，先答你最要紧的那句，再绕回处置主线。能做到这一点，是因为表达和感知是两条并行在跑的线——说话当口，它的耳朵一直是张着的。

// 毛豆正在播报处置话术，主人随时可以插话
async function guideTriage(steps) {
  for (const step of steps) {
    if (sdk.voiceBusy()) await sdk.waitIdle(3000);      // 段间 idle 兜底，不死等
    sdk.speak(step.speech, /*enqueue*/ true, /*bargeable*/ true, { tone: 'calm' });

    // 播报的同时，感知线程仍在收声；VAD 判定主人插话即触发
    const reply = await listen({ autoStopOn: 'owner_speech' });
    if (reply.isInterruption) {                          // "怎么回事"就是这一支
      sdk.interrupt();                                   // 02:52 立刻收当前这句
      await brain.answerSideQuestion(reply.text);        // 先接住，给最直接的答案
      resume(step);                                      // 再绕回没念完的处置
    }
  }
}

`bargeable=true` 和 `interrupt()` 是这套体验的骨架。半夜的人本就慌，一句插话如果被忽略、或者被要求"请重新说一遍"，信任当场就崩了。毛豆能接住，靠的不是话术，是感知、决策、表达在同一时刻并行——说话当口，它的耳朵一直是张着的。

这里有个工程上很脏、但决定成败的细节：既然毛豆说话时麦克风还开着，它凭什么不把自己的外放当成"你在插话"、自己打断自己？靠的是 AEC 回声消除 + 本体声音抑制——它先把自己放出去那段声波减掉，再让 VAD 只在"确实在人声窗口、且不是自己"的时段收口。02:52 你那句"怎么回事"能被干净地判成打断，前提是这一整层降噪和自声过滤已经在底下默默跑完了。这层东西拆开来单做语音、单做识别是拼不出来的，只能端到端一起做。

<!-- 配图建议：一段音频波形示意——毛豆的播报波被 AEC 消掉，主人的插话波被标为 [Barge-in] 触发点。 -->

这一整段处置其实是分步口播的：毛豆一次只给你下一步动作（“先深呼吸”“去摸一下它耳朵凉不凉”“够不到就开台灯”），每一步停下来等你的回应再走下一步，而不是一口气念完一长串医嘱。tone: 'calm' 和这个"一步一停"，是我们在真机上反复调出来的——人在慌乱里被信息淹没时，是听不进第二句的。

## 【复盘 3】它越急，说话越稳——这不是话术模板

很多人以为毛豆半夜那句安抚，是一段精心写好的"危机公关文案"。不是。那是专属智脑在同时权衡三件事：这只猫到底什么样、现在有多危急、以及我作为这个角色该怎么说。

团子不是一只抽象的"猫"，它是有档案的：三岁英短、去年一次尿闭住院、对某种止吐药过敏。这些不用我在凌晨两点重新交代，智脑随时带着。它的性格也被钉死在系统提示里——沉稳、压低音量、绝不制造恐慌，而且守两条硬红线：我不诊断，以及疑似中毒 / 持续抽搐 / 公猫尿闭 / 呼吸困难，第一句永远是"现在就去医院"，不劝你再观察。

// 智脑在 02:47 那一刻同时握着的两样东西
{
  "system_prompt": "你是「半夜宠物急诊台」顾问毛豆。沉稳、压低音量、先安抚后处置，
    一次只给下一步动作。你不是兽医：不下诊断、不开处方。命中红线（疑似中毒/持续
    抽搐/公猫尿闭/呼吸困难/大出血）时，第一句必为『立即送医』并生成就诊摘要。
    用药前先查档案过敏史，命中即避开。单条≤100字，不要序号、不要换行。",
  "pet_profile": {
    "name": "团子", "breed": "英国短毛猫", "age": 3,
    "history": ["2025-03 尿闭住院", "对胃复安类止吐药过敏"],
    "baseline": { "resting_breath": 12, "daily_vomit": 0 }
  }
}

这套智脑可插拔：OpenAI 协议模型、Dify/Coze Agent、自建模型都能接进来，急诊台后来挂了一家连锁医院自研的分诊规则引擎——毛豆的声音、性格、半夜安抚你的手感一点没变，变的只是分诊依据从哪来。而这份档案（品种 / 年龄 / 既往病史 / 过敏）是记忆，跟着角色走，不跟着设备走。

这里想替"专属智脑"澄清一个误解：它不是"通用大模型 + 一句『你是宠物医生』的提示词"。差别在 02:47 之后毛豆开口的顺序——它没有先甩一堆鉴别诊断（毛球症？胰腺炎？尿闭？中毒？），那是搜索框会干、且只会让你更慌的事。它先说"我在，别慌"，再反问两三个能定性的关键项（能不能被叫醒、呼吸怎么起伏、最近吃了什么），拿着你的回答把危急度往下压，最后只给下一步。先安抚、再取证、后分级，这套节奏是长在角色里的，不是临场检索出来的。它越急、句子反而越短越稳——因为"沉稳"本身就是被约束的性格，而不是文案模板。

而那条红线，正是这套沉稳唯一的例外。日志里团子这次是中级，毛豆有底气陪你慢慢观察；但换成另一只狗在凌晨突然四肢划动、口吐白沫地抽搐，或者猫误食了百合、老鼠药这类疑似中毒——红线会被直接触发，智脑会把"先安抚"这一整套克制全部让位给一句话："现在就去医院，别再等了。"它不会因为想显得镇定而劝你再观察，也不会为了怕误报而不敢开口。该稳的时候稳，该急的时候一句话把你推出门，这个分寸感，是写在角色边界里、而不是靠模型临场发挥的。

## 【复盘 4】一台三年前的旧手机，凭什么敢整夜挂机

这是毛豆能不能成立的前提，也是我最想替工程师说清楚的一段。挂机监控是长时任务——一开就是一整夜、八小时起步。如果那副 3D 形象、那一晚上的实时判断，都靠云端渲染再推视频流回手机，代价是三重不可承受：云 GPU 按小时烧钱、终端半小时烫手掉电、以及最要命的一条——你愿意让一台设备把卧室整夜的画面实时上传到云端吗？

急诊台的解法是把渲染整个下沉到端侧。SDK 让那具形象、口型、眼神在旧手机本地画出来，网络里跑的只是轻量的交互数据——一个姿态、一次分级、一句待合成的文本。画面从不整夜上传，云端的账也不按你的睡眠时长计。 于是低云成本、省带宽、短延迟、弱网可用凑齐了，"整夜看着你家猫"这件事，用一台三年前的旧手机也扛得住、也不贵。它得先熬得起这一整夜，才谈得上在 02:47 那一秒叫醒你。

我想特别说一下隐私这条，因为它不是卖点，是底线。挂机监控天然意味着"一台带摄像头的设备整夜对着你的卧室"。如果它走的是云推流，那你睡着的这 8 小时，画面是持续离开你家、流向远端服务器的。端渲把这条掐断了：团子的姿态、呼吸这些判断在本地算，算完只把"中级预警 / 呕吐×2"这样的结论送出去，原始视频帧从不出门。同理，凌晨家里 Wi-Fi 抖一下、外网掉两秒，毛豆也不会像推流方案那样黑屏卡住——渲染在本地，网络只负责传那几十字节的事件，弱网照样守夜。能不能整夜挂机，拼的不是模型多强，是这整夜你到底愿不愿意、敢不敢一直开着。

顺带一个商业上的连锁反应：正因为云端不按视频流计费，急诊台才养得起"让每个家庭都挂一整夜"这件事。要是走云推流，一晚上 8 小时的实时渲染加带宽，光服务器成本就够劝退任何一个想认真做整夜守护的团队——端渲省下来的这笔账，才是"半夜有人看着"能变成日常功能、而不是昂贵的演示的前提

## 【复盘 5】从"半夜给你一段建议"，到把损失真正降低

复盘到 03:40 那行日志，你会看到毛豆不只是"说"，它还"做"了——它把恒温窝悄悄升了 0.5℃，让吐完发凉的团子别失温；把灯光压到 0.15，减少刺激。这是物理行动。

而 03:15 那份"就诊摘要草稿"是数字行动：它把整晚的异常时间线、呕吐次数和内容物、你口头回答的三项关键问题，连同过敏史和尿闭既往，自动压成一张结构化卡片。真到了要送医那一步，一键推给对接的 24 小时急诊，你抱着猫冲进医院时不用语无伦次地重述，医生打开就是重点——凌晨的慌乱里，这份摘要能省下最贵的东西：时间。

如果你去翻急诊台后台的这段处置逻辑，会发现它的写法其实很朴素：中度事件触发的是"调恒温窝 + 压灯光 + 把趋势写回长期档案"这一组温和动作；只有升级到重度，才会去推就诊摘要、暂停自动喂食（免得就医前误食）、并同步给急诊台占好接诊位。动作是分级挂上去的，跟它开口叫你的音量是同一套优先级在管。 换句话说，毛豆"急到什么程度"，不只体现在它说什么，也体现在它替你动了家里哪些东西。

为什么要在意"动作"这一层？因为半夜宠物的损失，很多是被"再等等看"拖大的。一段文字建议给不了你确定性，你得自己判断要不要现在出门；而"恒温窝已经升温、灯光已经调暗、摘要已经躺在急诊医生后台"这一串已经发生的事实，才是真正把风险往下压的东西。03:15 那份摘要草稿即便最后没用上——因为团子到 03:15 精神回落了、我们没连夜跑医院——它也已经把这一次呕吐写进了长期趋势。下一次团子再在半夜弓背，毛豆拿的就不是"一只猫吐了"，而是"这只猫上个月吐过两次、都是凌晨、吐完都自己缓过来了"。判断的底座，就是这样一夜一夜攒厚的。

再往物理世界走一步：同一份记忆、同一个沉稳的声音，今天活在手机里，明天可以进客厅那块 AI 屏，后天可以走进一台会移动的宠物机器人——它带着团子这整夜的档案，从卧室一路跟到急诊室，走过去低头看清状态、把航空箱从柜子里示意给你。身体换了，本事和记性不换。

## 【写在最后：端到端这三个字，到底"端"在哪】

把这 5 小时连起来看，你会看到一条没有断点的线：毛豆从 23:11 起就在持续感知，每帧都拿团子自己的基线做持续理解，在 02:47 完成一次越过三重阈值的持续决策，随即用压低的音量持续表达、并同步动了恒温窝和推送；整个过程中它随时能被你那句"怎么回事"打断，事后把趋势写回有记忆的长期档案，而这一切又能在手机 / 家里的屏 / 未来的机器人之间换着身体复用。

关键在于，这条线不是"识别模块 + 语音模块 + 大模型"事后拼起来的。拼接式的系统做不到 02:52 那种边说边听的即时收声，也做不到一夜零误报还只在关键时刻开口——因为感知、理解、决策、表达、行动必须在同一条实时闭环里并行咬合。这就是我们把"端到端"三个字较真的地方：端"到"整夜不打扰、一叫就接得住、还带着记性陪你换身体。

🌐 官网

📖 开发文档：https://xingyun3d.com/developers/52-183

家里有毛孩子的，你不妨回想一下：昨晚它有没有半夜呕吐、焦躁踱步、或者反常地趴着不动，而你一觉睡到天亮才发现？如果有一台旧手机整夜替你看着它、发现不对才轻声叫你、还顺手把摘要备给了急诊——你敢不敢真的踏实睡这一觉？