「阿黎为什么没出现？」「老陈为什么话这么多？」「那个玩家为什么想放弃？」——剧情测试这一夜，导演「墨辰」被三个问题同时压着跑。

这不是一位能替你写剧本的编剧，而是一位 24 小时在线的端到端具身交互智能 NPC 导演。它看得清你每一次选择的走向，守得住每一个 NPC 的人设，也压得住你每一刻的情绪曲线。

开机：语音通道接通，导演就位

策划拿起手机之前，页面已经替他把最难的几步做完了。打开本项目 src/services/avatar.ts，语音输入被拆成两个干净的方法——按下开始、松开结束，中间的一切交给 SDK 自己流转：

async startASR(): Promise<void> {
  if (!this.agent) throw new Error('Agent 未初始化')
  await this.agent.startASR()
}

async stopASR(): Promise<void> {
  if (!this.agent) throw new Error('Agent 未初始化')
  await this.agent.stopASR()
}

策划在剧情里喊「墨辰，你看这段剧情怎么样」的时候，按下的就是 startASR；说完松手，stopASR 把这一段语音交给云端。整个过程，他不需要知道 ASR 在哪跑、识别结果怎么回传，只需要像喊一位站在身边的导演那样开口。

第一段剧情：动态剧情生成——那个伏笔为什么没回收

第一段剧情测试，玩家选择救下 NPC「阿黎」。按照设计，阿黎应该在第三章再次出现，回收第一章埋下的伏笔。但测试时发现，阿黎在第二章就消失了，伏笔断了。

策划问了一句：「阿黎为什么没出现？」

墨辰先把问题拆开。它把第一章到第三章的剧情树拉出来比了一遍——第一章，玩家救下阿黎，阿黎说了一句「我会记住你的」；第二章，剧情分支走到另一条线，阿黎没有被引用；第三章，伏笔需要回收，但阿黎已经不在当前场景。

「不是伏笔的问题，是分支的问题。」墨辰说，「玩家救下阿黎后，剧情走到了另一条分支，阿黎没有被带过去。建议在第二章的分支节点加一个判断：如果玩家救过阿黎，阿黎应该以『暗中跟随』的身份出现在第二条分支。」

策划照着改了。第二章加了这个判断后，第三章阿黎再次出现，伏笔回收成功。

策划松了口气：「以前写分支剧情，十个伏笔要断三个。现在墨辰替我看剧情树，一个不断。」

第二段剧情：角色人设维持——那个 NPC 为什么出戏了

第二段剧情测试，NPC「老陈」是一个沉默寡言的猎人。按照设计，老陈每次说话不超过十个字。但测试时发现，老陈在某一幕突然说了一段五十个字的长台词。

策划问了一句：「老陈为什么话这么多？」

墨辰先把老陈的参数摊开看了一遍。它先把老陈的人设参数、前几幕的台词长度、当前场景的情绪状态都读了一遍。它发现老陈的人设参数里「话多」这一项被意外调高了，导致当前场景的台词长度失控。

它给出一套分析：「老陈的人设参数被意外修改，导致台词长度失控。建议把『话多』参数调回低值，同时加一个硬限制：老陈每次说话不超过十个字，超过的部分拆成多段短句。」

策划照着调了。老陈的台词长度恢复正常，人设不再出戏。

策划把人设校验逻辑存进档案，下一幕照这个走。

第三段剧情：玩家情绪响应——那个玩家为什么想放弃

第三段剧情测试，玩家在一个 Boss 战里连续失败五次，情绪开始沮丧，想要放弃游戏。

墨辰看的不是这一次失败。它把玩家过去十分钟的操作频率、死亡次数、聊天记录的语气都拉出来比了一遍。它发现玩家的操作频率从每分钟 30 次降到 15 次，死亡次数从 1 次升到 5 次，聊天记录里出现「不想玩了」三个字。

「不是难度的问题，是情绪的问题。」墨辰说，「玩家连续失败五次，情绪已经到达临界点。建议降低 Boss 第二阶段的一个机制，同时让 NPC 阿黎出现说一句鼓励的话。」

策划按建议改了。Boss 第二阶段降低了一个机制，阿黎出现说了一句「你可以的」。玩家又试了一次，通关成功。

策划把情绪响应逻辑存进档案，下一幕照这个走。

三段剧情一路测下来，链路没掉过链子

三段剧情、两次出戏、一套世界观，背后是同一套端到端具身交互智能链路在持续运转。

它不是把语音识别、大模型、语音合成三样东西各买各的、硬拼在一起的半包方案，而是把整个剧情测试当成一场持续对话来运转——感知、理解、决策、表达与行动、反馈环环相扣，形成 Continuous Interaction Loop（持续交互循环）。

策划说到一半改口，它接得住；剧情数据刚上传，它当场算；方案讲到一半策划插一句「阿黎其实是为了报恩」，它马上把方案改一遍。

这就是端到端和「拼起来」的根本区别：不是 ASR + LLM + TTS 的简单拼接，而是围绕一次完整的 NPC 叙事，把整条链路连起来持续运转。

舞台背后的五根提线

三段测试能撑过来，靠的不是灵感，是底下五样东西在剧情里扎了根——端到端具身交互智能在这场剧情里最朴素的五个落点。

能力	在剧情里做什么	策划跳过了哪个坑
多模态感知	读剧情树、听策划语音、看玩家情绪、测操作频率	持续感知，而不是一次输入
专属智脑	叙事学、角色心理学、世界观构建、情绪模型，现场调取、现场推理	从通用回答升级为面向具体身份和业务的智能体能力
多模态表达	讲剧情设计时语气专业，提醒出戏时语气收紧，说到通关时表情放松	统一、连续、同步
AI 端渲	策划室、测试间、家里，端侧渲染让画面本地跑，不依赖云端 GPU 持续推流	更低成本、更低延迟、弱网可用、更稳定、更容易规模化
数字与物理行动	数字端在屏幕里与策划对话；物理端进入游戏客户端、VR 设备、实体机器人	同一个智能体，可以拥有不同的身体

多模态感知：持续知道剧情正在发生什么

多模态感知的目标，不是简单把策划的话转成文字，也不是游戏客户端识别到「这里有一个 NPC」。

真正要解决的是：在剧情里，AI 通过剧情树感知到伏笔断裂，主动弹出预警；交流开始后，传感器持续处理玩家情绪、操作频率、台词长度；即使 AI 自己正在说话，也能继续听见策划的插话，让交流继续进行。

核心优势：持续感知，而不是一次输入。

剧情里怎么把这种「持续」接住？src/stores/app.ts 里，ASR 的回调把实时文本和最终结果分成两行写：

onASRResult: (text: string, isFinal: boolean) => {
  if (text) {
    appState.ui.text = text
  }
  if (isFinal) {
    appState.asr.isListening = false
  }
}

话一出口，文字已经挂在输入框上了；等 isFinal 回来，「正在听」才关掉。中间哪怕墨辰正在播报上一段剧情分析，策划突然插一句「阿黎其实是为了报恩」，这一行回调照样接得住。

专属智脑：让智能体知道「我是谁、知道什么、应该做什么」

这颗脑不绑死任何一家大模型：豆包、DeepSeek、ChatGPT 等用惯的模型都可以接；没有现成模型时，可以直接用魔珐星云自研的智脑——低延迟、强逻辑、场景化理解、数据安全可控，专为具身交互场景优化。

它要同时回答三层问题：它知道什么（叙事学、角色心理学、世界观构建、情绪模型），它是谁（一位情感驱动、沉稳内敛的 NPC 导演），它要做什么（先剧情后人设，严重情绪问题建议暂停游戏休息）。从通用回答升级为面向具体身份和业务的智能体能力。

这套身份、知识、边界，全部写在本项目的 src/constants/index.ts 里，连接成功后通过首条 ask() 一次性注入。

人设不是装饰性文案，它决定墨辰什么时候该建议回收伏笔、什么时候该提醒暂停休息、什么时候该闭嘴等策划想清楚。

多模态表达：实时生成统一、连续、同步的具身表达

讲剧情设计时，语气专业、语速平稳；提醒出戏时，语气收紧、语速加快；说到通关时，表情放松、手势舒缓。

语言、口型、表情、眼神、头部动作、手势和身体动作统一实时生成——统一、连续、同步，方案讲解不再是干巴巴的读表。

剧情里怎么知道墨辰此刻是在听、在说，还是回到了待命？src/stores/app.ts 里，状态回调把 SDK 抛出的事件实时落到一个 ref 上：

onStateChange: (state: string) => {
  console.log('[AppStore] onStateChange:', state)
  avatarState.value = state
}

听、说、待命——状态切到哪，界面就跟到哪。策划看到的不是一段预制动画，而是墨辰此刻真实的交互状态。

AI 端渲：让实时交互真正变成终端基础能力

策划室、测试间、家里，往往弱网甚至断网。AI 端渲将渲染下沉到终端侧，降低云 GPU 成本、降低带宽占用、降低延迟、提升稳定性，让实时交互在弱网下也能跑起来。

省带宽、省机器、弱网也不掉链子——策划室能用，才是真的能用。

数字与物理行动：屏幕端与机器人端两类

数字端，她在屏幕里与策划对话，看剧情树、调人设、控情绪。物理端，同一套能力进入游戏客户端、VR 设备、实体机器人，身份、知识、记忆、任务持续复用。

终端可以换，形态可以换，那位懂剧情的导演没换。

这位导演是怎么被交到策划手上的？src/services/avatar.ts 里，创建实例的核心代码只有几行：

this.agent = new window.XingyunAvatarAgent({
  container: this.containerEl,
  appId,
  appSecret,
  gatewayServer: SDK_CONFIG.GATEWAY_URL,
  ...
})

一个容器、一组凭证、一个网关——交代清楚，墨辰就上线了。人设换一位导演，终端换一副身体，代码还是那一份。

全通过那晚

测试结束那天晚上，策划发了条消息过来：「三段剧情全部通过。」

墨辰没接话。它脑子里已经在排下一段剧情的伏笔布局了——第四章要回收第二章的伏笔，第五章要埋下第六章的悬念，世界观还要再扩展一个势力。

三段测试的故事讲到通过结束，但导演的活没收。阿黎的报恩、老陈的沉默、那个玩家的沮丧，它都记着。

测试报告存档，策划合上电脑。墨辰的剧情树还亮着——阿黎的伏笔线、老陈的人设参数、那个玩家的情绪曲线，全在。下一轮测试开始，这些记录就是新一轮推演的起点。

这就是端到端具身交互智能在剧情里长出来的样子：不是给 AI 接一个身体，而是让一位真正懂叙事的导演，守住每一段剧情的世界观。