当 AI 从对话框走进屏幕、机器人和真实空间，真正需要解决的已经不只是"会不会回答"，而是能不能持续感知、理解、表达并行动。

如果你最近试过几款 AI 助手，大概率有过这样的体验：问它一个问题，它回一段文字，结束了。你想接着聊，得重新打字；它看不见你，也听不见你背景里的动静。

这不是 AI 不够聪明，而是它还只活在一个"框"里。

而接下来的这一波变化，是 AI 开始走出这个框。

一、认知一：具身交互智能，不只是给 AI 接一个身体

很多人以为，让大模型"动起来"就是具身智能——把文字答案搬到一个会说话的终端上就行了。真实的物理交互场景完全不是这样。

一个人在屏幕前跟你说话，他的语言、位置、动作、注意力状态，每一秒都在变。你可能走近了、你可能走开了、你可能突然插一句嘴、你可能只是"嗯嗯"两声表示在听。这些都不是一次性的输入，而是持续的、动态的现场状态。

所以真正的具身交互智能，要求 AI 能够持续做到五件事：

多模态感知 + 专属智脑 + 多模态表达
+ AI 端渲 + 数字与物理行动

这五项不是五个可选模块，而是一条必须同时在线的链路。少一环，交互就会在那一环断裂——比如感知断了，AI 就永远在你说完话之后才开始反应。

核心优势是：持续感知，而不是一次输入。

二、认知二：端到端，不是 ASR + LLM + TTS 的简单拼接

图 1 · 上：传统串行拼接在连续交互中暴露的问题；下：端到端 Continuous Interaction Loop

这里要说清楚一件容易被误解的事：不是说 ASR、LLM、TTS 这些技术不重要。它们都很重要，恰恰因为重要，才需要被正确地连接起来。

传统的拼接方案大致是这样的：

ASR → LLM → TTS → 屏幕 / 机器人

每个模块单独看都能跑，但一旦进入连续的人机交互，问题就暴露了：

• 状态不同步：ASR 还在等下一句，TTS 还在播上一句，感知早就断了
• 响应链路变长：串行结构里任何一环卡住，整体体验就塌
• 表达与用户当前状态脱节：AI 在认真回答一个已经走开的人

真正的端到端，是围绕一次完整的人机交互来设计整个系统，形成一个闭环：

持续感知 → 持续理解 → 持续决策
→ 持续表达与行动 → 持续反馈

Continuous Interaction Loop（持续交互循环）

用大白话说：不是"你问一句，它答一句"，而是 AI 一边和你交流，一边继续听、继续看、继续判断接下来应该怎么回应和行动。

举个具体例子：打断

AI 正在说话，你突然插话——这个场景最能说明问题。

传统链路里，AI 自己扬声器发出的声音可能被麦克风收进去，系统要么把自己当成用户在说话（自问自答），要么因为"正在输出"而直接屏蔽输入（你插嘴它听不见）。

星云的做法是连续完成这一整串动作：

图 2 · Barge-in 打断的完整时序：感知、判断、停止表达、接收新输入

判断真实用户声音 → 去除本体回声 → 区分噪声、咳嗽、Backchannel 与真实插话 → 检测有效打断 → 停止当前表达 → 持续接收用户完整输入 → 进入新一轮交互

这里涉及算法降噪、AEC 抗回声、本体声音抑制、VAD、ASR、远场语音，以及 Double Talk / Barge-in 智能打断。

视觉侧也是同理：不是"摄像头检测到这里有个人"，而是有人走近时，AI 感知到有人进入交互范围，并由此触发主动交互。

三、认知三：一个智能体，可以进入不同的身体

图 3 · 身份、知识、记忆、任务与业务能力持续复用

星云不绑定任何一种硬件形态。同一个智能体，可以存在于：

• Web / PC / 手机 / Pad
• AI 屏幕
• 移动 AI 屏幕
• 人形机器人

身体可以变化，但它的身份、知识、记忆、任务和业务能力可以持续复用。
同一个智能体，可以拥有不同的身体。
智能体持续存在，身体不断升级。

这句话听起来像营销，但它其实描述了一个很实际的工程问题：如果每换一种终端就要重建一遍智能体，那成本根本不可接受。可插拔架构的价值就在这里。

四、魔珐星云到底是什么

图 4 · 五项核心能力由 Real-time Interaction Runtime 统一调度

魔珐星云是一套端到端具身交互智能平台它把 多模态感知 + 专属智脑 + 多模态表达 + AI 端渲 + 数字与物理行动 + Real-time Interaction Runtime 连接成一套完整系统，让 AI 可以通过不同的屏幕和机器人身体进入真实世界，成为能够感知、理解、表达并行动的智能体。

1. 多模态感知：持续知道现场正在发生什么

前面已经详细说过了。核心不是"听见一句话"，而是持续知道现场正在发生什么：有人靠近就触发交互，AI 自己说话时也能听见你的有效插话。

2. 专属智脑：从通用 Chatbot 到"知道自己是谁"

这是整套体系里最重的一块。专属智脑把通用模型进一步变成真正属于企业、品牌、岗位或个人的智能体。它不只解决"这个问题怎么回答"，而是解决三个层面的问题。

第一层：它知道什么

重点不是"把企业资料上传进去"，而是要把分散在不同媒介里的资料，真正转化成 AI 可理解、可检索、可持续使用的知识底座。

全模态数据解析支持 PDF、Word、PPT、图片、音频、表格等不同类型资料。更关键的是，解析过程中会同时保留资料中的层级关系、图文关系、表格关系、说话人信息和上下文。
也就是说，它不是简单把文件"转成文字"，而是尽可能保留原始资料里的结构和语义关系，让后面的检索、问答和知识组织建立在更完整的信息基础上。

知识图谱 + RAG 深度融合不是只在资料里寻找"最相似的一段文字"，而是把文档中的实体、概念和关系组织起来，让 AI 从"找到一段话"升级为"基于关系组织答案"。底层可以结合向量语义、关键词和知识图谱进行召回，面对跨资料、跨知识点的问题时，能把多个相关知识连接起来。

高效知识治理企业知识不是一次建完就不变。专属智脑会围绕知识块、标签、实体、关系、向量索引和来源信息进行持续治理，让资料发生变化之后，相关知识、检索结果和问答结果也能继续保持一致。

💡 大模型的选择也可以灵活配置。如果有自己常用的大模型就用自己的；没有的话，也可以用魔珐自研的智脑。

第二层：它是谁、当前要做什么

专属智脑不只是"知道内容"，还要知道自己代表谁、服务谁、遵循什么规则、当前要完成什么任务。

可配置内容包括：身份、人设、角色、任务、规则、音频、Agent、Workflow、对话流程和工具调用。

这决定了一个智能体：以什么身份与用户互动、面向什么场景提供服务、遵循什么业务规则和表达方式、当前目标是什么、下一步应该调用什么能力继续完成任务。

它不再只是"会回答"，而是开始具备岗位化、场景化、流程化的工作能力。

第三层：它能不能真正进入业务

专属智脑最终不是停留在对话层，而是要能进入企业真实业务流程。

可连接：CRM、ERP、OA、HIS、BI、商品系统、订单系统、客户系统、门店系统、IoT 以及第三方 Agent。

这意味着，AI 不只是生成一个答案，还可以进一步结合业务系统，完成查询、协同、触发和流程推进。

大模型更像解决"我能不能回答这个问题"，专属智脑还要解决"我是谁、我代表谁、我掌握哪些知识、当前任务是什么，以及下一步该调用哪个系统"。

3. 多模态表达：不是 TTS 播放，而是实时生成的具身表达

真实的人际交流，从来不只有一句话。语言之外，还有：声音、语气、情绪、节奏、停顿、眼神、表情、头部动作、手势和身体动作。

所以星云的表达能力并不是简单的 TTS + Lip Sync。系统会依据当前的语言、用户状态、智能体角色、情绪、场景以及当前交互状态，实时生成并驱动：

语音 · 口型 · 情绪表情 · 眼神 · 头部动作 · 手势 · 身体动作

这里有两个重要区别：

• 第一，不是预制播放，而是根据上下文实时生成。
• 第二，表达和感知不是前后两个独立阶段。AI 在表达过程中，感知仍然持续运行，因此当用户插话、状态变化或场景发生变化时，系统可以继续进入新的交互。

人和人聊天时，不是先把一句话说完，再想该配什么眼神和手势。语言、语气、表情和动作本来就是同一次交流的一部分。

核心优势：统一、连续、同步，而不是语音、表情、动作各自播放。

4. AI端渲：把实时交互变成终端基础能力

AI 端渲解决的不是"画面好不好看"，而是一个更底层的工程问题：实时交互能力能不能真正低成本、低延迟、稳定地部署到大量终端。

传统云端渲染需要持续依赖云 GPU，并通过网络把视频流传到终端。星云通过端侧实时渲染，将渲染进一步下沉到终端侧：

维度	价值
成本	降低云 GPU 成本，减少对云端算力的持续依赖
带宽	不再依赖视频流长距离传输，显著降低带宽占用
延迟	就近渲染，让交互链路更短
稳定性	弱网环境下依然可以运行
并发	支持大规模并发，不再直接受云端渲染资源限制
终端要求	支持低成本 AI 终端，对芯片要求更可控，更适合规模化部署

⚠️ 一个 Demo 能跑，不代表一套能力可以大规模落地。如果每一台终端都持续依赖云 GPU 和高清视频流，设备越多，成本、带宽、并发和稳定性的压力就越大。AI 端渲和 Runtime 在星云体系里不是孤立能力，而是关键技术和工程基础设施——它们真正支撑感知、智脑、表达和行动在终端上跑起来。

核心优势：低成本、低延迟、弱网可用、更稳定、更容易规模化。

5. 数字与物理行动：让智能体走进真实场景

真正的智能体进入业务场景，不只是"能回答问题"，还需要把回答表达出来、互动起来，并呈现在真实终端上。

数字行动

常见智能体的输出方式主要还是文字：用户提出问题，智能体生成一段文字答案。

星云进一步给智能体补上了多模态表达层。在屏幕端，智能体不仅能生成内容，还可以通过语音、数字人的语言、口型、表情、手势和身体动作实时完成表达。

也就是说，从"智能体生成了一段答案"，进一步变成"智能体能够以数字人的形式，把答案自然地说出来、演出来、表达出来"。

物理行动

当智能体进入机器人以后，行动进一步延伸到物理世界，包括：转向用户、靠近用户、移动、导航带路、跟随指示、上肢动作、Robot Skill，以及与物理环境的交互。

屏幕和机器人并不是两套不同的智能能力，而是：同一个智能体，通过星云获得多模态表达与行动能力，并根据不同终端形态，在屏幕或机器人上完成现实场景中的交互。

五、可插拔组件有哪些？

回到前面"一个智能体可以进入不同身体"那句话——它能成立，靠的是可插拔架构。

但可插拔并非简单的 API 拼接：感知、认知、表达与执行之间存在紧密的时序依赖与状态关联。星云通过标准化的接口契约与统一的状态管理机制，确保模块替换后，事件流转、会话状态、时间同步与异常处理仍保持一致，端到端交互体验不受影响。

模块	可选组件
ASR	魔珐自研 ASR（Xmov 大模型ASR、Xmov 小模型 ASR）；第三方 ASR（已完成火山引擎、腾讯云语音识别服务的适配接入）
Brain	魔珐自研大脑：内置完整 RAG、FAQ 库、自研大模型及可视化编排引擎，开箱即用； 第三方 LLM：已适配所有遵循 OpenAI 协议的大模型服务； 客户自建大脑：可部署自有模型服务，承载私有知识库、内部 FAQ 或自训练模型； 第三方 LLMOps 平台：无缝对接 Dify、Coze（扣子）等平台，调用其已搭建的工作流或 Agent
TTS	魔珐自研 TTS；第三方 TTS（已完成微软 Azure、字节豆包、MiniMax 的适配接入）。支持多语言与多风格音色
机器人运控	魔珐自研运控（配合星云驱动效果最好）；机器人本体厂商自带运控

Brain 模块支持四类接入模式，正好对应不同客户的核心诉求：数据隐私、技术栈继承、平台化编排。各模块默认内置主流服务供应商协议，也可按项目定制接入新的服务协议。

六、一句话记住魔珐星云

魔珐星云是一套端到端具身交互智能平台，让 AI 通过屏幕和机器人进入真实世界，成为能够感知、理解、表达并行动的智能体。

智能体持续存在，身体不断升级。

七、动手试一试：15 分钟跑通一个具身智能体

上面讲的都是能力。但对开发者来说，最实际的问题只有一个：从零到跑通要多久？

答案是三步，不需要写后端。

STEP 1 · 注册并创建应用

访问 xingyun3d.com 注册（手机号 + 验证码），注册即赠 100 积分。

📌 用邀请码注册：XJ3A7IZZLK
注册时填写邀请码，可额外获得 1000 积分，绑定邀请关系后双方均获额度奖励。

登录后进入 控制台 → 应用管理 → 驱动应用 → 创建新应用，按流程选择形象、场景、音色和表演。创建完成后点击 App 密钥，拿到两个关键信息：

字段	用途
App ID	应用唯一标识（对应 SDK 的 appId）
App Secret	应用密钥（对应 SDK 的 appSecret）

注意妥善保存，Secret 不要提交到公开仓库。

STEP 2 · 无代码预览，先跑通效果

创建应用后可以直接在控制台免代码预览，实时对话验证形象、口型和动作效果。

这一步很关键——先确认效果对不对，再投入写代码。顺便试一件事：在它说话的时候打断它，感受一下全双工打断是不是真的流畅。

STEP 3 · SDK 接入

星云提供 XingyunAvatarAgent 端到端 SDK，在单一对象里把感知 → 大脑 → 表达打通为一条链路。基于 JavaScript，跑在 Web 环境，免发版、跨平台。

环境要求：

• 浏览器 Chrome 94+ / Edge 94+ / Safari 15+ / Firefox 100+
• 支持 WebGL 2.0
• 页面需运行在 HTTPS 或 localhost（麦克风、加密媒体依赖安全上下文）
• 需要一个有明确宽高的 DOM 容器，SDK 会在容器内创建 Canvas

最小可用示例：

const sdk = new XmovAvatar({
  // 数字人渲染容器（CSS 选择器格式）
  containerId: "#sdk",
  // 星云驱动应用凭证
  appId: "your_appid",
  appSecret: "your_appsecret",
  // 数字人资源网关
  gatewayServer: "https://nebula-agent.xingyun3d.com/user/v1/ttsa/session",
  // 消息回调
  onMessage: (message) => {
    console.log("SDK message:", message);
  },
});

HTML 容器记得给宽高，否则 Canvas 渲染不出来：

<div id="sdk" style="width:1280px; height:720px;"></div>

能力	说明
实时渲染驱动	基于 WebGL GPU 加速，驱动面部表情、口型与骨骼动画，口型与语音精准同步
文本对话	大模型推理后实时播报，回复支持流式逐字返回
语音识别	申请麦克风权限做实时识别，识别文本逐条返回，完成后自动进入对话链路
SSML 播报	支持 SSML 文本驱动播报、流式分段发送，适配长文本
客户端打断	即时打断当前播报，无需等待服务端确认，打断后仍可继续交互
断线重连	异常断开自动重连，恢复后无需业务手动重建会话
多状态控制	待机、聆听、交互待机等行为状态可自由切换
Widget 组件	可在智能体画面上叠加字幕、图片、视频等 UI

从用户提问到语音 + 表情 + 动作的完整响应在 1200ms 以内，支持随时打断。

积分怎么花

平台统一用积分计费，实时驱动 SDK 按实际交互时长收费——长时间没人互动时不消耗积分，这点对做产品验证很友好。

能力	积分消耗
实时驱动 SDK · 基础音色版	0.5 积分 / 分钟
实时驱动 SDK · Pro 音色版	2 积分 / 分钟
语音合成 · 基础音色版	0.2 积分 / 分钟
语音合成 · Pro 音色版	1 积分 / 分钟
视频生成 720p	约 140 积分 / 分钟
视频生成 1080p	约 240 积分 / 分钟

以基础音色版实时驱动计算，100 积分 ≈ 200 分钟有效交互时间，足够把完整链路跑通好几轮。

调试阶段默认并发限制为实时驱动 SDK 共计 3 路；有更高并发需求可在控制台联系获取。

常用终端都支持

Web / PC / 手机 / Pad / 商显大屏 / 自助终端 / 会议教学屏 / 车载屏 / 机器人，兼容 Android、iOS、鸿蒙、Windows、Linux，以及国产信创环境（华为昇腾、海光芯片；麒麟、统信UOS；达梦、人大金仓），支持私有化部署，数据不出客户环境。

一套 SDK 覆盖所有平台，不需要为不同设备重复开发。

八、现在就用邀请码开始

魔珐星云是一套端到端具身交互智能平台，让 AI 通过屏幕和机器人进入真实世界，成为能够感知、理解、表达并行动的智能体。

📌 邀请码：XJ3A7IZZLK

点这里注册魔珐星云

注册时填写邀请码，双方均获额度奖励，新用户再赠 1000 积分

三步走完你的第一个具身智能体：注册 → 创建应用拿 AppID/AppSecret → 引入 SDK

参考资料：端到端 SDK XingyunAvatarAgent 及升级指南 · 平台定价与积分规则 · 【品牌-星云素材库】

本文基于魔珐星云官方技术资料整理。具体能力、价格与活动信息以官方文档与平台实际页面为准。