最近，魔珐星云端到端具身交互智能正式上线。

AI 正在从对话框里走出来，进入屏幕、机器人，也进入门店、展厅、医院、政务大厅这些真实空间。当 AI 不再只是“回答问题”，而是要在现场和人持续交流、表达、行动，原来那套“问一句、答一句”的方式就不够用了。

魔珐星云是一套端到端具身交互智能平台，让 AI 通过屏幕和机器人进入真实世界，成为能够感知、理解、表达并行动的智能体。

---

AI 有了身体之后，难点才真正开始

很多人会觉得，具身交互智能就是“给 AI 接一个身体”，把大模型的回答搬到屏幕上或者机器人上。

但真实的人机交互不是这样的。用户会走近、会停顿、会插话，表情、语气、动作都在变。AI 不能只在用户说完一句话之后才开始工作，它需要持续完成：

多模态感知 + 专属智脑 + 多模态表达 + AI 端渲 + 数字与物理行动

这五项能力连在一起，才构成星云所说的端到端具身交互智能。

更重要的是，端到端不是简单拼接。它不是把 ASR、LLM、TTS 几个模块串起来就结束了，而是围绕一次完整的人机交互来设计系统：持续感知、持续理解、持续决策、持续表达与行动、持续反馈。

说直白一点：不是“你问一句，它答一句”，而是 AI 一边和你交流，一边继续听、继续看、继续判断接下来该怎么回应和行动。

ASR、LLM、TTS 这些单项技术都很重要，但真正进入连续的人机交互，需要把它们围绕完整用户交互连接起来。

---

星云到底做了什么？

魔珐星云把这几件事连成了一套完整系统：

多模态感知 + 专属智脑 + 多模态表达 + AI 端渲 + 数字与物理行动 + Real-time Interaction Runtime

具体来说：

• 多模态感知：不是只听一句话，而是持续知道现场正在发生什么。有人走近时，能判断其进入交互范围并触发主动交互；AI 自己说话时用户插话，也能识别有效打断。
• 专属智脑：不是通用 Chatbot，而是让智能体知道“我是谁、知道什么、应该做什么”。
• 多模态表达：不是 TTS 播放，而是语音、口型、表情、眼神、手势、身体动作统一、连续、同步地表达。
• AI 端渲：让实时表达以更低成本、更低延迟运行在终端，弱网也能用，更容易规模化。
• 数字与物理行动：让智能体从“文字回复”走向屏幕端和机器人端的真实互动。

这五项能力不是孤立功能，而是支撑一个智能体在真实场景里持续交互的基础。

---

专属智脑，是星云很关键的一层

通用大模型解决的是“这个问题怎么回答”，而星云的专属智脑还要进一步解决三个层面的问题。

第一，它知道什么。 把企业分散在 PDF、Word、PPT、图片、音频、表格里的资料，转化成 AI 可理解、可检索、可持续使用的知识底座，并通过知识图谱 + RAG 融合、知识治理，让答案不是只命中一段文字，而是能基于关系组织起来。

第二，它是谁、当前要做什么。 它可以配置身份、人设、角色、任务、规则、音频、Agent、Workflow、对话流程和工具调用。也就是说，它不只会回答，还开始具备岗位化、场景化、流程化的工作能力。

第三，它能不能真正进入业务。 专属智脑可以连接 CRM、ERP、OA、HIS、BI、商品系统、订单系统、客户系统、门店系统、IoT 以及第三方 Agent，让 AI 不只是生成答案，还能查询、协同、触发和推进流程。

一句话：大模型更像解决“我能不能回答”，专属智脑还要解决“我是谁、我代表谁、我掌握哪些知识、当前任务是什么、下一步该调用哪个系统”。

---

可插拔组件：换模块，体验不能掉

星云的另一大特点是可插拔。

ASR 可以用魔珐自研的，也可以接入火山引擎、腾讯云；Brain 可以用魔珐自研大脑，也可以接第三方 LLM、客户自建大脑，或者对接 Dify、Coze 等 LLMOps 平台；TTS 支持魔珐自研以及微软 Azure、字节豆包、MiniMax 等；机器人运控可以用魔珐自研运控，也可以切换为机器人本体厂商自带的运控。

但可插拔并不是简单的 API 拼接。感知、认知、表达与执行之间有紧密的时序依赖和状态关联，星云通过标准化接口契约与统一状态管理，保证模块替换后，事件流转、会话状态、时间同步和异常处理仍然一致，端到端交互体验不受影响。

对客户来说，这意味着可以根据数据隐私、技术栈继承或平台化编排需求灵活选择，而不是被一套方案绑死。

---

一个智能体，可以进入不同的身体

星云不绑定某一种硬件。同一个智能体，可以存在于 Web、PC、手机、Pad、AI 屏幕、移动 AI 屏幕、人形机器人。

身体可以变化，但它的身份、知识、记忆、任务和业务能力可以持续复用。随着身体变化，它可以逐步获得更多感知、表达、移动、空间和行动能力。换句话说，智能体持续存在，身体不断升级。这也是星云强调“具身交互智能体”的原因——重点在可迁移的智能体，而不是某一种固定呈现形态。

星云可以承载的场景也很直接：接待、讲解、导览、导办、咨询等。屏幕和机器人不是两套不同的智能能力，而是同一个智能体在不同身体里的延续。

---

上手实操：最少代码跑通，再接入自己的项目

先注册魔珐星云并拿到体验积分：注册地址：https://xingyun3d.com/login-register

注册时填写邀请码 【XDXAC7K2XC】，会直接赠送 1000 积分，完全足够支撑你上手尝试。不填写的话只有100积分

拿到积分后，在控制台创建一个驱动应用，获取 App ID 和 App Secret。

下面只需要进行“引入 SDK、创建实例、初始化、调用核心方法”这条最小闭环，先在本地跑通，确认环境和凭证都没问题。跑通之后，再把它作为一个模块接入你现有的项目里，替换容器和业务逻辑即可。

第一步，引入 SDK。

<script src="https://media.xingyun3d.com/xingyun3d/general/litesdk/xmovAvatar_e2e@latest.js"></script>

第二步，创建实例并初始化。

const agent = new window.XingyunAvatarAgent({
  container: document.getElementById("agent-avatar"),
  appId: "你的 App ID",
  appSecret: "你的 App Secret",
  gatewayServer: "https://nebula-agent.xingyun3d.com/user/v1/ttsa_v2/session",
});

await agent.init({});

第三步，调用核心方法。 初始化完成后，最常用的就是四个：

方法	作用
agent.ask(text)	文本对话
agent.startASR()	开启语音识别
agent.interrupt()	打断当前表达
agent.destroy()	销毁实例，清理资源

最小可运行示例可以直接复制下面这段，替换 appId 和 appSecret 即可：

<!DOCTYPE html>
<html lang="zh-CN">
<head>
  <meta charset="UTF-8" />
  <style>
    #agent-avatar { width: 360px; height: 640px; margin: 0 auto; background: #000; }
  </style>
</head>
<body>
  <div id="agent-avatar"></div>
  <div style="text-align:center; margin-top:12px;">
    <button onclick="agent.ask('你好，介绍一下你自己')">发文本</button>
    <button onclick="agent.startASR()">开始语音</button>
    <button onclick="agent.interrupt()">打断</button>
  </div>

  <script src="https://media.xingyun3d.com/xingyun3d/general/litesdk/xmovAvatar_e2e@latest.js"></script>
  <script>
    const agent = new window.XingyunAvatarAgent({
      container: document.getElementById("agent-avatar"),
      appId: "替换为你的 App ID",
      appSecret: "替换为你的 App Secret",
      gatewayServer: "https://nebula-agent.xingyun3d.com/user/v1/ttsa_v2/session",
    });

    agent.init({}).then(() => console.log("智能体已就绪"));

    window.addEventListener("beforeunload", () => agent.destroy());
  </script>
</body>
</html>

这段代码跑通，说明账号、凭证、容器和网络环境都没问题。接下来接入自己的项目时，通常只需要做两件事：

1. 把 container 换成你页面里实际的容器；
2. 把按钮点击换成你自己的业务触发逻辑，比如用户提交问题后调 agent.ask()，或者页面进入待机状态时调 agent.startASR()。

跑通之后，你的产品可以往前走一步

很多产品现在的 AI 交互，还停留在“输入框 + 文字回答”。用户问一句，界面回一段文字，体验和几年前没什么本质区别。

而接入星云之后，你能做到的是：用户开口说话，屏幕上或机器人里的智能体听得见、看得见，能带着语气、表情和动作把回答表达出来，用户插话它也能停下来继续听。

这不是给产品加了一个小功能，而是把交互形态从“对话框”升级成“具身交互”。对做展厅、门店、政务大厅、医院导览、接待讲解类产品的团队来说，这种差别会直接体现在用户的第一反应上——从“这个屏幕能查东西”，变成“这个屏幕在跟我说话”。

接入 SDK 的完整说明可以参考：官方接入文档

魔珐星云是一套端到端具身交互智能平台，让 AI 通过屏幕和机器人进入真实世界，成为能够感知、理解、表达并行动的智能体。

当 AI 从对话框进入屏幕、机器人和真实空间，真正需要解决的已经不只是“会不会回答”，而是能不能持续感知、理解、表达并行动。如果你正在关注 AI 屏幕、机器人交互、智能体落地，或者想让 AI 真正走进业务现场，可以了解一下魔珐星云。