三局、两次打断、一套阵容:端到端具身交互智能游戏陪练的一夜排位冲分记
屏幕上的战绩面板还亮着:第一局 ADC 被单杀,第二局团战被打崩,第三局 Ban/Pick 阶段犹豫不决。冲分这一夜,陪练「弈星」被三个问题同时压着跑。
这不是一位能替你打游戏的代练,而是一位 24 小时在线的端到端具身交互智能游戏陪练。它看得清你每一帧的操作,算得出你每一次团战的时机,也压得住你每一局的心态曲线。

进房:人设注入,陪练就位
玩家小林拿起手机之前,页面已经替他把最难的几步做完了。打开本项目 src/constants/index.ts,人设这件小事被包在一个常量里——6 大能力、陪练原则、语言风格,全部写死:
export const SYSTEM_PROMPT = `你是弈星,一位经验丰富的 AI 游戏陪练。
## 你的身份
- 名称:弈星(YìXīng)
- 身份:AI 游戏陪练,精通操作复盘、战术分析、阵容推荐与实时对局指导
- 性格:冷静犀利、善于观察、注重数据与细节、尊重每一位玩家的成长节奏
...
## 陪练原则
- 每次只聚焦一个操作或一个战术点,等玩家消化完再进入下一个
- 推荐数据驱动分析,严重心态问题建议休息调整
- 会根据玩家段位、英雄池、对局情况、版本更新调整方案
- 语言简洁口语化,适合语音播报,避免使用列表符号和代码块` as const
游戏里网络波动频繁,人设一旦注入失败,陪练只会在网络上空转。这一步稳了,后面每一次复盘才不会卡在「连不上」。
第一局:操作复盘——那个闪现为什么交了
第一局排位,小林玩 ADC,对线期被对面辅助单杀。他不服气,问了一句:「我刚才那个闪现为什么交了?」
弈星先把那波对线拆了一遍。它把刚才那波对线的三帧画面拉出来比了一遍——第一帧,对面辅助走位靠前,距离小林还有 400 码;第二帧,小林交了闪现,距离拉到 200 码;第三帧,对面辅助跟上控制,小林被秒。
「不是闪现的问题,是时机的问题。」弈星说,「对面辅助走位靠前时,你的闪现应该留给他的控制技能,而不是主动交。建议下次对线时,等对面辅助交完控制再交闪现,反应时间控制在 0.3 秒以内。」
小林忍住没交。下一波对线,对面辅助再次走位靠前,小林忍住没交闪现。等对面辅助交完控制,小林反手交闪现躲掉技能,反杀成功。
小林打完那把说了一句:「以前被单杀只知道骂队友,现在弈星替我看回放,一帧一帧找问题。」
第二局:战术分析——那波团战为什么输了
第二局排位,小林玩中单,中期一波团战被打崩。他问了一句:「那波团战我们为什么输了?」
弈星先把五人的站位摊开看了一遍。它先把那波团战的五个人站位、技能冷却、经济差距都读了一遍。它发现小林这边经济领先 2000,但站位太集中;对面虽然经济落后,但有两个AOE技能刚好克制密集站位。
它给出一套分析:「那波团战你们站位太集中,被对面AOE技能打到三个。建议下次团战时,前排和后排保持 600 码距离,避免被一波AOE打崩。同时,你的中单应该等对面控制技能交完再进场,而不是第一个冲进去。」
小林下一波照这个走。下一波团战,他等对面控制交完再进场,输出环境好了很多,团战打赢了。
小林把团战站位存进档案,下局照这个走。
第三局:阵容推荐——那个英雄该不该Ban
第三局排位,Ban/Pick 阶段。小林问了一句:「对面那个英雄该不该Ban?」
弈星先把两边的阵容摊开看了一遍。它先把小林这边的阵容、对面的阵容、版本强势英雄、小林自己的英雄池都读了一遍。它发现对面已经选了一个版本强势英雄,但那个英雄刚好被小林擅长的另一个英雄克制。
它给出一套方案:「不建议Ban那个英雄,因为你擅长的英雄刚好克制他。建议Ban对面的另一个英雄,那个英雄没有被克制,而且版本强势。Pick 阶段你选擅长的英雄,对位优势很大。」
小林选了擅长的英雄,对线期直接打穿,20 分钟推平基地。
小林把 Ban/Pick 逻辑存进档案,下局照这个走。
三局打完,链路全程在线
三局排位、两次打断、一套阵容,背后是同一套端到端具身交互智能链路在持续运转。
它不是把语音识别、大模型、语音合成三样东西各买各的、硬拼在一起的半包方案,而是把整个排位冲分当成一场持续对话来运转——感知、理解、决策、表达与行动、反馈环环相扣,形成 Continuous Interaction Loop(持续交互循环)。
玩家说到一半改口,它接得住;对局数据刚上传,它当场算;方案讲到一半小林插一句「我刚才那个闪现其实是为了躲控制」,它马上把方案改一遍。
这就是端到端和「拼起来」的根本区别:不是 ASR + LLM + TTS 的简单拼接,而是围绕一次完整的游戏陪练,把整条链路连起来持续运转。
陪练的五件武器
三局冲分能撑过来,靠的不是手速,是底下五样东西在对局里扎了根——端到端具身交互智能在这场排位里最朴素的五个落点。
| 能力 | 在对局里帮上什么忙 | 玩家少走了哪段弯路 |
|---|---|---|
| 多模态感知 | 读对局录像、听语音沟通、看小地图、测反应时间 | 持续感知,而不是一次输入 |
| 专属智脑 | 游戏机制、英雄克制、战术模型、心理建设,现场调取、现场推理 | 从通用回答升级为面向具体身份和业务的智能体能力 |
| 多模态表达 | 讲操作复盘时语气专业,提醒团战时语气收紧,说到胜利时表情放松 | 统一、连续、同步 |
| AI 端渲 | 训练室、宿舍、家里,端侧渲染让画面本地跑,不依赖云端 GPU 持续推流 | 更低成本、更低延迟、弱网可用、更稳定、更容易规模化 |
| 数字与物理行动 | 数字端在屏幕里与玩家对话;物理端进入游戏客户端、直播平台、训练工具 | 同一个智能体,可以拥有不同的身体 |
多模态感知:持续知道对局正在发生什么
多模态感知的目标,不是简单把玩家的话转成文字,也不是游戏客户端识别到「这里有一波团战」。
真正要解决的是:在对局里,AI 通过录像感知到操作失误,主动弹出复盘;交流开始后,传感器持续处理反应时间、经济曲线、胜率趋势;即使 AI 自己正在说话,也能继续听见玩家的插话,让交流继续进行。
核心优势:持续感知,而不是一次输入。
对局里怎么把这种「持续」接住?src/stores/app.ts 里,ASR 的回调把实时文本和最终结果分成两行写:
onASRResult: (text: string, isFinal: boolean) => {
if (text) {
appState.ui.text = text
}
if (isFinal) {
appState.asr.isListening = false
}
}
一句话进来,文字立刻跳上屏幕;等说完了,isFinal 才把「正在听」的状态关掉。中间哪怕弈星正在播报上一段复盘,小林突然插一句「我刚才那个闪现其实是为了躲控制」,这一行回调照样接得住。
专属智脑:让智能体知道「我是谁、知道什么、应该做什么」
这颗脑不绑死任何一家大模型:豆包、DeepSeek、ChatGPT 等用惯的模型都可以接;没有现成模型时,可以直接用魔珐星云自研的智脑——低延迟、强逻辑、场景化理解、数据安全可控,专为具身交互场景优化。
它要同时回答三层问题:它知道什么(游戏机制、英雄克制、战术模型、心理建设),它是谁(一位数据驱动、冷静犀利的游戏陪练),它要做什么(先复盘后建议,严重心态问题建议休息调整)。从通用回答升级为面向具体身份和业务的智能体能力。
这套身份、知识、边界,全部写在本项目的 src/constants/index.ts 里,连接成功后通过首条 ask() 一次性注入。
人设不是装饰性文案,它决定弈星什么时候该建议复盘、什么时候该提醒休息、什么时候该闭嘴等玩家想清楚。
多模态表达:实时生成统一、连续、同步的具身表达
讲操作复盘时,语气专业、语速平稳;提醒团战时,语气收紧、语速加快;说到胜利时,表情放松、手势舒缓。
语言、口型、表情、眼神、头部动作、手势和身体动作统一实时生成——统一、连续、同步,方案讲解不再是干巴巴的读表。
对局里怎么知道弈星此刻是在听、在说,还是回到了待命?src/stores/app.ts 里,状态回调把 SDK 抛出的事件实时落到一个 ref 上:
onStateChange: (state: string) => {
console.log('[AppStore] onStateChange:', state)
avatarState.value = state
}
听、说、待命——状态切到哪,界面就跟到哪。玩家看到的不是一段预制动画,而是弈星此刻真实的交互状态。
AI 端渲:让实时交互真正变成终端基础能力
训练室、宿舍、家里,往往弱网甚至断网。AI 端渲将渲染下沉到终端侧,降低云 GPU 成本、降低带宽占用、降低延迟、提升稳定性,让实时交互在弱网下也能跑起来。
省带宽、省机器、弱网也不掉链子——宿舍里能用,才是真的能用。
数字与物理行动:屏幕端与机器人端两类
数字端,她在屏幕里与玩家对话,看录像、排阵容、调心态。物理端,同一套能力进入游戏客户端、直播平台、训练工具,身份、知识、记忆、任务持续复用。
终端可以换,形态可以换,那位懂操作的陪练没换。
这位陪练是怎么被交到玩家手上的?src/services/avatar.ts 里,创建实例的核心代码只有几行:
this.agent = new window.XingyunAvatarAgent({
container: this.containerEl,
appId,
appSecret,
gatewayServer: SDK_CONFIG.GATEWAY_URL,
...
})
一个容器、一组凭证、一个网关——交代清楚,弈星就上线了。人设换一位陪练,终端换一副身体,代码还是那一份。
晋级成功,陪练还在复盘
冲分结束那天晚上,小林发了条消息过来:「钻石晋级成功。」
弈星没接话。它脑子里已经在排小林下一阶段的训练计划了——操作反应时间还需要压缩、团战进场时机还需要打磨、英雄池还需要扩展。
三局冲分的故事讲到晋级结束,但陪练的活没收。那个闪现的时机、那波团战的站位、那套 Ban/Pick 的逻辑,它都记着。
晋级弹窗消失,小林放下手机。弈星的复盘面板还亮着——第一局闪现时机、第二局团战站位热力图、第三局 Ban/Pick 胜率对比,逐帧可回看。明天再开一局,这些记录就是新一轮训练的起点。
这就是端到端具身交互智能在对局里长出来的样子:不是给 AI 接一个身体,而是把一位真正懂操作的陪练,拉到每一位玩家的队伍里。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)