大模型技术普及到今天,AI应用的交互形态反而显得有点缺少“人情味”。大部分AI产品停留在文本对话框或单向语音播报,没有形象、没有表情、没有肢体表达,冷冰冰的界面很难传递温度和信任感。展厅讲解、情感陪伴、教育科普、文旅导览、人形机器人陪伴这些场景,要的是一个能说话、有表情、会动作、能实时回应的“人”,一个只会打字的对话框远远不够。

这正是具身交互智能要解决的问题,也是AI表达从“文本”走向“3D多模态”的方向:让智能体不仅会说话,而且有形象、会表达、能行动。魔珐科技一直致力于这个方向的研发,在2026上海开源软件应用创新大赛提出了一道开放命题,邀请开发者基于它的具身交互智能平台,做“让AI活起来”的应用。

魔珐科技:给AI补齐“拟人化表达” 的底座

魔珐科技是全球领先的具身交互智能AI科技企业,以自研LAM文生3D多模态大模型为内核,打造魔珐星云全域具身交互智能开放平台。

魔珐星云是面向全终端的具身交互智能底层基础设施,依托自研参数流与AI端渲技术,实现端到端500ms超低延迟,支持千万级并发,可在百元级硬件芯片上轻量化部署。一套SDK同步适配大屏终端、人形机器人、AR/VR眼镜等设备,为企业、硬件厂商与开发者补齐Agent缺失的拟人化表达交互能力。

为什么需要这样的底座?

靠传统手段做具身交互,搭建成本高昂,成果大多是文本和虚拟形象的简单拼接;不同设备展示效果参差,语音、表情、动作时序错位脱节。魔珐星云把3D数字人的渲染、驱动、表达能力做成开箱即用的 SDK,正是为了解决这个问题。

用SDK做有 “活人感”的智能体

魔珐科技作为命题单位,在2026上海开源软件应用创新大赛的「开源AI工具赛道」提出命题《让AI「活」起来:基于魔珐星云具身交互智能的创新应用》。

参赛者基于魔珐星云具身交互智能体SDK(XmovAvatar),开发一套具身交互智能体应用。SDK基于WebGL实现GPU加速的实时3D数字人渲染与驱动,支持语音合成、口型同步、情绪表情、关键动作、行走动画等能力,提供Web与Android多端接入。

参赛者在魔珐星云官网注册,可获免费积分用于开发。应用场景不做限定,鼓励围绕“人格化的AI交互”提出原创构想,并在三个自由度中自主组合。

表达层,让智能体成为有温度的多模态呈现界面。可选纵深包括TTS/SSML语音播报、流式分段播报、字幕、形象与音色配置。

交互层,让智能体成为可双向沟通的对话载体。可选纵深包括接入任意大模型、RAG知识问答、多轮对话、情绪匹配、聆听与打断。

行动层,让智能体成为可以执行任务的Agent载体。可选纵深包括工具调用(Function Calling/MCP)、行走与动作编排、多模态Widget实时呈现执行结果。

作品至少要覆盖表达层,再灵活组合其他自由度。命题给了四类参考方向:知识服务型,把任何知识库化身成双向沟通的智能体,比如展厅导览、健康科普、政务咨询;效率助手型,人格化的业务

Copilot,比如智能客服、员工培训、学习辅导;普惠无障碍型,跨越语言、年龄与感官障碍的沟通,比如多语言翻译、适老化陪伴、听障字幕;前沿探索型,与Agent工作流、物联网设备、物理空间结合的创新形态。

一个核心加分项值得注意:命题要求论证该业务场景下,具身交互智能对比纯文本、纯语音方案的不可替代价值,解释为什么这个场景需要多模态双向交互,只用对话框很难完成。这道题考验的除了技术实现,还有对"数字人到底该用在哪"的产品判断。

交付与评审

交付要求四部分:

  • 项目说明,阐述技术架构、创新点与价值;
  • 开源代码,提交仓库地址并附带标准开源许可证;
  • 构建部署方法,确保评审方能在标准环境(建议DockerCompose)中直接运行验证;
  • 演示视频,提供真实环境下的完整录屏,演示从对话发起、能力调用到结果呈现的端到端流程。

评审分四个维度:

  • 场景创意与价值占 35%,权重最高,看需求是否真实、不可替代性论证是否成立、创意是否新颖、有无社会与商业价值;
  • 产品完成度与可用性占 25%,看端到端流程、容错与部署;
  • 智能交互深度占 25%,看大模型接入、记忆与个性化、具身状态与对话结合、能否延伸到行动层;
  • 开源规范占 15% ,看协议合规、代码质量、文档与工程规范。

谁适合投这道题

做过前端或WebGL开发的,能快速上手3D数字人渲染;做过大模型应用或智能体的,能把交互层和行动层做深;有产品sense的,能抓住“为什么非数字人不可”这个加分项。不同技术背景的团队都能找到切入点。

参赛报名截止10月11日,总决赛10月24日在上海举办。获奖项目可获得现金、算力与Token、大模型API等资源奖励,还有机会入选上海市开源项目培优工程,欢迎全国的开源技术爱好者报名参赛:

OSCHINA - 开源中国技术社区 · 让AI触手可及

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐