阿里巴巴于近日有了重磅之举 —— 开源全新的 3D 数字人框架 Mnn3dAvatar。这一框架犹如一颗投入平静湖面的巨石,为开发者们带来了强大的实时面部捕捉与 3D 虚拟角色生成工具,凭借其显著的高效性与易用性,极有可能为直播带货、虚拟展示等场景带来翻天覆地的变革。

Mnn3dAvatar 基于阿里巴巴开源的轻量级深度学习推理框架 MNN(Mobile Neural Network)开发而成。与传统的 Live2D 技术不同,它将核心聚焦于 3D 虚拟角色的实时面部捕捉与动画映射。在实际应用中,其能够把用户丰富的面部表情实时、精准地同步到 3D 虚拟角色上,呈现出极为立体、逼真的效果。这一技术突破,让虚拟角色仿佛被赋予了鲜活的生命力,一举一动、一颦一笑都与真实用户高度契合,极大地提升了虚拟角色的真实感与互动性。

更令人惊喜的是,该框架的功能不仅局限于实时面捕。即使开发者没有深厚复杂的建模经验,借助 Mnn3dAvatar,也能够轻松创建高质量的 3D 数字人模型。这一特性为内容创作与商业应用打开了全新的大门,提供了更为广阔的可能性。以往,创建 3D 数字人模型往往需要专业的知识、大量的时间以及高昂的成本,这使得许多有创意的开发者和企业望而却步。而如今,Mnn3dAvatar 的出现,让 3D 数字人模型的创建变得触手可及,无论是小型团队还是个人开发者,都能够凭借它将自己的创意迅速转化为现实。

Mnn3dAvatar 依托 MNN 框架强大性能,具备众多核心优势。在实时面部捕捉方面,通过先进的深度学习算法,它能够如同精密的扫描仪一般,精准无误地捕捉用户面部每一个细微的表情变化,并以极低的延迟将这些表情映射到 3D 虚拟角色上。这种低延迟的特性在直播、虚拟会议等高实时性要求的场景中显得尤为关键,能够确保观众看到的虚拟角色表情与主播或参与者的真实表情几乎同步,不会出现令人尴尬的延迟现象,从而提供流畅、自然的互动体验。

在部署方面,得益于 MNN 框架的深度优化,Mnn3dAvatar 展现出了卓越的轻量级特性。它能够在移动端、PC 端等多种设备上高效运行,无需依赖高端硬件。这意味着,即使是使用普通配置设备的用户,也能够顺畅地使用该框架。对于开发者而言,这大大降低了开发门槛,无需为适配高端硬件而投入大量资金与精力,能够将更多的资源聚焦于内容创新与应用开发上。

从多模态支持的角度来看,Mnn3dAvatar 的功能十分丰富。除了面部捕捉这一核心功能外,它还支持多种任务类型,如文本生成、图像生成等,为开发者提供了极为灵活的开发接口。这使得开发者能够根据不同的应用场景与需求,自由组合、调用这些功能,开发出更具创新性与个性化的应用程序。例如,在直播带货场景中,可以结合文本生成功能,让虚拟主播自动生成产品介绍文案;或者利用图像生成功能,实时展示产品的不同使用场景或外观变化。

作为阿里开源生态的重要一员,Mnn3dAvatar 还提供了丰富的 API 和工具。开发者利用这些资源,可以轻松地将其集成到安卓、iOS 等平台的应用中,进一步拓展了该框架的应用范围与市场潜力。无论是在移动应用、游戏开发,还是虚拟现实、增强现实等领域,Mnn3dAvatar 都能够发挥其独特的优势,为用户带来全新的体验。

根据公开信息,Mnn3dAvatar 已经在阿里巴巴内部的多个场景中得到了充分验证。在淘宝、优酷等应用的直播和短视频功能中,它都有着出色的表现,展现出了在实际商业场景中的稳定性与高效性。在淘宝直播中,虚拟主播借助 Mnn3dAvatar 的实时面捕功能,能够生动地展示商品特点,与观众进行自然互动,吸引了大量用户的关注,提升了直播的效果与转化率。在优酷的短视频创作中,创作者们利用该框架生成的 3D 虚拟角色,为视频增添了更多趣味性与创意元素,获得了用户的广泛喜爱。

Mnn3dAvatar 的发布,为多个行业带来了全新的发展可能性。在直播带货领域,其优势尤为显著。通过实时面捕技术,主播能够化身为 3D 虚拟角色进行直播。这一创新形式不仅为直播增添了趣味性与互动性,让观众眼前一亮,还降低了对真人出镜的依赖。对于一些因各种原因无法频繁出镜的主播,或者希望打造独特直播风格的电商平台来说,这无疑是一个绝佳的解决方案。虚拟主播可以 24 小时不间断直播,不知疲倦地为观众介绍产品,为电商平台打造差异化内容,提升平台的竞争力与影响力。

在虚拟展示与娱乐领域,Mnn3dAvatar 同样大有用武之地。它可用于虚拟偶像的打造,为虚拟偶像赋予更加逼真、生动的形象与表情,让粉丝们能够更深入地感受到虚拟偶像的魅力。在游戏角色动画方面,借助该框架生成的高质量 3D 角色动画,能够极大地提升游戏的沉浸感与视觉效果,为玩家带来更加精彩的游戏体验。在虚拟会议场景中,参会者可以选择以 3D 虚拟角色的形象出现,增加会议的趣味性与新鲜感,同时保护个人隐私。

在教育与培训行业,Mnn3dAvatar 也能够发挥重要作用。教育机构可以利用 3D 数字人创建虚拟讲师,通过生动的表情与动作讲解知识,增强在线课程的互动性与吸引力。对于一些抽象、难以理解的知识点,虚拟讲师可以通过形象的演示,帮助学生更好地理解与掌握。在企业培训中,虚拟培训师可以针对不同的培训内容与场景,进行个性化的演示与指导,提高培训的效果与效率。

值得一提的是,Mnn3dAvatar 的 3D 角色生成功能,极大地降低了内容创作的门槛。无论是中小企业,还是独立开发者,都能够利用这一框架快速构建虚拟角色,并将其应用于品牌营销、虚拟客服等领域。中小企业可以通过创建虚拟品牌代言人,提升品牌形象与知名度;虚拟客服则可以随时为用户提供服务,解答用户的疑问,提升用户体验。

作为阿里巴巴开源战略的重要组成部分,Mnn3dAvatar 的发布进一步丰富了 MNN 生态的功能。自 2019 年开源以来,MNN 框架已广泛应用于淘宝、天猫、钉钉等超过 70 种场景,覆盖直播、短视频、搜索推荐等多个领域。此次 Mnn3dAvatar 的推出,不仅充分展现了阿里在深度学习和数字人技术领域的深厚积累,也为全球开发者提供了一个绝佳的探索 3D 数字人应用的机会。开发者们可以基于这一框架,发挥自己的创意与才华,开发出更多具有创新性与实用价值的应用程序,推动 3D 数字人技术在各个领域的广泛应用与发展。

Mnn3dAvatar 的开源,为开发者提供了低成本、高效率的解决方案,有望加速数字人技术在商业化场景中的普及。无论是直播带货的创新模式,还是虚拟偶像的打造,亦或是教育、培训等领域的应用,Mnn3dAvatar 都为内容创作者和企业提供了强大的技术支持。随着这一框架的不断推广与应用,我们有理由相信,它将在未来的数字经济发展中扮演重要角色,为各个行业带来更多的创新与变革。

AIbase 认为,Mnn3dAvatar 的发布不仅是阿里开源生态的一次重要扩展,也标志着 3D 数字人技术迈向更加普惠和多样化的新阶段。它将如同星星之火,点燃 3D 数字人技术在各个领域应用的燎原之势,为我们的生活与工作带来更多的惊喜与可能。让我们共同期待 Mnn3dAvatar 在未来能够创造出更多的精彩,推动数字人技术不断向前发展,开启一个全新的数字时代。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐