Viggle-Animate:视频角色替换神器,一帧重绘就能精准替换视频角色,动作跟得牢、速度还超快

Viggle-Animate 是一个由 Viggle 团队推出的视频角色替换模型,基于 MiniMax-H3 进行全量微调并蒸馏优化。它把“角色替换”这件事简化到了“画一帧 → 自动生成整段视频”的程度,尤其在动作准确性和速度上表现突出,是目前视频角色替换领域比较实用且高效的工具之一。
你只需要两样东西:一段原始视频(驱动视频)、从这段视频里抽出一帧,用图像编辑工具把里面的角色“画”成你想要的样子(比如换成另一个人、动物、机器人、飞机等),模型就会自动把整段视频里的角色都替换成你画的那个新角色,同时完整保留原来的动作、镜头运动和时序。整个过程不需要姿态估计、分割、人脸跟踪或文字提示词,非常直接。
主要特点
超级简单的输入:只靠“原视频 + 一帧重绘参考图”,不依赖复杂的中间表征。
动作跟踪很强:特别擅长处理快速、剧烈的动作(甩头、踢腿、跳跃等),能一帧一帧准确跟上,不容易出现模糊或错位。
速度快:在单张高端 GPU 上,生成约 5 秒视频(124 帧)只需约 26 秒,只需 3 次前向传播,比同类模型快好几倍。
不局限于人类:因为没有假设角色必须是人,理论上只要你能在那一帧里画出来,它就能尝试动画化(动物、机器人、飞机、粘土风格等都可以尝试)。
应用领域
影视/短视频特效:快速把演员换成另一个角色,或做角色替换特效。
内容创作与二创:把现有视频里的人物换成自己想要的形象(二次元、虚拟角色等)。
虚拟角色与动画:让非人类角色(动物、机器人、幻想生物)在真实视频动作中“活”起来。
广告与营销:快速生成定制角色视频。
研究与实验:作为“从单帧编辑传播到整段视频”的高效方案。
使用教程:(建议N卡,显存8G+运存32G起,支持50系显卡)
整合包包含所需所有节点,下载主程序和模型(ComfyUI文件夹),解压主程序一键包,将ComfyUI文件夹移动到主程序目录下即可。
WebUI模式:
双击启动跳转,进入WebUI后,上传参考图和驱动视频,设置相关参数(百万像素比和帧数),运行生成即可。
支持批量,分别批量上传参考图和驱动视频(按上传顺序对应),设置参数,提交批量即可(批量建议显存12G起)
ComfyUI模式:
双击启动ComfyUI,进入页面后,点击左侧的 工作流程,选择对应的工作流
上传参考图和驱动视频,设置相关参数,运行生成即可。
关于重绘参考图:和同类角色动画生成软件不同,Viggle-Animate的参考图需要把你的角色重绘到驱动视频的某一帧上(相同背景、接近的姿态和站姿),再用它作为参考图。
这里说下参考图生成方法:
从原视频抽出一帧清晰的画面,再用 AI 图像编辑工具(比如论坛发布的Krea2或其他图像编辑软件)把角色“换掉”,同时严格保持原姿态、光影、背景和构图不变。
软件目录结构:
📂 deepface/
📂 ComfyUI/
├── 📂 models/
│ ├── 📂 diffusion_models/
│ │ └── minimax_h3_ref2va_viggle_pruned_int8_convrot.safetensors
│ ├── 📂 loras/
│ │ └── viggle_animate_dmd_lora_r64.safetensors
│ ├── 📂 text_cond/
│ │ └── fixed_embed_fwd_anyframe.safetensors
│ └── 📂 vae/
│ └── minimax_h3_video_vae_
下载地址:点此下载
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)