一、FramePack介绍

起飞啊我靠,今天看到这个项目我裂开了,太强了,开源视频界扳回一局,还得是敏神啊,ComfyUI永远的神(Controlent、icLight都是敏神的项目),今天发布了最新的开源视频项目 FramePack

FramePack 是一个渐进式生成视频的下一帧(下一帧部分)预测神经网络结构。

FramePack 将输入上下文压缩为恒定长度,以便生成工作量不受视频长度的影响。

即使在笔记本电脑 GPU 上,FramePack 也可以使用 13B 模型处理大量帧。

FramePack 可以使用更大的批量大小进行训练,类似于图像扩散训练的批量大小。

视频扩散,但感觉像图像扩散。

二、 ComyUI插件安装

KJ大佬也已经连夜开发了,我深夜写的文章,插件已经有了

插件地址:https://github.com/kijai/ComfyUI-FramePackWrapper

用git clone的方式去安装。

模型的话,核心就1个模型

模型下载地址:https://huggingface.co/lllyasviel/FramePackI2V_HY/tree/main

  • FramePackI2V_HY
    存放路径:\models\diffusers\lllyasviel

图生视频工作流:

效果:

framepack图生视频

整合包自取:

  来自b站的程序员萝卜:已经测试可以使用,速度5秒视频十分钟生成。(配置4060 8G)

夸克盘 https://pan.quark.cn/s/41145126f071 提取码:wcR8 百度盘 https://pan.baidu.com/s/1Row6ckzIbY44Q9kD-4Yc-A?pwd=pub2 提取码: pub2 天翼盘 https://cloud.189.cn/t/3YraEbm6jAJr(访问码:xwx2)

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐