摘要:2025年8月底,ComfyUI社区已有多种支持Qwen-Image模型的ControlNet实现方式:①DiffSynth-Studio的Qwen-Image-DiffSynth-ControlNets(模型修正包,支持canny等3种控制,装于model_patches);②同团队的Qwen_image_union_diffsynth_lora(多效果控制LoRA,放loras文件夹);③InstantX团队的QWen-Image Controlnet(多合一模型,支持4种控制,装于controlnet文件夹)。均需对应预处理,模型可文末网盘下载。

    虽然通义千问qwen-image模型2025年8月初才公布开源,但目前(25年8月底),comfyUI开源社区中已经有数个支持qwen-image模型实现controlnet的方式,本节就几个主流的实现方式进行测试与说明,分别包括:

①由DiffSynth-Studio开源的Qwen-Image-DiffSynth-ControlNets模型

②由DiffSynth-Studio开源的Qwen_image_union_diffsynth_lora模型

InstantX团队发布的QWen-Image Controlnet模型

注:本节内容所涉及的模型均在文末网盘链接下载。

1 Qwen-Image-DiffSynth-ControlNets模型

    Qwen-Image-DiffSynth-ControlNets由DiffSynth-Studio开源,这个模型实际上并不是一个 controlnet,而是 Model patch(模型修正包), 目前共有三个patch模型,分别支持 canny、depth、inpaint 三种不同的控制模式。

控制模式

结构图

生成图1

depth

canny

inpaint

1.1 模型下载

下载地址:

https://huggingface.co/Comfy-Org/Qwen-Image-DiffSynth-ControlNets/tree/main/split_files/model_patches

模型安装位置:../ComfyUI/models/model_patches

其它配套模型与Qwen-Image基础工作流一致,无需重新下载。

1.2 工作流

与其他大模型的ControlNet 相关工作流类似,用于控制的图片需要先进行对应预处理才可以被模型使用和识别。Qwen-Image-DiffSynth-ControlNets模型的工作流也需要对输入的图像进行预处理才可以被识别。

注意:将comfyui内核更新至最新版本。

comfy-org官方示例工作流如下:

“缩放图像”节点主要目的是限制图像尺寸,避免图像输入尺寸过大导致出图问题。

较Qwen image原始工作流,增加了“ModelPatchLoader”节点用于加载Qwen-Image-DiffSynth-ControlNets模型。

另增加了图像预处理相关节点,及“QwenImageDiffsynthControlnet”节点接收预处理图像。

我对工作流按照使用习惯重新整理,整理后工作流如下:

1.2.1 canny

加载qwen_image_canny_diffsynth_controlnet模型;

使用canny预处理器获取canny预处理图。

1.2.2 depth

Detph: 预处理后的深度图,体现空间关系

加载qwen_image_depth_diffsynth_controlnet模型

需要将图像预处理成 detph 深度图,使用depthanything预处理器替换canny预处理器,获取参考图像的深度预处理图像。

1.2.3 Inpaint

加载qwen_image_inpaint_diffsynth_controlnet模型

对于 Inpaint 模型,它需要增加一个遮罩图像作为输入控制条件。

案例中我们使用最基础的“在遮罩编辑器中打开”手动添加遮罩方式绘制遮罩,并将遮罩输出端接入 到QwenImageDiffsynthControlnet 的 mask 输入即可。

该模型无需再对图像进行预处理,无需加载相关图像预处理节点。

完整工作流示例如下:

2 Qwen Image union ControlNet LoRA

Qwen Image union ControlNet LoRA也是由DiffSynth-Studio开源,这是一个图像结构控制lora,同时 支持 canny、depth、post、lineart、softedge、normal、openpose几个controlnet效果功能。

控制条件

控制图像

生成图1

生成图2

canny

depth

lineart

softedge

normal

openpose

2.1 模型下载

下载地址:

https://huggingface.co/Comfy-Org/Qwen-Image-DiffSynth-ControlNets/tree/main/split_files/loras

模型放置位置:../ComfyUI/models/loras/

2.2 工作流

comfy org官方工作流示例如下:

该工作流也需要遵循controlnet的逻辑,需要输入图像并进行预处理。由于Qwen Image union ControlNet LoRA可以同时支持 canny、depth、post、lineart、softedge、normal、openpose几个controlnet效果功能,为使用方便,我们可以将工作流中的预处理器更换为Aux的集成预处理器,并重新对工作流进行整理,获得工作流如下:

3 Qwen Image InstantX ControlNet

QWen-Image Controlnet模型是来自InstantX团队的最新controlnet,这款模型是一款多合一功能的ControlNet模型,目前一共支持4种控制类型:canny线稿、soft edge软边缘、depth深度、openpose姿势。

3.1 模型下载

模型发布页:

https://huggingface.co/InstantX/Qwen-Image-ControlNet-Union

文件安装位置:../ComfyUI/models/controlnet/

3.2 工作流

comfy org官方示例工作流如下:

    我们对该工作流进行梳理,可以获取如下工作流。可以看到,Qwen Image InstantX ControlNet模型的应用与1.5/XL等常规大模型的controlnet应用方式基本一致,在基础工作流的基础上,增加了controlnet应用节点,controlnet模型选择“Qwen Image InstantX ControlNet”。

    我们将工作流中的预处理器更换为Aux的集成预处理器,使用时选择canny线稿、soft edge软边缘、depth深度、openpose姿势四种预处理方式即可。

附件:本节内容所涉及模型已上传至网盘,链接:https://pan.quark.cn/s/f3f8c38383a3

    模型文件已进行整理,网盘内包含工作流获取方式,适合不方便科学上网的的小伙伴下载使用。模型文件数量较多且尺寸较大,为避免下载中断等问题,可先转存再下载。

     欢迎正在学习comfyui等ai技术的伙伴V加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、高级工作流等资源……

    致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值才是学习的实际目标。

——画青山Ai学习专栏———————————————————————————————

零基础学Webui:

https://blog.csdn.net/vip_zgx888/category_13020854.html

Comfyui基础学习与实操:

https://blog.csdn.net/vip_zgx888/category_13006170.html

comfyui功能精进与探索:

https://blog.csdn.net/vip_zgx888/category_13005478.html

系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!

—————————————————————————————————————————

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐