Qwen-image的Controlnet方案梳理--comfyUI中通义千问Qwen-Image模型的CN精准控图与图像约束
ComfyUI社区已有多种支持Qwen-Image模型的ControlNet实现方式:①DiffSynth-Studio的Qwen-Image-DiffSynth-ControlNets(模型修正包,支持canny等3种控制,装于model_patches);②同团队的Qwen_image_union_diffsynth_lora(多效果控制LoRA,放loras文件夹);③InstantX团队的
摘要:2025年8月底,ComfyUI社区已有多种支持Qwen-Image模型的ControlNet实现方式:①DiffSynth-Studio的Qwen-Image-DiffSynth-ControlNets(模型修正包,支持canny等3种控制,装于model_patches);②同团队的Qwen_image_union_diffsynth_lora(多效果控制LoRA,放loras文件夹);③InstantX团队的QWen-Image Controlnet(多合一模型,支持4种控制,装于controlnet文件夹)。均需对应预处理,模型可文末网盘下载。
虽然通义千问qwen-image模型2025年8月初才公布开源,但目前(25年8月底),comfyUI开源社区中已经有数个支持qwen-image模型实现controlnet的方式,本节就几个主流的实现方式进行测试与说明,分别包括:
①由DiffSynth-Studio开源的Qwen-Image-DiffSynth-ControlNets模型
②由DiffSynth-Studio开源的Qwen_image_union_diffsynth_lora模型
③由InstantX团队发布的QWen-Image Controlnet模型
注:本节内容所涉及的模型均在文末网盘链接下载。
1 Qwen-Image-DiffSynth-ControlNets模型
Qwen-Image-DiffSynth-ControlNets由DiffSynth-Studio开源,这个模型实际上并不是一个 controlnet,而是 Model patch(模型修正包), 目前共有三个patch模型,分别支持 canny、depth、inpaint 三种不同的控制模式。
|
控制模式 |
结构图 |
生成图1 |
|
depth |
|
|
|
canny |
|
|
|
inpaint |
|
|
1.1 模型下载
下载地址:

模型安装位置:../ComfyUI/models/model_patches
其它配套模型与Qwen-Image基础工作流一致,无需重新下载。
1.2 工作流
与其他大模型的ControlNet 相关工作流类似,用于控制的图片需要先进行对应预处理才可以被模型使用和识别。Qwen-Image-DiffSynth-ControlNets模型的工作流也需要对输入的图像进行预处理才可以被识别。
注意:将comfyui内核更新至最新版本。
comfy-org官方示例工作流如下:

“缩放图像”节点主要目的是限制图像尺寸,避免图像输入尺寸过大导致出图问题。
较Qwen image原始工作流,增加了“ModelPatchLoader”节点用于加载Qwen-Image-DiffSynth-ControlNets模型。

另增加了图像预处理相关节点,及“QwenImageDiffsynthControlnet”节点接收预处理图像。

我对工作流按照使用习惯重新整理,整理后工作流如下:
1.2.1 canny
加载qwen_image_canny_diffsynth_controlnet模型;
使用canny预处理器获取canny预处理图。

1.2.2 depth
Detph: 预处理后的深度图,体现空间关系
加载qwen_image_depth_diffsynth_controlnet模型
需要将图像预处理成 detph 深度图,使用depthanything预处理器替换canny预处理器,获取参考图像的深度预处理图像。

1.2.3 Inpaint
加载qwen_image_inpaint_diffsynth_controlnet模型
对于 Inpaint 模型,它需要增加一个遮罩图像作为输入控制条件。
案例中我们使用最基础的“在遮罩编辑器中打开”手动添加遮罩方式绘制遮罩,并将遮罩输出端接入 到QwenImageDiffsynthControlnet 的 mask 输入即可。
该模型无需再对图像进行预处理,无需加载相关图像预处理节点。
完整工作流示例如下:

2 Qwen Image union ControlNet LoRA
Qwen Image union ControlNet LoRA也是由DiffSynth-Studio开源,这是一个图像结构控制lora,同时 支持 canny、depth、post、lineart、softedge、normal、openpose几个controlnet效果功能。
|
控制条件 |
控制图像 |
生成图1 |
生成图2 |
|
canny |
|
|
|
|
depth |
|
|
|
|
lineart |
|
|
|
|
softedge |
|
|
|
|
normal |
|
|
|
|
openpose |
|
|
|
2.1 模型下载
下载地址:
https://huggingface.co/Comfy-Org/Qwen-Image-DiffSynth-ControlNets/tree/main/split_files/loras
模型放置位置:../ComfyUI/models/loras/
2.2 工作流
comfy org官方工作流示例如下:

该工作流也需要遵循controlnet的逻辑,需要输入图像并进行预处理。由于Qwen Image union ControlNet LoRA可以同时支持 canny、depth、post、lineart、softedge、normal、openpose几个controlnet效果功能,为使用方便,我们可以将工作流中的预处理器更换为Aux的集成预处理器,并重新对工作流进行整理,获得工作流如下:

3 Qwen Image InstantX ControlNet
QWen-Image Controlnet模型是来自InstantX团队的最新controlnet,这款模型是一款多合一功能的ControlNet模型,目前一共支持4种控制类型:canny线稿、soft edge软边缘、depth深度、openpose姿势。
3.1 模型下载
模型发布页:
https://huggingface.co/InstantX/Qwen-Image-ControlNet-Union
文件安装位置:../ComfyUI/models/controlnet/
3.2 工作流
comfy org官方示例工作流如下:

我们对该工作流进行梳理,可以获取如下工作流。可以看到,Qwen Image InstantX ControlNet模型的应用与1.5/XL等常规大模型的controlnet应用方式基本一致,在基础工作流的基础上,增加了controlnet应用节点,controlnet模型选择“Qwen Image InstantX ControlNet”。


我们将工作流中的预处理器更换为Aux的集成预处理器,使用时选择canny线稿、soft edge软边缘、depth深度、openpose姿势四种预处理方式即可。
附件:本节内容所涉及模型已上传至网盘,链接:https://pan.quark.cn/s/f3f8c38383a3
模型文件已进行整理,网盘内包含工作流获取方式,适合不方便科学上网的的小伙伴下载使用。模型文件数量较多且尺寸较大,为避免下载中断等问题,可先转存再下载。
欢迎正在学习comfyui等ai技术的伙伴V加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、高级工作流等资源……
致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值才是学习的实际目标。

——画青山Ai学习专栏———————————————————————————————
零基础学Webui:
https://blog.csdn.net/vip_zgx888/category_13020854.html
Comfyui基础学习与实操:
https://blog.csdn.net/vip_zgx888/category_13006170.html
comfyui功能精进与探索:
https://blog.csdn.net/vip_zgx888/category_13005478.html
系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!
—————————————————————————————————————————
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



























所有评论(0)