目录

一、 模型介绍

1.核心特性

2.FLUX.1KontextDev是什么

二、ComfyUI工作流搭建和体验

1.准备工作

2.加载工作流

3.Basic工作流详解

(1)单图编辑模式

(2)双图编辑模式

4.Grouped工作流详解

三、线上云端体验

1.仙宫云镜像

​2.RunningHUB

四、文章小结

1.使用总结:

2.工作流和模型下载


一、 模型介绍

868454cc-02f5-4744-a987-b38ddcfd0941.png

        在数字创作领域,设计师与开发者始终在致力于提升图像编辑的效率与精准度。Black Forest Labs 推出的 FLUX.1 Kontext,凭借其突破性的多模态图像编辑能力,改变了传统工作流程,不仅能接收文本与图像的联合输入,还能智能解读图像上下文,实现前所未有的精准编辑与角色一致性,甚至可替代 80% 的传统图像处理步骤。下文将带您深入探究 FLUX.1 Kontext Dev 的核心功能、独特优势及丰富的应用场景。

1.核心特性

FLUX.1 Kontext Dev 的核心在于多模态处理能力和对图像细节的精准把控,主要特性如下:

  • 角色一致性:在多场景、多环境的编辑中,能保留图像中人物或物体的独特特点,比如面部细节、服饰风格等,确保多次编辑后仍高度一致。
  • 局部编辑:对图像中的特定区域或对象进行精准调整,不会影响整体构图或其他部分。

  • 风格参考与转换:根据文本提示生成新场景时,能保留参考图像的独特风格,或实现风格迁移。

  • 图像文字修改:直接调整图像中的文本内容,轻松实现海报、广告等内容的快速更新。

  • 构图控制:精准调整画面构图、相机角度和角色姿态,满足多样化的创意需求。

  • 快速推理:生成与编辑速度高效,大幅缩短创作周期。

  • 本地运行:完全在本地设备上运行,为开发者提供更高的灵活性和数据隐私保障。

2.FLUX.1KontextDev是什么

这款具备 120 亿参数的开源扩散变压器模型,它是 Black Forest Labs 为开发者、研究人员及高级用户打造的开源图像编辑模型。与传统的文本到图像(T2I)模型不同,Kontext 能同时处理文本和图像输入,通过深度理解上下文来完成精准编辑。它不仅包含 FLUX.1 Kontext 套件的全部核心功能,虽然之前发布的API版本提供了最高的保真度和速度,但FLUX.1 Kontext Dev完全在本地机器上运行,为希望进行实验的开发者、研究人员和高级用户提供了无与伦比的灵活性,提供了更强的实验自由度,适合需要深度定制的场景。

二、ComfyUI工作流搭建和体验

1.准备工作

更新ComfyUI为最新

建议将 ComfyUI更新到最新版本,以确保兼容性和功能完整性(至于不知道ComfyUI是什么的同学找学习资料学习,网上的基础教程很多)

模型下载(文章末尾网盘下载)

  • Kontext模型满血版22G(需求显存20G-30G)

  • Kontext模型FP8版11G(需求显存16G-20G)

  • gguf模型3-8G(需求显存4-12G)

  • vae和clip与flux的模型相同,如果以前使用过flux就不需要单独下载,如果你以前也没有,那就下载一份

模型存放位置

大模型一般放unet文件夹下,但是如果你用的官方工作流,需要用到节点组的那个工作流,大模型就放在diffusion_models下,或者两个地方都放一份,免得缺失

image.png

2.加载工作流

工作流分为使用组节点的Flux Kontext Dev(Grouped)版本和未使用组节点的Flux Kontext Dev(Basic)原始版本

(1)Flux Kontext Dev(Basic)

ComfyUI更新至最新版,左上角的工作流——浏览模板

image.png

可以在FLUX分类里找到FLUX Kontext Dev(Basic)工作流。

image (1).png

然后点击加载到ComfyUI的工作界面

image (2).png

(2)Flux Kontext Dev(Grouped)

ComfyUI更新至最新版,左上角的工作流——浏览模板

image.png

可以在FLUX分类里找到FLUX Kontext Dev(Grouped)工作流。

11.png

然后点击加载到ComfyUI的工作界面

111.png

3.Basic工作流详解

(1)单图编辑模式

加载模型

22.png

大模型(UNET模型):

  • flux1-dev-kontext_fp8_scaled.safetensors

vae模型:

  • ae.safetensor

CLIP模型:

  • clip_l.safetensors

  • t5xxl_fp16.safetensors或者 t5xxl_fp8_e4m3fn_scaled.safetensors

上传图片

上传一张给Kontext进行编辑或参考的图片

cc.png

输入提示词

提示词就是你命令Kontext做什么事

英文提示词:

“Only change the orange part of the clothes to red, while keeping other colors unchanged.”

中文提示词:

 “仅将衣服的橙色部分改为红色,其他颜色保持不变。”

asd.png

点击运行输出图像

d20e0696-a820-44b0-ad4e-fd9b4d63728d.png

原图和结果图对比

bb246584-90db-4797-9aff-dc1d5c6abaa3.png

(2)双图编辑模式

启动/忽略节点 (Ctrl+B)

默认情况下第二个上传图像的节点是被忽略的

18ea5e93-1e9d-4e92-90e6-c1e66b1cd7af.png

上传图像

启动第二个上传图像的节点并上传图像

c37db1ef-c722-469a-b52c-ad66a6c9dff5.png

输入提示词

提示词就是你命令Kontext将两张图关联起来

英文提示词:

“This woman is holding a fan in her hand.”

中文提示词:

“这个女人手里拿着一把扇子。”

0746ac3e-3f5c-4ac5-abbd-50a918c5478f.png

图像缝合

运行的时候两张图片首先会被“图像缝合”(Image Stick)节点“拼”在一起。

79900857-af13-4346-bfd8-05f95e9070b9.png

Image Stitch介绍

  • Direction:拼图方向

  • Match_image_size:是否匹配图片大小

  • spacing_width:间隙宽度

  • Spacing_color:间隙颜色

d4966183-404e-4fb6-9574-a22180f9ea0d.png

运行工作流

点击运行生成图片,运行之后发现最终生成的图片并不是我们想要的结果,只是将两张图片拼接了起来。

0c653aa7-8dde-4a67-b257-87ecb18c7680.png

错误结果原因

这是因为两张图片在Image Stitch拼接之后被后面这个针对Kontext的“尺寸调节”(FluxKontextImageScale)节点缩放后,一起传输进k采样器中。

由于是把两张图拼在一起作为Latent传输进k采样器中,这样会导致最后生成出来的图片会是两张合并后的尺寸图像。

在只有一张图像时,输出尺寸与图像一致。但有两张图像时,输出尺寸就会等于二者拼在一起的尺寸了。这样不符合需要,也会在一定程度上降低编辑的效果。

9359c7bb-6268-424c-be0f-3dd07b95cd42.png

解决办法:

将右上角的“空白Latent”节点恢复使用,输入原图的尺寸,将其作为k采样器的Latent。

4793bb14-851d-47ff-bf49-cbdc96251a63.png

调节尺寸

当然,如果想修改有别于原图的尺寸,也可以通过kLatent节点来进行修改。

9fd08afc-50b2-4b8f-a526-89bf6045a465.png

再次运行工作流

再次运行就可以生成我们想要的结果

4eff4858-2baf-4497-8cc5-cb26c9429f0f.png

最终的结果图

b7e57168-d697-4393-a709-31fbafbe7af6.png

4.Grouped工作流详解

(1)图片单图编辑模式

组节点

这个工作流将模型等一系列较为复杂的节点都打包成了一个“组节点”

e8b94d87-5d0e-4151-92e8-02b10de06206.png

提示词输入

我们还是以上面的单图提示词测试一下

英文提示词:

“Only change the orange part of the clothes to red, while keeping other colors unchanged.”

中文提示词:

 “仅将衣服的橙色部分改为红色,其他颜色保持不变。” 

ce9b656c-d2cf-4059-9f92-fe93ee692870.png

(2)图片多轮编辑模式

多轮次编辑

“组节点”还可以用来进行Kontext里的“多轮次编辑”

第一次提示词输入

  • 第一次英文提示词:

    “Only change the orange part of the clothes to red, while keeping other colors unchanged.”

  • 第一次中文提示词:

    “仅将衣服的橙色部分改为红色,其他颜色保持不变。”

第二次提示词输入

  • 第二次英文提示词:

    “Only change the light green part of the clothing to orange, while keeping other colors unchanged.”

  • 第二次中文提示词:

    “仅将衣物的浅绿色部分改为橙色,其他颜色保持不变。”

最终的运行结果是:

ccdb76f0-6fd0-446c-8ca2-c707e4a9b107.png

三、线上云端体验

1.仙宫云镜像

推荐使用仙宫云镜像体验

新注册即送 8 元免费白嫖额度

注册链接:

镜像地址

2b37af65-d234-41ff-8c3f-f7b8fb94a2b4.png

2.RunningHUB

推荐在线RunningHUB平台

可在线体验AI应用和工作流

新注册即注册即送1000积分

主页更多精彩工作流可在线体验        

主页地址

工作流地址:

063bf870-c372-458a-8207-5478000f788e.png

0609c775-3044-4cf4-b9aa-3aacc5a440ce.png

四、文章小结

1.使用总结:

  • 和以往的 API 版本相比,FLUX.1 Kontext [dev] 对提示词的要求有所提高,这一点在 3 图融合的场景中体现得尤为突出;但在一致性等方面,它的表现却远远胜过之前社区里的那些一致性框架。

  • ComfyUI 官方这次发布了两种流程:一类是类 Flux-dev 基础工作流,另一类是专有 Edit 节点工作流。要是进行多图融合操作,建议选择后者,其效果会更好。

  • 从显存占用来看,FLUX.1 Kontext [dev] 的 FP8 版本大概需要 16G 显存,BF16 版本则需要 30G。但好在社区发力推出了 GGUF 版本,低显存设备也能尝试使用。这种时候,只要采用类 Flux-dev 基础工作流,把 Unet 加载换成 GGUF 加载节点就行。

  • FLUX.1 Kontext [dev] 的开源,意味着图像编辑领域迎来了新的时代,编辑迁移的一致性问题从此将得到解决。

2.工作流和模型下载

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐